Pages

Subscribe:

Ads 468x60px

2013年12月30日 星期一

第三方支付夯 Yahoo拍賣推全民信用卡收款

記者甘偉中/台北報導
電子商務前景看好,各大電商平台也積極提升使用者體驗,務求爭取賣家、買家的青睞,擴大市場佔有率。
Yahoo奇摩30日宣佈,於Yahoo奇摩拍賣推出新版輕鬆付信用卡收付款服務,降低收款門檻,只要經過身份認證,一分鐘一步驟即可開通信用卡收款服務,讓全民皆可享受信用卡付款收款的便利。
Yahoo奇摩第三方支付工具 - Yahoo奇摩輕鬆付,提供ATM、超商取貨付款、信用卡及信用卡分期等支付方式。然而以往個人賣家要取得信用卡收款資格需有相當高門檻。
不過即日起,Yahoo奇摩拍賣推出新版輕鬆付信用卡收付款功能,無論公司或個人賣家皆可申請,無須年費及開辦費,只要經過身分認證,成為Yahoo奇摩拍賣安心賣家,一分鐘一步驟立即開通信用卡收款服務,實現全民賣家輕鬆收款的交易環境。
Yahoo奇摩拍賣同時祭出輕鬆付信用卡推廣活動,只要於2013年12月30日參加Yahoo奇摩拍賣輕鬆付信用卡賣家說明會,且開通信用卡收款服務的賣家,從2014年1月份至3月份間,皆可享有0%信用卡金流手續費的優惠。
此外,Yahoo奇摩拍賣也宣布從2014年2月26日起,全平台統一採用輕鬆付,不再接受其他的支付方式,以降低買家個資外洩的風險,提供更安全的交易環境。

2013年12月26日 星期四

2013 年10種走入歷史的科技產品

作者:Editor_Wye 2013/12/23

一年將過,雖然科技產品汰舊換新是常態,雖然新的產品令我們目不暇給,不過 Google Reader 的死亡還是讓許多人悼念不已。2013 年有哪些東西走入歷史塵埃呢?美國科技新聞網站 Mashable 選出十個從此消失的服務或產品,一起來為它們送上祝福吧,一路好走。
HTC First

今年春天讓 Android 使用者得以在鎖定畫面直接接收 Facebook 訊息的 Facebook Home 引起不少人的好奇心,伴隨 Facebook Home 的推出,它們與 hTC 合作發表首支預設搭載 Facebook Home 的 hTC First,也就是 Facebook 手機。過了半年雖然 Facebook Home 猶在,但 hTC First 沒幾個月就夭折,「打敗」微軟 Kin,成為史上最短命的智慧型手機。
蘋果 iPhone 5

今年 9 月蘋果打破以往一年一支新機的傳統,發表了兩種新的手機產品:iPhone 5c、iPhone 5s。除了豐富的粉色系色彩,iPhone 5c 可以說就是配置更棒前置鏡頭的 iPhone 5。因此蘋果把 iPhone 5 從產品線上刪除,不過有趣的是,iPhone 4S 被保留了下來。
Winamp

iTunes 大行其道之前,第一款攻佔電腦的音樂播放軟體當屬 Winamp。Winamp 既能播放 CD、數位 MP3 也難不倒它,而且還可以更換成漂亮的介面。1999 年 AOL 買下 Winamp 和其母公司 Nullsoft,宣布 12 月將關閉 Winamp 的網站、app 以及桌電播放器。
Winamp,我們向你致敬。
Google Checkout

Google Checkout 是 2006 年 Google 推出的線上金流系統,不過今年五月 Google 宣布將之送進墓園,功能與 Google Wallet 合併。而同一時間,除了 PayPal 持續蒸蒸日上,幾家新創公司如 Stripe、Braintree、Square 也仍不斷實驗支付領域的各種可能性。
百視達
百視達出現在這裡可能有些突兀,它不是傳統定義上的「裝置」,也不是科技服務。不過百視達剛宣布明年一月關閉全美剩下的 300 間 DVD 出租店並終止寄送 DVD 的服務,與科技網路的進步脫不了關係。
曾在百視達店內走道間來回徘徊、手上捧著四、五片 DVD 準備度過美妙的電影之夜的讀者們,讓我們跟百視達敬一杯吧。
Google Reader

2013 年 3 月,Google 突然宣布即將終止全世界最受歡迎的 RSS 服務 Google Reader,全球各地哀鴻遍野。不過 Google Reader 之死倒讓許多小型服務爭先恐後搶奪流離失所的 Google Reader 難民,Feedly、Digg Reader、AOL Reader 等等為 RSS 使用者找到下一個容身之處。不過 Google 砍掉 Reader 仍在我們心中留下陰影——這世界上沒有什麼永恆的服務,請隨時備份,自求多福。
除了上述五種為人熟知的產品之外,今年跟我們道別的,還有音樂分享服務 Turntable.fm、音樂社群 MySpace 舊版,Yahoo! 也在今年七月宣布關閉 AltaVista。而揭發美國 PRISM 的 Edward Snowden 與衛報記者 Glenn Greenwald 透過信件交換加密情報時,據稱雙方是以 Lavabit and Silent Circle 解密。不過,儘管並未有遭到美國當局脅迫的跡象, Lavabit 創辦人今年八月終止了這項服務。
在這十種消逝的產品中,您最不捨的是什麼呢?
(本文轉載自 INSIDE網站
(本文僅反映專家作者意見,不代表本社立場。)
資料來源

2013年12月22日 星期日

經濟部工業局 雲端產業推動計畫


http://175.98.115.28/index.php

卡片多響亮 WeChat推影音卡片、6組聖誕貼圖

現在人使用智慧型手機的通訊軟體,多用貼圖取代打字。行動通訊軟體WeChat為了迎接耶誕節的到來,限時推出「We-Card」耶誕卡服務,照片結合語音,創作出獨一無二的有聲賀卡,即時分享給WeChat好友們。 WeChat在官方「WeChat Team」推出「We-Card」耶誕卡服務,點擊WeChat Team官方帳號選單列表「聖誕We-Card」或輸入文字「We-Card」後,上傳一張最型最美的照片,再透過「按住說話」功能,錄下最有磁性、最kuso的聲音耶誕祝福語,即可獲得包括「聖誕紅噹噹」「璀璨彩燈」、「浪漫雪景」等多款精心設計的節慶卡片背景相框,創造分享獨一無二的有聲卡,今年最別出心裁的耶誕祝福就等你來DIY體驗!
創意好玩的We-Card之外,WeChat也準備了多達6款的系列動態貼圖,應景耶誕跨年,傳達美好節日心情來祝福身邊好友,未來6個月內還將陸續推出超過百款「免費動態貼圖」!喜愛的收藏貼圖的朋友們請密切注意!

耶誕節 科技卡片夯

(中央社記者江明晏台北22日電)耶誕節將報到,祝福方式包羅萬象,電信業和行動通訊軟體紛紛推出科技卡片,以新的人際互動方式,醞釀另一波人氣與商機。
行動通訊軟體WeChat為了迎接耶誕節的到來,限時推出「We-Card」耶誕卡服務,透過照片、語音結合,用戶可DIY創作出獨一無二的有聲賀卡,即時分享給好友們,WeChat同時推出多款免費動態貼圖。
無獨有偶,遠傳電信即日起至明年1月23日,特別推出「年終感謝,只想親手寫給你」活動,讓專屬影音卡片成為溫暖手心的小確幸,也醞釀新的送卡商機。
遠傳表示,只要三個步驟,免出門、免郵資,遠傳將民眾錄製的祝福影片、照片、文字,及為朋友挑選的加值服務小禮,轉化為獨一無二的實體QR code小卡,並免費寄送,收禮人只要掃描卡片上的QR code,就能看到民眾精心準備的祝福,用科技打造溫暖祝福,也縮短人與人之間的距離。

2013年12月20日 星期五

Gmail Tabs (收件匣分頁),對 EDM 來說:是機會?還是危機?

發表於   電子豹
gmail_tabs
如果我們把收件匣想像為報紙,那麼所有行銷人員都希望自己的訊息能被放在頭版。但現在很多行銷人員已經開始擔心 Gmail 會把他們精心設計的訊息歸類在折頁裡的分類廣告。
最近幾個星期以來,應該有不少朋友發現 Gmail 在收件匣的版面上作了更新,它會幫使用者自動把 email 歸類至不同的分頁 ( Tabs ) :"主要 ( Primary )"、"社交網路 ( Social )"、"促銷內容 ( Promotions )"、"最新快訊 ( Updates )"。
主要 ( Primary ):來自朋友、家人或是無法歸類於其它標籤的訊息。
社交網路 ( Social ):來自社群網路、影音媒體分享網站、線上交友服務、遊戲平台及其它社群網站。
促銷內容 ( Promotions ):來自你的交易、優惠及其它促銷相關的訊息。
最新快訊 ( Updates ):像是認證信、帳單、或是報表之類的通知
行銷人員在第一線最能感受到這個改變所帶來的影響。但是不用擔心,如果你的 EDM 是有吸引力的,那你的客戶仍然會找到它。關於 Gmail Tabs 有三個重要的心法如下:

1. 順勢而為:

這功能有助於你的 EDM 與其它的 email 競爭。在沒有過濾過的收件匣,你的 EDM 需要與他的家人、朋友、情人的 email 競爭,通通混雜在收件匣。而現在你的競爭者就只剩下其它同業的 EDM,再也不用和他的家人或是寶寶照片爭眼球注意力,你只需要贏過那些設計不夠好的 EDM 或優惠券就可以了。
對於需要和會員建立信任及互動關係的行銷人員來說,這是一個很好的機會,記得作到一點:讓你的 EDM 有吸引力。

2. 讓 EDM 有吸引力:

所有好的的電子郵件行銷人員都有一樣的基本態度:想辦法讓 EDM 有吸引力。你的 EDM 要讓人感到可靠、切題及對話性。
考慮讓你的 EDM 成為建立關係的一環。所有的關係起源於信任,所以當客戶願意留下他的 email 時,你所答應要提供的資訊或方式,都要在之後寄的每一封信裡完成它。在 Gmail Tabs 裡,客戶可以透過拖拉行銷的 EDM 至他們的 Primary 分頁,而這個動作就像是在對你的 EDM 再作一次確認。一開始客戶和你說他們想要你的 EDM,而且透過拖拉再次確認他們真的要,之後這些信就會出現在他們的 Primary 分頁裡了。
無論如何,記得一定要切題且對話性。想像你的 EDM 就和你真實的互動一樣。沒有人想要聽你碎念一些只有你自己感興趣的無聊主題,也沒有人想重覆聽你上星期已經說過的故事,EDM 也是這樣。
了解你的 TA ( Target Audience ) 是誰,他們想要從你的 EDM 裡得到什麼?寄送個人化、有人性的、適當時間的訊息,顯示你了解他們。根據他們喜歡的頻率來寄這些信,而不是只有當你有活動才寄。最好的 EDM 是知道客戶需要什麼,而不是你想讓客戶知道什麼。

3. 策略:

電子郵件行銷的策略就是測試、評估、調整,為何我們不使用一樣的方法在 Gmail Tabs 呢?你不能依靠你自己的感覺來判斷你每個行銷活動是否成功。所以對 Gmail Tabs 使用相同的分析態度:針對 Gmail 的會員,檢查在使用 Gmail Tabs 前後,對於開信、點擊、轉換率的影響。
有朋友說以前收件匣裡滿滿的信,為了想讓信箱清爽一點所以只要一看到行銷的 EDM 就直接刪了,而現在 Gmail 把它們歸類在分頁裡,他反而不會馬上刪掉它,還會等到有空的時候再去看。
我覺得這對於精心準備 EDM 的行銷人員是個機會,最壞開信率會降低一點,但你有可能還會看到點擊率和轉換率的提升。掌握 Gmail 改版的這個機會,你會因此成為更好的行銷人員,而你會從你的客戶那得到回報的。

如何因應手機設計全新EDM

發表於   Jinny Tse
根據 Experian Marketing Services’  ( EMS ) 一項有關電子郵件打開途徑的調查,結果顯示差不多半數的人僅使用智能手機查閱郵件,比 2012 年 1 月時多出 63 百分比,只有 23 百分比的人利用桌上電腦檢查郵件。隨著手機等流動通訊愈來愈普及,流動通訊已成為了通訊和行銷的主要平台。當然, EDM 的設計也要因此要作出改變。

會很麻煩嗎?

以上這樣說,感覺像要花很大心力來設計電子郵件,但其實,最有效設計郵件的方法只需令用戶可以在所有移動設備上能輕鬆和方便閱讀郵件的內容。很多 EDM 會發送單幅圖像作宣傳內容,但這種宣傳方式在流動通訊上使用卻是十分危險。 Android 系統設備會自動攔截郵件的圖像,雖然用戶可自行更改這設定,但顯然很多人都不會特意更改。這導致許多收件人只收到空白的郵件內容

只需作出小改變,便帶來大效果!

即使圖像能被顯示,當用戶使用緩慢的數據連結或忙碌時,等待加載圖樣,絕對會令人感到沮喪。另外在很多時候, EDM 的內容很少會因應手機設計,使用戶在閱讀郵件時需要不斷滾動、縮小或放大圖像和資訊,以獲得整個消息內容。很多用戶覺得麻煩,可能便因此放棄閱讀。由於手機的屏幕較小,增加郵件內容的字體大小是必須的,這簡單的小改變比起你用心設計整封 EDM 更來得實際。
另外,加入大型按鈕也是一個好選擇。除了圖像問題,用戶容易因屏幕太小而點擊了錯誤的鏈接或按鈕,所以它們的尺寸增加十分重要。大部分成年人的手指寬約 37 至 53 像素,所以按鈕建議設計約 40 多像素寬,方便用戶使用。
當你作出設計的改變後,一定不要忘記測試你的 EDM 在多個設備上的一致性。 Android 和 iOS 系統的智能手機分別佔了手機市場的百分之 50 和 40 ,所以你必須確保在這兩系統中顯示的效果。你也應該在多個電子郵件服務提供商,如 Gmail 、 Yahoo 、 Hotmail 等測試你的 EDM 設計。此外,你也應該密切關注用戶的反應,這是常被忽略卻是很寶貴的資訊,這可有助你和用戶建立更良好的關係,還能幫你盡快發現問題並提早把它解決。
如果你也渴望能令用戶在手機上更易於閱讀郵件內容,以下有兩個方法供你參考:

1. 增加 QR Code 

在 Line 加好友時便常以 QR Code 搜尋朋友,相信大家對 QR Code 都有印象,但對它的行銷功能卻未必非常熟悉。其實早在數年前, QR Code 在日本和韓國已經受到關注,而它的應用增加也將成為全球趨勢。為了吸引用戶消費,以前的 EDM 中常會出現給特定用戶的貨品折價劵,需要列印後拿到店裡享受優惠。現在 EDM 能針對特定用戶發送個人化 QR Code內容,到店裡購物時出示圖案便能從讀卡機讀取折扣。這種結合更可以清楚掌握用戶的消費資訊,有助在未來提供更完善的行銷。

2. 微電影 EDM :

未命名
各企業為了行銷商品大費心思,近年興起微電影行銷手法。電影配合有趣或動人故事情節,以置入性手法推銷商品,並邀請當紅明星為商品電影的男女主角。現在大家都很習慣用手機看短片,所以以影像吸引用戶的眼球是很有效的行銷方法。著名品牌香奈兒也邀請了名模們拍攝推銷秋冬新品的微電影(見上圖)。傳統的 EDM 以圖像或文字表達,用戶一看到的便是行銷廣告,可能因此降低觀看意願。但如以微電影的方式取代,用戶會更容易因電影主角或好奇商品和內容的連結而樂意觀看,在置入性推銷下對商品產生高度興趣。(更多行銷微電影

行動化時代,30秒決定Email的去留

Google 今年 8月13日發表的「2013年第一季台灣智慧型手機使用行為調查」顯示,台灣智慧型手機普及率佔總人口 51%,較去年同期成長 59%,其中 69% 的人每天用手機上網。這些數據除了證實人們日漸依賴智慧型手機,也提醒 EDM 業者:寄送 Email 時,行動裝置的重要性必須納入考量。
我們通常會利用 Email 作為資訊傳遞的管道,但卻無法一直待在電腦旁等著收信,而智慧型手機的興起正好讓我們能「隨時隨地」收到訊息。在未來,行動裝置(例如智慧型手機、平板電腦)可能會漸漸取代桌上型電腦,我們用手機收 Email 的頻率也會越來越高。
如果你的客戶常常用手機收發 email,那你的 EDM 千萬不可以只為了電腦用戶設計!你必須注意以下幾點:

用手機看 Email 跟用電腦看的方式絕對不一樣!

首先,利用智慧型手機收 Email 的人大部分都是在「移動中」,他們看 Email 的方式絕對不是跟坐在電腦前一樣,記住這個要點,你的 EDM 設計會有很大的不同。舉例來說,用手機收 Email 的人不會一封封仔細閱讀,他們通常可能只會用30秒的時間瀏覽信件主旨,將信件分為「現在看」、「等一下看」跟「刪除」。

確保你的 EDM 不會被「驅逐出境」!

要怎麼把握關鍵的30秒,讓 EDM 能被分類為「現在看」,或至少能被保留、稍後閱讀呢?
第一,信件主旨最好控制在50字符內,但重點一定要放在前20字(因為手機螢幕較小,客戶不一定會完整看完主旨)。切記一定要簡短但是引人注目,並且讓客戶知道你是誰。
第二,確保你的內涵有足夠的關鍵資訊和 CTA,並且清楚、夠顯著。

了解你的客戶及他們的行動裝置,改變 EDM 設計

你目前的 EDM 形式可能對使用電腦版 Gmail, Yahoo 或 Outlook 的用戶有極大吸引力,但是這些在電腦螢幕上適量的資訊,對小小的手機螢幕而言可能過於繁雜,而且會大幅降低廣告效果。想要讓客戶在手機上也能注意你的 EDM 嗎?那你就必須讓內容變得簡單,並且能獲得他們的響應。

建造良好的Email閱讀模式一向是 EDM 行銷者的重要工作,但業者以往都將客戶開啟 email的裝置設定為桌上型電腦,較少考量到行動裝置用戶。隨著科技的進步,為智慧型手機用戶量身訂做一套適合的 EDM,絕對會是良好的投資。如果你還沒設計好,那就從現在開始吧!因為使用智慧型手機的趨勢只會增加不會減少!

解答電子郵件營銷的常見問題!

發表於   Jinny Tse
電子郵件營銷的有效性近來已是營銷中爭議的焦點,一個由 iContact 2013 的研究證實,電子郵件行銷仍然是中小企業的營銷策略中值得關注的部分。根據 601 個營銷決策者的樣本研究顯示, 91 % 的企業無論認為電子郵件行銷有帶來有些幫助還是非常有效的結果,有 56% 仍計劃未來增加其在電子郵件營銷的使用量。
儘管它的影響力不容忽視,關於電子郵件的發送時間和頻率問題,從來都令企業煩惱,而答案往往令人沮喪。例如 B2C 的電子郵件和 B2B 的電子郵件的發送時間便大大不同。另外,你的電子郵件的頻率往往取決於你的資料量的大小、郵件的目的、以及你對名單中的會員或潛在客戶的期望等等。
幸運的是,許多電子郵件營銷公司收集和分析大量的電子郵件數據,這樣我們就可以從中得到一些最常見的電子郵件營銷問題的答案。讓我們來看看一些電子郵件營銷難以解決的問題。

問題一:一天中,我應該什麼時候寄出郵件?

發送電子郵件的最佳時間是在剛踏進下午的時候,最好是剛在午餐後。為什麼呢?因為早晨發送的電子郵件被迫要與清晨自動發送的電子郵件攻勢競爭。而在傍晚發送的電子郵件卻又被推至一旁,因為你的收件人在完成一天疲勞的工作後,一心只想回家休息。你可以實驗在午後發送郵件,看看是否有任何特定的時間與你產生共鳴的觀眾。然後開始嘗試在每週不同的日子寄出。

問題二:哪一天寄出郵件能夠最有效?

要回答這個問題,  B2C 和 B2B 行銷會有不同的答案。如果你是 B2C 行銷,你的電子郵件甜蜜點可能是在禮拜五晚上或週末,因為你的電子郵件收件人不用為工作郵件分心。但 B2B 行銷便要避免晚上和週末寄郵件。對於一個 B2B 的電子郵件,週二和週四往往是發送郵件最流行和最有效的兩天。但是,在這些日子發送也可能讓你處於危險中的收件箱中更大的競爭。你可以嘗試在週三或週五發送郵件,看看會得到什麼結果。但記得盡量避免在週一寄出,因為您的收件人仍然為工作忙碌。

問題三:我要多久寄一次郵件?

電子郵件的頻率往往令人難以掌控。當你想要常寄郵件與收件人加深印象,你又會擔心被收件人討厭。接受 iContact 調查的企業表示,他們基本會按月寄郵件給整個列表名單,並至少每週一次的分眾傳送。只有 6 % 的人表示,他們每天都發電子郵件給他們的整個列表。
另外,如你能善用用電子郵件營銷或營銷自動化工具,你可以從點擊率和退出率跟踪郵件的頻率帶來的影響。你還可以根據時間或收件人的動作調節電子郵件行銷力度,以確保你的郵件是否正確定時,不會為收件人造成壓力。

【關鍵報告】 郵件信譽(Email reputation)知多少?

發表於   Abby
相信大家對於商譽 ( Business Reputation ) 都不陌生吧?商譽代表一家企業賺取超額利潤的能力,影響企業的整體價值,作為企業經營者都不能忽視商譽的維持。
郵件信譽就像是電子報的商譽,每次寄送都將經過一輪評分,積年累月下來形成評價,這份評價決定了電子報的寄件歸途:一般信件匣或垃圾郵件匣。
也就是說,如果你的郵件信譽評價太差,Yahoo、Google、Hotmail 等有信箱功能的網路服務業者( ISP, Internet Service Provider )就會把你的電子報通通丟進垃圾信箱,即使訂閱者想看也看不到!只要略估你的Email寄送名單中有多少大型 ISP 的用戶,管理郵件信譽的急迫與重要也就不言而喻了。

透過四道檢查手續,助你迅速檢視Email Reputation

1. 正確設定你的郵件伺服器  ( Mail server )

一般而言,垃圾郵件發送者使用的設備與軟硬體並不會太好。因此,擁有企業專屬的郵件伺服器,不只可以建立公司專業形象,透露公司的合法正規性與規模,還能獲得ISP對於公司的信賴。
使用時,注意 IP反解、DNS ( Domain Name Service, 網域名稱伺服器 )、SPF ( Sender Policy Framework, 寄件者政策架構 ) 三者的設定正確與否,通常只要有注意到這三個地方,8 成以上的電子報可以獲得 ISP 系統的信任,送達訂戶信箱。

2. 維持穩定的寄送量 (Volume of emails)

每月寄送量若太低,系統將不易評分,因此信譽一般而言不會太高。達到足夠的電子報寄送量後方能建立評價,之後便要小心維持穩定性,突然暴增或銳減都會傷害你辛苦建立的優良信譽。
此外,電子報行銷人員應避免使用非法方式群發郵件,不然還沒增加幾個消費者卻損失郵件信譽,那可就欲哭無淚囉!

3.  提升標題與內文的相關性 (Relevance)

訂閱戶不想點開你的電子報,或將它舉報為垃圾郵件是一件相當嚴重的事情,這代表你的主題完全無法吸引訂戶閱讀,甚至讓訂戶感到不愉快,你應該讓標題變得更有趣、更加親近訂戶,讓你的電子報內容更符合標題、可以滿足訂戶的需求,解決他的不便與困擾。
此外,你可以透過各家網路服務業者的 Feedback loop programs ( *Google 無此系統),收到訂戶舉報的通知,方便你即時的監控、火速將此從名單中移除。不然,被投訴太多次也是會影響郵件信譽的。

4. 時時維護Email名單的價值 (Value of list)

你寄發的電子報都能如願到達訂戶收件匣嗎?如果退信率經常高達20%甚至更多,那麼是時候好好整理你手上的 Email 名單了。
根據統計,被退回的信件中,77.5 % 起因於使用者信箱異常造成收不到信件。如果問題出在訂戶信箱容量不足,問題可望解決,然而若是因為名單本身有問題而造成的錯誤,可就大事不妙了!
Email名單會有甚麼問題?
1. 不存在的用戶: 其實,Hotmail系統根本沒有nobody@hotmail.com這個用戶。
2. 域名不存在: 域名是 ”@” 之後的網址,像 @googee.com 便是不存在的域名。
3. Email已死: 訂戶已經不再以此為慣用信箱,ISP因該信箱長期未使用而將它關閉,想當然爾,電子報一定會被退回。
4. 落入Spam traps:Spam traps 是 ISP 針對垃圾郵件發送者設計的陷阱。他們會設計一些非使用者、專用於測試 Email 名單的信箱網址,姑且稱為 test@yahoo.com.tw,如果系統發現 test 在你的寄信名單中,將會懷疑你為不法的郵件發送者及名單收集業者。
為什麼名單會出現問題?
如果你曾經向外購買大量的 email 名單,而非自己收集,那麼其中可能就會包含上述的問題email,大大降低你的郵件信譽,尤其以 Spam traps 的傷害最高。
即使是你自己小心收集的名單,也可能暗藏危機。訂閱戶可能會不小心打錯自己的Email,或者系統遭到惡意程式攻擊,因此定期清理名單相當重要,透過系統記錄將多次舉報你的會員、殭屍會員、高退信率的會員一並刪除,可別覺得心痛難以下手,把精力放在對你的產品有興趣的會員身上,彼此都能擁有最好的效益!

2013年12月14日 星期六

四大事務所: 成功經典語錄

四大事務所: 成功經典語錄: 一周一句,用一周的時間把一句經典深深烙印在你心底。一周一周給自己心志鍛鍊,你會慢慢邁向成功。 If you want something you've never had, then you've got to do something you've ...

四大事務所: [原來Google 可以這樣用] 第五篇:太酷了!現在Google可以直接幫你繪出2D、3D圖形

四大事務所: [原來Google 可以這樣用] 第五篇:太酷了!現在Google可以直接幫你繪出2D、3D圖形: 大家 每天上班會用到電腦、下班在家也在用電腦,但大多數人卻不懂得怎麼充分利用電腦與相關軟體來提昇工作效率。本站推出   [ 原來Google 可以這樣用 ]   系列篇就是專門介紹一些小技巧讓你慢慢改善自己工作效率不佳的問題。 這個系列篇的文章,每篇文章都不長,目的就...

2013年12月2日 星期一

Running Hadoop on DRBL Live CD

創新服務更要小心 雲端運算的安全與風險

花俊傑
談到雲端運算,它究竟是一種「技術」或「概念」,到底是「產品」還是「服務」,在搜尋引擎上只要打入關鍵字,就可以看到許多不同的見解與想法。本文僅從資訊安全的角度,來探討雲端運算可能帶來的資安問題或風險,以提供給資訊管理人員作為參考。
雲端運算(Cloud Computing)從2008年開始就是一個熱門話題,對於雲端運算的應用,無論是應用程式服務、資安服務或資料儲存等等,各家都有不同的說法與見解,但從資安的觀點來看,仍有一些地方值得企業審慎注意,以免落入新資訊科技運用的迷思之中。

首先,讓我們回憶一下,在還沒有所謂的雲端運算之前,企業對於資訊的處理與運作的方式是什麼?一般普遍性的作法是,企業需要自行添購或開發商務運作所需要的軟體和硬體,並且建置專屬的資訊機房和網路環境,然後由內部的資訊人員來執行維運等相關工作。

對大多數的企業而言,隨著營運規模的擴展,為了要增加資訊服務的穩定與效率,在資訊科技的費用支出相對也會節節升高,尤其是面對現今愈來愈複雜的網路環境與技術,再加上好的資訊人才難尋,和營運相關的資訊問題解決能力也需要時間培養,種種問題都讓企業主傷透腦筋,而「雲端運算」的出現,彷彿就像在烏雲之中露出一道曙光。

雲端運算的資安服務 

究竟什麼是雲端運算,Gartner定義它是一種嶄新且具延展性的運算方法,可以將計算、儲存等資訊科技的運用,透過網路以服務方式提供給外部客戶使用。而維基百科則說,「雲端運算是一種基於網際網路的運算新方式,透過網際網路上的服務為個人和企業使用者提供所需即取的運算。」

▲雲端運算具備三大運算架構與服務模式,包括了基礎架構即服務、平台即服務以及軟體即服務等,當然還有人提供許多不同的服務。


目前,雲端運算具備三大運算架構與服務模式,包括了基礎架構即服務(Infrastructure as a Service,IaaS)、平台即服務(Platform as a Service,PaaS)及軟體即服務(Software as a Service,SaaS)等,當然還有人提供許多不同的服務。

各種雲端服務雖然眾說紛紜,但有三樣東西卻是必要組成,分別是網路、運算、服務。換句話說,透過網路連線,由遠端所提供的強大運算和服務,讓企業可藉此改變以往的資訊處理方式,除了可提高作業效率,進而節省成本支出之外,同時更獲得資訊科技的創新應用。

對於資安廠商而言,除了銷售傳統的資安軟硬體設備,若是還能藉由雲端運算的協助加持,提供更多的資安加值應用服務,那是再好也不過了。根據個人的觀察,目前資安廠商運用雲端運算來提供的資安服務,大致有下列幾種:

●病毒防護—讓防毒軟體的使用者,能夠即時回傳電腦上可疑的病毒相關資訊,就能在防毒業者的雲端上比對病毒特徵,不需要再等候防毒軟體更新病毒碼,可以更有效地防止病毒的感染。

●網址過濾—面對日益增加的惡意網站,可協助企業透過雲端進行網址黑名單的比對,透過即時更新的惡意網頁資料庫,可以提高攔截的效率。

●郵件過濾—配合傳統的垃圾郵件過濾機制,比對垃圾郵件如來源IP、信件標頭等資訊,同時也可結合防毒功能,即時掃描郵件的附件是否安全。

●身分識別—企業可透過雲端進行使用者身分認證,做到單一登入功能,讓使用者可在任何地點登入使用各項應用服務,解決使用者的授權問題。

至於業者宣稱雲端運算可為企業帶來的好處,則有以下幾點:

1. 降低營運成本—企業不需要再花錢去購買軟體和硬體,也不需要資訊人員來開發或維運所需的應用服務,只需透過租賃或使用者付費方式,大幅節省不必要的成本支出。

2. 提高工作效率—隨著網路無所不在的連結性,無論工作者身在何處都可享有相同便捷的應用服務,而且藉由雲端強大的運算能力,可有效解決工作端運算效能不足的問題。

3. 擴充未來應用—雲端運算可讓企業快速部署及應用新科技,無論是應用服務的升級或擴展,在短時間之內就可完成,不必擔心資源耗費的問題。

雲端運算可能的資安風險 

根據市場調查機構Gartner的研究顯示,未來以雲端運算方式所提供的安全應用服務,將會對市場造成相當大的衝擊,預估在2013年會比目前再成長三倍。而趨勢科技的調查則指出,雖然業界看好雲端運算在資安上的應用,但是也有61%的企業受訪者表示,除非可以確定應用雲端運算不會產生重大的資安風險,否則目前仍不會急於導入雲端運算的相關應用服務。

從資訊安全的觀點來看,企業在運用新的資訊技術時,對於其隱含的資安風險,當然要做審慎的評估,而個人認為在採用雲端運算服務方面,至少有三個層面需要考量。

首先是網路層面,因為一旦商業運作需要仰賴雲端來進行,那麼網路頻寬的消耗,是否真如業者所言來得那麼節省?會不會拖累了原有網路服務的正常使用?這些都需要實地測試才可得知。

另外,網路連線的穩定性也會比以往要求來得更高,因此在網路管理方面,原有的網路設備是否需要擴充?如何進行網路效能的最佳化調校?採用何種網路備援的方式?這些可能都會變成隱藏的成本支出。而網路傳輸的安全性當然也要涵蓋其中,若是有敏感資料需要傳輸,那麼是否有相對安全的加密機制和身分認證機制等等,都是使用雲端服務時必需的要求。

其次是資料層面,企業要放置什麼資料在雲端上,將會決定所需的安全強度,在採用雲端資料服務的初期,建議企業先以非敏感性的資料為主,藉此來測試評估服務的安全性,而非一開始即將最重要的商業資訊,透過雲端方式來進行運算或儲存,以避免當資訊外洩時可能造成的衝擊。

最後則是法規層面,企業要注意雲端服務廠商本身的安全是否值得信賴,是否有可供辨識的安全保證,例如取得政府的許可或國際標準ISO 27001的認證,因為這代表了雲端服務廠商在資料保護、實體安全、應用程式安全、系統可用性、漏洞管理、法規遵循方面是否有一套完善的管理制度,對於資訊安全可提供一定的保障。

另外,萬一不幸發生資安問題,在責任歸屬與賠償機制上,就有賴於事先的合約或服務等級協議(SLA),所以在一開始的服務簽定時,企業法務部門的參與協助也是十分重要。

評估企業整體的應用安全 

事實上,雲端運算服務除了造福企業之外,對於惡意的駭客而言,也算是一大福音,因為這代表了許多企業更加依賴網路連線,會將重要的資訊透過網路傳輸,並且將商業資料儲存在企業環境之外,如果輕忽了可能的資安風險,就等於增加了駭客入侵的機會。

舉例來說,像是駭客可以利用雲端運算的強大能力來破解使用者帳號、密碼,竊取雲端所儲存的資訊;或是發動分散式阻斷網路攻擊(DDoS),癱瘓雲端網路的運作,也就間接導致重要營運服務的停擺。另外,雲端資安服務機制的有效性,是否一如業者宣稱的可有效攔阻惡意程式入侵,是否會有潛藏的安全漏洞反而受到利用等,這些也都是未來需要關注的地方。

▲採用雲端運算服務需要考量網路層面,一旦商業運作需要仰賴雲端來進行,那麼網路頻寬的消耗,是否真如業者所言來得那麼節省?


所以,企業在評估導入雲端運算的服務時,建議一開始先從非關鍵性的應用服務開始,而除了尋找可靠的雲端服務供應商之外,也要考慮有沒有其他的替代選擇。否則一旦企業所倚賴的雲端服務受到攻擊而停擺之後,將會對企業造成重大衝擊,例如關鍵資料無法存取、客戶資料外洩、防毒系統失效、惡意程式入侵等等,這些都有賴於事前整體的考量,絕非像是購置單一硬體和軟體一樣,只要輕鬆以對即可完成。

NCHC Cloud Computing Research Group

http://trac.nchc.org.tw/cloud/

2013年12月1日 星期日

[hadoop]Hadoop 小象安裝測試在 Ubuntu (2)

續前篇 http://codebeta.blogspot.tw/2012/12/hadoophadoop-ubuntu.html,接下來是試跑 wordcount 程式,驗證系統有安裝好。
下載所需資料
要執行 wordcount 程式,要先有資料才行。Noll 好心已經給了三個連結的文件讓你下載。
每一個電子書,請下載 UTF-8 的文字檔,放在你想要的位置。這裡選的是 /tmp/gutenberg
hduser@ubuntu:~$ ls -l /tmp/gutenberg/ 
total 3592 
-rw-r--r-- 1 hduser hadoop  674566 Dec 23 07:37 pg20417.txt 
-rw-r--r-- 1 hduser hadoop 1573150 Dec 23 07:39 pg4300.txt 
-rw-r--r-- 1 hduser hadoop 1423801 Dec 23 07:38 pg5000.txt 
hduser@ubuntu:~$

啟動 hadoop 叢集

hduser@ubuntu:~$ /usr/local/hadoop/bin/start-all.sh

複製資料到 HDFS (Hadoop 的檔案系統)

使用 hadoop 的指令,把檔案從真實檔案系統,送進 HDFS。
hduser@ubuntu:~$ /usr/local/hadoop/bin/hadoop dfs -copyFromLocal /tmp/gutenberg /user/hduser/gutenberg 
hduser@ubuntu:~$ /usr/local/hadoop/bin/hadoop dfs -ls /user/hduser 
Found 1 items 
drwxr-xr-x   - hduser supergroup          0 2012-12-25 00:23 /user/hduser/gutenberg 
hduser@ubuntu:~$ /usr/local/hadoop/bin/hadoop dfs -ls /user/hduser/gutenberg 
Found 4 items 
drwxr-xr-x   - hduser supergroup          0 2012-12-25 00:23 /user/hduser/gutenberg/gutenberg 
-rw-r--r--   1 hduser supergroup     674566 2012-12-25 00:21 /user/hduser/gutenberg/pg20417.txt 
-rw-r--r--   1 hduser supergroup    1573150 2012-12-25 00:21 /user/hduser/gutenberg/pg4300.txt 
-rw-r--r--   1 hduser supergroup    1423801 2012-12-25 00:21 /user/hduser/gutenberg/pg5000.txt 
hduser@ubuntu:~$

執行 MapReduce 程式

請注意執行的路徑:要先 cd 到 /usr/local/hadoop。
hduser@ubuntu:/usr/local/hadoop$ bin/hadoop jar hadoop*examples*.jar wordcount /user/hduser/gutenberg/* /user/hduser/gutenberg-output
[註1]若在別的工作路徑,會發生:
hduser@ubuntu:~$ /usr/local/hadoop/bin/hadoop jar hadoop*examples*.jar wordcount /user/hduser/gutenberg /user/hduser/gutenberg-output 
Exception in thread "main" java.io.IOException: Error opening job jar: hadoop*examples*.jar
[註3]如果已經執行過,想再執行一次,會因為 output 目錄已經存在而失敗。此時可以執行刪目錄的指令:
hduser@ubuntu:/usr/local/hadoop$ bin/hadoop dfs -rmr /user/hduser/gutenberg-output 
Deleted hdfs://localhost:54310/user/hduser/gutenberg-output 
hduser@ubuntu:/usr/local/hadoop$
執行結果如下:
hduser@ubuntu:/usr/local/hadoop$ bin/hadoop jar hadoop*examples*.jar wordcount /user/hduser/gutenberg/* /user/hduser/gutenberg-output 
12/12/25 00:52:27 INFO input.FileInputFormat: Total input paths to process : 6 
12/12/25 00:52:27 INFO util.NativeCodeLoader: Loaded the native-hadoop library 
12/12/25 00:52:27 WARN snappy.LoadSnappy: Snappy native library not loaded 
12/12/25 00:52:28 INFO mapred.JobClient: Running job: job_201212250016_0007 
12/12/25 00:52:29 INFO mapred.JobClient:  map 0% reduce 0% 
12/12/25 00:52:44 INFO mapred.JobClient:  map 16% reduce 0% 
12/12/25 00:52:47 INFO mapred.JobClient:  map 33% reduce 0% 
12/12/25 00:52:53 INFO mapred.JobClient:  map 50% reduce 0% 
12/12/25 00:52:56 INFO mapred.JobClient:  map 66% reduce 11% 
12/12/25 00:52:59 INFO mapred.JobClient:  map 83% reduce 11% 
12/12/25 00:53:01 INFO mapred.JobClient:  map 100% reduce 11% 
12/12/25 00:53:04 INFO mapred.JobClient:  map 100% reduce 22% 
12/12/25 00:53:10 INFO mapred.JobClient:  map 100% reduce 100% 
12/12/25 00:53:15 INFO mapred.JobClient: Job complete: job_201212250016_0007 
12/12/25 00:53:15 INFO mapred.JobClient: Counters: 29 
12/12/25 00:53:15 INFO mapred.JobClient:   Job Counters 
12/12/25 00:53:15 INFO mapred.JobClient:     Launched reduce tasks=1 
12/12/25 00:53:15 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=45175 
12/12/25 00:53:15 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0 
12/12/25 00:53:15 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0 
12/12/25 00:53:15 INFO mapred.JobClient:     Launched map tasks=6 
12/12/25 00:53:15 INFO mapred.JobClient:     Data-local map tasks=6 
12/12/25 00:53:15 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=25718 
12/12/25 00:53:15 INFO mapred.JobClient:   File Output Format Counters 
12/12/25 00:53:15 INFO mapred.JobClient:     Bytes Written=886978 
12/12/25 00:53:15 INFO mapred.JobClient:   FileSystemCounters 
12/12/25 00:53:15 INFO mapred.JobClient:     FILE_BYTES_READ=4429692 
12/12/25 00:53:15 INFO mapred.JobClient:     HDFS_BYTES_READ=7343786 
12/12/25 00:53:15 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=7529522 
12/12/25 00:53:15 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=886978 
12/12/25 00:53:15 INFO mapred.JobClient:   File Input Format Counters 
12/12/25 00:53:15 INFO mapred.JobClient:     Bytes Read=7343034 
12/12/25 00:53:15 INFO mapred.JobClient:   Map-Reduce Framework 
12/12/25 00:53:15 INFO mapred.JobClient:     Map output materialized bytes=2948682 
12/12/25 00:53:15 INFO mapred.JobClient:     Map input records=155864 
12/12/25 00:53:15 INFO mapred.JobClient:     Reduce shuffle bytes=2681669 
12/12/25 00:53:15 INFO mapred.JobClient:     Spilled Records=511924 
12/12/25 00:53:15 INFO mapred.JobClient:     Map output bytes=12152190 
12/12/25 00:53:15 INFO mapred.JobClient:     Total committed heap usage (bytes)=978935808 
12/12/25 00:53:15 INFO mapred.JobClient:     CPU time spent (ms)=7070 
12/12/25 00:53:15 INFO mapred.JobClient:     Combine input records=1258344 
12/12/25 00:53:15 INFO mapred.JobClient:     SPLIT_RAW_BYTES=752 
12/12/25 00:53:15 INFO mapred.JobClient:     Reduce input records=204644 
12/12/25 00:53:15 INFO mapred.JobClient:     Reduce input groups=82335 
12/12/25 00:53:15 INFO mapred.JobClient:     Combine output records=204644 
12/12/25 00:53:15 INFO mapred.JobClient:     Physical memory (bytes) snapshot=1124028416 
12/12/25 00:53:15 INFO mapred.JobClient:     Reduce output records=82335 
12/12/25 00:53:15 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=2677747712 
12/12/25 00:53:15 INFO mapred.JobClient:     Map output records=1258344
檢查輸出結果,使用以下指令:
hduser@ubuntu:/usr/local/hadoop$ bin/hadoop dfs -ls /user/hduser/gutenberg-output 
Found 3 items 
-rw-r--r--   1 hduser supergroup          0 2012-12-25 00:53 /user/hduser/gutenberg-output/_SUCCESS 
drwxr-xr-x   - hduser supergroup          0 2012-12-25 00:52 /user/hduser/gutenberg-output/_logs 
-rw-r--r--   1 hduser supergroup     886978 2012-12-25 00:53 /user/hduser/gutenberg-output/part-r-00000 
hduser@ubuntu:/usr/local/hadoop$
把結果的內容顯示出來的指令:
hduser@ubuntu:/usr/local/hadoop$ bin/hadoop dfs -cat /user/hduser/gutenberg-output/part-r-00000
把結果搬回真實檔案系統,然後看內容的指令:
hduser@ubuntu:/usr/local/hadoop$ mkdir /tmp/gutenberg-output 
hduser@ubuntu:/usr/local/hadoop$ bin/hadoop dfs -getmerge /user/hduser/gutenberg-output /tmp/gutenberg-output 
12/12/25 01:03:58 INFO util.NativeCodeLoader: Loaded the native-hadoop library 
hduser@ubuntu:/usr/local/hadoop$ head /tmp/gutenberg-output/gutenberg-output 
"(Lo)cra"    2 
"1490    2 
"1498,"    2 
"35"    2 
"40,"    2 
"A    4 
"AS-IS".    2 
"A_    2 
"Absoluti    2 
"Alack!    2 
hduser@ubuntu:/usr/local/hadoop$

Hadoop Web Interface

目前版本有提供 web 介面,只能看狀態,不能改。
  • http://localhost:50070/ – 可以看 NameNode 的狀態
  • http://localhost:50030/ – 可以看 JobTracker 的狀態
  • http://localhost:50060/ – 可以看 TaskTracker 的狀態

結語

到這裡,單電腦叢集的 Hadoop 系統,算是非常簡單的介紹完畢。可以從這裡的操作知道,若是需要一個可用的 Hadoop,要經過:(1)操作系統的安裝、(2)java系統的安裝、(3)hadoop系統的安裝、(4)以上三個系統的設定。要執行程式,則要:(1)程式資料的準備、(2)將資料搬進至Hadoop檔案系統、(3)撰寫執行 MapReduce 程式、(4)將資料搬出Hadoop檔案系統。這些工作都不是簡單買個套裝程式回來,拖一拖、拉一拉,或是按一按鈕就可以解決的事情。而且,這個單叢集系統,還不具備備援、分散式計算的功能,都還需要進一步的規劃及調整。
從這個最簡單的系統,接下來則會因著各人的工作項目而有不同的發展方向:
  • 系統工程師,要開始研究 hadoop 設定,使之成為分散式系統。並且建立備援機制。研究 hadoop 管理工具
  • 軟體工程師,依據需求,安裝 HBASE 或 Cassandra 資料庫,或者利用檔案來存放資料。研究 MapReduce 程式風格。建立自用的介面程式與資料系統、檔案系統做存取。

[hadoop]Hadoop 小象安裝測試在 Ubuntu

小象要開始跑

在了解大概 hadoop 能做什麼之後,就來安裝試試吧。Michael G. Noll 寫了幾份非常好的教學。 這裡就按照他的教學,一步步重做一遍。就從他的 Running Hadoop On Ubuntu Linux (Single-Node Cluster) 開始讓小象跑。
而我這篇是讓我自己這個新手能夠不忘記我是怎麼安裝的筆記。

安裝 ubuntu 在 vmware 裡,完成 vmware-tool 安裝。

這一步是原來教學沒有的步驟。為了大家可以在公司、或自家的電腦試用,所以用 vmware 裝一個虛擬電腦。首先要注意,vmware-tool 的安裝跟 vmware 版本有關。vmware-tool 最重要的是可以讓 host 系統 及 guest 系統用「拖拉」、「複製貼上」的方式,交換檔案及文字。我使用的版本是 vmware 8,在裝好 ubuntu 12.04 之後,vmware-tool 可使用隨附的 8.8.0 版安裝。(vmware 7 可裝 ubuntu 11.04 配合 6.0.2。)在確認完 vmware 版本之後,就不用擔心之後會有問題了。
到 http://www.ubuntu.com/download/desktop 下載 12.04 LTS,下載 iso 檔。選擇 desktop 是因為有桌面可用,比較方便。
將 ubuntu 安裝完畢,先加入一個使用者 hduser,這是之後專門執行 hadoop 程式的使用者。
$ sudo addgroup hadoop
$ sudo adduser --ingroup hadoop hduser
hduser 要加入 sudoer 名單中,才能安裝 vmware-tool。
先用安裝者的帳號執行
$ sudo visudo
再把 hduser (ALL:ALL)=ALL 加在 root (ALL:ALL)=ALL 底下。
或把 hduser 加到 admin 的 group 裡面。(首先要確定有 admin 的 group。可參考)
$ sudo usermod -g admin hduser
然後切換使用者為 hduser。
接下來,在 vmware 的「VM」選單,按下「install VMware tool」,在虛擬電腦裡,會 mount 一個檔案。點兩下,會使用 archie manager 開啟檔案,把裡面的目錄「vmware-tools-distrib」拖到桌面上。
啟動 terminal,切換到 ~/Desktop/vmware-tools-distrib,執行
$ sudo ./vmware-install.pl
中間經過一連串的問題,都是按 enter 通過。如果有因為任何的錯誤而停下,都是因為 vmware-tools 的版本與 ubuntu 版本不合導致。我花了很多冤枉時間,才知道是版本問題。vmware 出 vmware-tools 程式一定是可以用才釋出,把版本弄對就不用白花時間。
安裝完畢,重開機一次。

設定 SSH

因為 hadoop 使用 ssh 管理它的 node,接下來要設定 ssh。
首先,產生 ssh key。
$ su - hduser # 換成 root 權限 
hduser@ubuntu:~$ ssh-keygen -t rsa -P "" 
Generating public/private rsa key pair. 
Enter file in which to save the key (/home/hduser/.ssh/id_rsa): 
Created directory '/home/hduser/.ssh'. 
Your identification has been saved in /home/hduser/.ssh/id_rsa. 
Your public key has been saved in /home/hduser/.ssh/id_rsa.pub. 
The key fingerprint is: 
db:35:f4:ae:e3:79:48:d3:95:fa:2d:22:a8:43:5c:dd hduser@ubuntu 
The key's randomart image is: 
... 
hduser@ubuntu:~$
第二行是產生一個不用密碼的 RSA key pari。這樣就不用 hadoop 與 node 溝通時,都要人去打密碼。
再來,把新產生的 key 放到已認證的 key 中。
hduser@ubuntu:~$ cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
因為 desktop 版沒有 ssh server,因此,要加裝 openssh-server
hduser@ubuntu:~$ sudo apt-get install openssh-server
測試一下能不能連上 ssh server。因為這版的 server 預設使用 ECDSA 所以,ssh 的指令要強迫使用 rsa。
hduser@ubuntu:~$ ssh -oHostKeyAlgorithms='ssh-rsa' localhost 
The authenticity of host 'localhost (127.0.0.1)' can't be established. 
RSA key fingerprint is a3:99:7f:2b:8e:92:34:20:59:2f:2d:10:94:c9:60:74. 
Are you sure you want to continue connecting (yes/no)? yes 
Warning: Permanently added 'localhost' (RSA) to the list of known hosts. 
Welcome to Ubuntu 12.10 (GNU/Linux 3.5.0-17-generic i686)
* Documentation:  https://help.ubuntu.com/
222 packages can be updated. 
52 updates are security updates.
Last login: Mon Dec 24 00:56:30 2012 from localhost 
hduser@ubuntu:~$ exit 
logout 
Connection to localhost closed. 
hduser@ubuntu:~$
另一個解決辦法是產生 ECDSA,並使用 ECDSA。
hduser@ubuntu:~$ ssh-keygen -t ecdsa -P "" 
Generating public/private ecdsa key pair. 
Enter file in which to save the key (/home/hduser/.ssh/id_ecdsa): 
Your identification has been saved in /home/hduser/.ssh/id_ecdsa. 
Your public key has been saved in /home/hduser/.ssh/id_ecdsa.pub. 
The key fingerprint is: 
27:64:63:de:16:4b:97:f4:58:96:11:46:6d:a2:24:7e hduser@ubuntu 
The key's randomart image is:
因為後續的過程中,按照這個教學的話,hadoop 會自然的使用 ECDSA,所以,還是要用 ECDSA 的方式把 key 加到 .ssh/authorized_keys 裡面。
hduser@ubuntu:~$ cat $HOME/.ssh/id_ecdsa.pub >> $HOME/.ssh/authorized_keys
Noll 先生說,如果有遇到問題,要檢查一下在 /etc/ssh/sshd_config 裡:
  • PubkeyAuthentication 應該是 yes。
  • AllowUsers 如果有打開,則要把 hduser 加進去。
  • 如果 ssh server 的設定有異動,要強迫 ssh server 重載設定。 $ sudo /etc/init.d/ssh reload

安裝 java

java 至少要用到 ,我們可以使用指令來檢查 java 版本
hduser@ubuntu:~$ java -version 
The program 'java' can be found in the following packages: 
* default-jre 
* gcj-4.6-jre-headless 
* gcj-4.7-jre-headless 
* openjdk-7-jre-headless 
* openjdk-6-jre-headless 
Try: sudo apt-get install
新安裝的 ubuntu 12.04 desktop LTS 沒有裝 java runtime。要自己安裝。
hduser@ubuntu:~$ sudo apt-get install default-jre
hduser@ubuntu:~$ java -version 
java version "1.7.0_09" 
OpenJDK Runtime Environment (IcedTea7 2.3.3) (7u9-2.3.3-0ubuntu1~12.10.1) 
OpenJDK Client VM (build 23.2-b09, mixed mode, sharing) 
hduser@ubuntu:~$

安裝小象

從 Apache 下載 hadoop,目前穩定版是 1.0.4,到 http://www.apache.org/dyn/closer.cgi/hadoop/common/ 它會給你最近的 mirror 站點。下載 1.0.4 版的 hadoop-1.0.4.tar.gz。
 image
使用 firefox 下載,預設會放到 ~/Downloads 裡面。點兩下 hadoop-1.0.4.tar.gz,archive manager 會打開該壓縮檔,把裡面的目錄 hadoop-1.0.4 拉到桌面,改名為 hadoop,再移到 /usr/local 裡面去。使用指令
hduser@ubuntu:~$ sudo mv Desktop/hadoop/ /usr/local/ 
[sudo] password for hduser: 
hduser@ubuntu:~$ ls -l /usr/local 
total 36 
drwxr-xr-x  2 root   root   4096 Oct 17 07:56 bin 
drwxr-xr-x  2 root   root   4096 Oct 17 07:56 etc 
drwxr-xr-x  2 root   root   4096 Oct 17 07:56 games 
drwxr-xr-x 14 hduser hadoop 4096 Dec 24 01:09 hadoop 
drwxr-xr-x  2 root   root   4096 Oct 17 07:56 include 
drwxr-xr-x  4 root   root   4096 Oct 17 07:59 lib 
lrwxrwxrwx  1 root   root      9 Dec 13 10:10 man -> share/man 
drwxr-xr-x  2 root   root   4096 Oct 17 07:56 sbin 
drwxr-xr-x  7 root   root   4096 Oct 17 08:00 share 
drwxr-xr-x  2 root   root   4096 Oct 17 07:56 src
接下來要設定 .bashrc。(ubuntu 預設是用 bash。)使用指令開啟 .bashrc 來改。
hduser@ubuntu:~$ gedit .bashrc
在檔案的最後加進以下的設定。(原文中的 HADOOP_HOME 的設定已經要改用 HADOOP_PREFIX。)
################# for hadoop settings ############## 
# Set Hadoop-related environment variables 
export HADOOP_PREFIX=/usr/local/hadoop
# Set JAVA_HOME (we will also configure JAVA_HOME directly for Hadoop later on) 
export JAVA_HOME=/usr/lib/jvm/default-java
# Some convenient aliases and functions for running Hadoop-related commands 
unalias fs &> /dev/null 
alias fs="hadoop fs" 
unalias hls &> /dev/null 
alias hls="fs -ls"
# If you have LZO compression enabled in your Hadoop cluster and 
# compress job outputs with LZOP (not covered in this tutorial): 
# Conveniently inspect an LZOP compressed file from the command 
# line; run via: 

# $ lzohead /hdfs/path/to/lzop/compressed/file.lzo 

# Requires installed 'lzop' command. 

lzohead () { 
    hadoop fs -cat $1 | lzop -dc | head -1000 | less 
}
# Add Hadoop bin/ directory to PATH 
export PATH=$PATH:$HADOOP_PREFIX/bin

其他使用者要用 hadoop 的,也要更新這個 ~/.bashrc

設定 hadoop -- 1

第一個要處理的是 hadoop-env.sh
hduser@ubuntu:~$ gedit /usr/local/hadoop/conf/hadoop-env.sh
把裡面的
# export JAVA_HOME=/usr/lib/j2sdk1.5-sun
的底下,加上
export JAVA_HOME=/usr/lib/jvm/default-java
再來要把 ipv6 關掉。檔案的最後加上
export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true

設定 hadoop -- 2

接下來是 core-site.xml,這是設定 hadoop 要在真實檔案系統的位置。因此,先建立一個目錄給 hadoop 使用。
hduser@ubuntu:~$ sudo mkdir -p /app/hadoop/tmp 
[sudo] password for hduser: 
hduser@ubuntu:~$ ls -l /app/hadoop/ 
total 4 
drwxr-xr-x 2 root root 4096 Dec 24 02:02 tmp 
hduser@ubuntu:~$ sudo chown hduser:hadoop /app/hadoop/tmp 
hduser@ubuntu:~$ ls -l /app/hadoop/ 
total 4 
drwxr-xr-x 2 hduser hadoop 4096 Dec 24 02:02 tmp 
hduser@ubuntu:~$ sudo chmod 750 /app/hadoop/tmp 
hduser@ubuntu:~$ ls -l /app/hadoop/ 
total 4 
drwxr-x--- 2 hduser hadoop 4096 Dec 24 02:02 tmp 
hduser@ubuntu:~$
把下列的文字,加到 /usr/local/hadoop/conf/core-site.xml 的  ...  中間:


  hadoop.tmp.dir
  /app/hadoop/tmp
  A base for other temporary directories.



  fs.default.name
  hdfs://localhost:54310
  The name of the default file system.  A URI whose
  scheme and authority determine the FileSystem implementation.  The
  uri's scheme determines the config property (fs.SCHEME.impl) naming
  the FileSystem implementation class.  The uri's authority is used to
  determine the host, port, etc. for a filesystem.
把下列的文字,加到 /usr/local/hadoop/conf/mapred-site.xml 的  ...  中間:


  mapred.job.tracker
  localhost:54311
  The host and port that the MapReduce job tracker runs
  at.  If "local", then jobs are run in-process as a single map
  and reduce task.
  
把下列的文字,加到 /usr/local/hadoop/conf/hdfs-site.xml 的  ...  中間:


  dfs.replication
  1
  Default block replication.
  The actual number of replications can be specified when the file is created.
  The default is used if replication is not specified in create time.
  

如果要對設定檔多了解,可以到以下連結查看:

格式化 HDFS 的檔案系統

Noll 先生在這非常強調,不要對正在使用中的系統做格式化的動作。該系統資料會消失。
我們這個新系統要啟用,則必須先格式化檔案系統。
hduser@ubuntu:~$ /usr/local/hadoop/bin/hadoop namenode -format
結果如下:
hduser@ubuntu:~$ /usr/local/hadoop/bin/hadoop namenode -format 
12/12/24 02:14:23 INFO namenode.NameNode: STARTUP_MSG: 
/************************************************************ 
STARTUP_MSG: Starting NameNode 
STARTUP_MSG:   host = ubuntu/127.0.1.1 
STARTUP_MSG:   args = [-format] 
STARTUP_MSG:   version = 1.0.4 
STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1393290; compiled by 'hortonfo' on Wed Oct  3 05:13:58 UTC 2012 
************************************************************/ 
12/12/24 02:14:23 INFO util.GSet: VM type       = 32-bit 
12/12/24 02:14:23 INFO util.GSet: 2% max memory = 19.33375 MB 
12/12/24 02:14:23 INFO util.GSet: capacity      = 2^22 = 4194304 entries 
12/12/24 02:14:23 INFO util.GSet: recommended=4194304, actual=4194304 
12/12/24 02:14:24 INFO namenode.FSNamesystem: fsOwner=hduser 
12/12/24 02:14:24 INFO namenode.FSNamesystem: supergroup=supergroup 
12/12/24 02:14:24 INFO namenode.FSNamesystem: isPermissionEnabled=true 
12/12/24 02:14:24 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100 
12/12/24 02:14:24 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s) 
12/12/24 02:14:24 INFO namenode.NameNode: Caching file names occuring more than 10 times 
12/12/24 02:14:25 INFO common.Storage: Image file of size 112 saved in 0 seconds. 
12/12/24 02:14:25 INFO common.Storage: Storage directory /app/hadoop/tmp/dfs/name has been successfully formatted. 
12/12/24 02:14:25 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************ 
SHUTDOWN_MSG: Shutting down NameNode at ubuntu/127.0.1.1 
************************************************************/ 
hduser@ubuntu:~$

啟動 cluster

到了要啟動系統的時候,使用指令:
hduser@ubuntu:~$ /usr/local/hadoop/bin/start-all.sh
看到以下的 log 就代表成功了。
hduser@ubuntu:~$ /usr/local/hadoop/bin/start-all.sh 
starting namenode, logging to /usr/local/hadoop/libexec/../logs/hadoop-hduser-namenode-ubuntu.out 
localhost: starting datanode, logging to /usr/local/hadoop/libexec/../logs/hadoop-hduser-datanode-ubuntu.out 
localhost: starting secondarynamenode, logging to /usr/local/hadoop/libexec/../logs/hadoop-hduser-secondarynamenode-ubuntu.out 
starting jobtracker, logging to /usr/local/hadoop/libexec/../logs/hadoop-hduser-jobtracker-ubuntu.out 
localhost: starting tasktracker, logging to /usr/local/hadoop/libexec/../logs/hadoop-hduser-tasktracker-ubuntu.out 
hduser@ubuntu:~$

利用 jps 來看是否已啟動

Noll 先生說可以使用 jps 來看啟動是否成功。但新裝的 ubuntu 沒有這東西。
The program 'jps' can be found in the following packages: 
* openjdk-6-jdk 
* openjdk-7-jdk 
Ask your administrator to install one of them
於是,安裝 openjdk-7-jdk
sudo apt-get install openjdk-7-jdk
再試一次
hduser@ubuntu:~$ jps 
7516 TaskTracker 
7287 SecondaryNameNode 
7839 DataNode 
12038 Jps 
6491 NameNode 
6901 JobTracker 
hduser@ubuntu:~$

也可以用 netstat 來看監聽的 port 是否有開。
hduser@ubuntu:~$ sudo netstat -plten | grep java

停止 single-node cluster

使用這個指令:
hduser@ubuntu:~$ /usr/local/hadoop/bin/stop-all.sh
會看到:
hduser@ubuntu:~$ /usr/local/hadoop/bin/stop-all.sh 
stopping jobtracker 
localhost: Agent admitted failure to sign using the key. 
localhost: stopping tasktracker 
stopping namenode 
localhost: Agent admitted failure to sign using the key. 
localhost: stopping datanode 
localhost: Agent admitted failure to sign using the key. 
localhost: no secondarynamenode to stop 
hduser@ubuntu:~$
原篇照我的方式走,真的太長。因此下一篇來驗證,這個系統真的可以用。


資料來源