http://www.pugwoo.com/ 2012-02-22T20:05:17-05:00 http://www.pugwoo.com/ http://www.pugwoo.com/lib/tpl/default/images/favicon.ico text/html 2012-02-05T10:10:39-05:00 pugwoo http://www.pugwoo.com/eclipse?rev=1328454639&do=diff Eclipse和MyEclipse是我最常用的IDE，用於開發Java/C/C++等程序。MyEclipse是基於Eclipse的插件，收費，推薦使用8.6.1版本並用序列號註冊。 1. 常用技巧/習慣 快捷鍵 設置快捷鍵：Window-->Perferences-->搜索keys，進去即可修改。 text/html 2012-01-23T07:11:16-05:00 pugwoo http://www.pugwoo.com/hadoop:mrin?rev=1327320676&do=diff 簡單地說，一個MapReduce經歷了輸入->MapReduce處理->輸出三個過程。輸入作為重要的一層，為不同的數據形式提供了統一的輸入形式，為MapReduce屏蔽了不同的輸入形式，比如純文本輸入、特殊格式的文件輸入（如SequenceFile或XML文件）、數據庫輸入等。 text/html 2012-01-21T23:18:41-05:00 pugwoo http://www.pugwoo.com/hadoop?rev=1327205921&do=diff Hadoop介紹：Hadoop 1. 實驗操作 * Hadoop的安裝 * Hadoop(集成)開發環境 * Hadoop分佈式文件系統HDFS * Hadoop(自帶)例子 2. 數據結構/原理 * Hadoop序列化 * Hadoop SequenceFile * Hadoop MapFile 3. MapReduce編程 * MapReduce基礎原理 * MapReduce編程模版 * MapReduce輸入 * MapReduce輸出 * MapReduce測試及配置調試 text/html 2012-01-21T22:33:54-05:00 pugwoo http://www.pugwoo.com/hadoop:example?rev=1327203234&do=diff 1. 計算單詞數 該MapReduce程式用於計算某一文件夾下所有文件中的英文單詞數，英文單詞以空格隔開，實現類似於Linux的wc（WordCount）命令。 準備數據 在本地文件系統的HOME目錄下創建文件夾input及其下文件file01、file02，內容如下： text/html 2012-01-21T08:19:33-05:00 pugwoo http://www.pugwoo.com/hadoop:seq?rev=1327151973&do=diff 1. 簡介 SequenceFile是Hadoop自帶的一種文件格式，為二進制鍵/值對提供一個持久化的數據結構。它並列地存放<鍵，值>均為Hadoop序列化支援的Writable對象。SequenceFile可以作為小型的文件容器，提供一種解決大量小文件的存放方案。 text/html 2012-01-21T06:49:04-05:00 pugwoo http://www.pugwoo.com/hadoop:mrtest?rev=1327146544&do=diff 1. 單元測試 2. 配置調試 在使用hadoop運行程式時，可以加上選項，例如指定配置文件或多定義幾個變量，例如： hadoop fs -ls # 不帶選項 hadoop fs -D color=red -ls # 帶上選項-D color=red 這就定義了一個新的屬性color和值red，雖然這個屬性沒有意義，僅用於演示加選項的情況。常用的選項： text/html 2012-01-18T22:46:12-05:00 pugwoo http://www.pugwoo.com/javascript?rev=1326944772&do=diff 1. 簡介及資源 JavaScript是網路上最流行的腳本語言，廣泛用於網頁製作。語法基本和C語言一致，具有函數式編程和面向對象的思想。另一種網頁腳本語言VBScript已經銷聲匿跡。ECMAScript是JavaScript的標準。 text/html 2012-01-16T23:00:40-05:00 pugwoo http://www.pugwoo.com/hadoop:serialize?rev=1326772840&do=diff 1. 簡介 簡單來說，序列化就是將對象（實例）轉換為字節流（字節數組）的過程，轉換後的字節流可用於網絡傳輸或寫入磁盤。對應的，反序列化就是將字節流轉換成對象的過程。Hadoop有自己的序列化實現，並已提取為Avro子項目。序列化要求具有字節流緊湊、處理快速、可擴展、多語言支持等特性。 text/html 2012-01-15T04:34:20-05:00 pugwoo http://www.pugwoo.com/hadoop:hdfs?rev=1326620060&do=diff 1. 簡介 具體詳見Apache_Hadoop 簡單來說，HDFS： * 分塊存儲超大文件，默認每塊64M，文件大小高達PB級別 * 最適合一次寫入、多次讀寫模式 * 流式讀寫數據，高吞吐量，但高延遲 * 可運行在普通商用機器上，多副本存儲，能動態處理機器失效情況，可靠性高 * 多用戶讀寫，只能寫到文件末尾 * 採用Master/Slaves架構，對應於NameNode和DataNode，NameNode管理文件系統的命名空間，DataNode存放數據… text/html 2012-01-08T08:27:50-05:00 pugwoo http://www.pugwoo.com/gae?rev=1326029270&do=diff 1. 下載、調試及上傳 下載SDK 目前為止GAE提供Python、Java、Go三種語言的運行平台。下載地址：這裡，推薦下載.zip SDK包，Linux或Windows平台解壓即可使用，無需安裝。 Python版需要安裝Python，Java版需要安裝JDK。 text/html 2011-12-05T09:45:07-05:00 pugwoo http://www.pugwoo.com/?image=spring%3Aspring_mvc.png&ns=spring&rev=1323096307&tab_details=history&mediado=diff&do=media <img src="/_media/spring:spring_mvc.png?w=500&h=320t=1323096307" alt="spring:spring_mvc.png" />