前言：

文本分類任務的第1步，就是對語料進行分詞。在單機模式下，可以選擇python jieba分詞，使用起來較方便。但是如果希望在Hadoop集群上通過mapreduce程序來進行分詞，則hanLP更加勝任。

一、使用介紹

hanLP是一個用java語言開發的分詞工具， 官網是?http://hanlp.com/?。 hanLP創建者提供了兩種使用方式，一種是portable簡化版本，內置了數據包以及詞典文件，可通過maven來管理依賴，只要在創建的 maven 工程中加入以下依賴，即可輕松使用（強烈建議大家優先采用這種方法）。

具體操作方法如圖示，在pom.xml中，加入上述依賴信息，筆者使用的IDEA編輯器就會自動開始解析依賴關系，并導入左下角的hanlp jar包。

第二種方法需要自己下載data數據文件，并通過一個配置文件hanlp.properties來管理各種依賴信息，其中最重要的是要人為指定data目錄的家目錄。（不建議大家一上來就使用這種方法，因為真心繁瑣！）

二、通過第一種方法，建立maven工程，編寫mapreduce完整程序如下（親測運行良好）：

三、添加自定義詞典文件 & 單機模式

有時候我們希望根據自己業務領域的一些專有詞匯進行分詞，而這些詞匯可能并不包含在官方jar包自帶的分詞詞典中，故而我們希望提供自己的詞典文件。首先，我們定義一個測試的句子，并用系統默認的詞典進行分詞，可看到效果如下圖所示：

假如說我們想添加的詞匯較多呢，通過上面的方法，一個一個 add, 未勉顯得不夠優雅，這時我們就希望通過一個詞典文件的形式來添加自定義詞匯。在官方網站上，提供了如下一種方法。該方法要求我們單獨下載一個data目錄，以及定義一個配置文件。下面我們就來看下如何操作。

首先，下載好上面的hanlp.jar后，在java工程師導入該包。同時在src目錄下創建一個hanlp.properties配置文件，內容直接復制官網上的內容，但是注意修改兩個地方。

其中myDictionary.txt是我們自己創建的一個詞典文件，其內容為：

這時候，再運行方法1同樣的代碼，可看到如下結果中，也將“詞分”、“自試” c。

注意，如果你不想顯示/n /nr這樣的記性，也可以將上述配置文件中最后一行

ShowTermNature=true

修改為

ShowTermNature=false

注意，這時候，運行成功的話，會在詞典目錄下生成一個詞典緩存文件

四、自定義詞典文件 & mapreduce提交

寫到這里，想必細心的人已經想到了，當我們希望將編輯好的mapreduce程序打成jar包，提交到集群上運行時，上面這種通過配置文件指定data目錄的方法還可行嗎？ 反正我是沒有搞定。理論上，要么我們需要把data上傳到集群上每個節點，要么把data直接打到jar包中。但是，這兩種方法本人嘗試都沒有成功。最終，跟一位同事相互討論后，借鑒了對方的方法。即我們猜想，portable版本自帶了data數據，且不需要額外指定配置文件。而我們現在想做的就是添加了一些自定義詞匯，那么，是否我們將其中的詞典緩存文件替換掉，就行了呢？動手試下才知道嘛。這次不通過maven來管理依賴，直接下載portable版本的jar包，然后打開壓縮文件，刪除data\dictionary\custom目錄下的CustomDictionary.txt.bin文件，然后將上一步運行成功的CustomDictionary.txt.bin粘貼進去！ 將工程打成jar包，再通過命令行進入其所在目錄，執行java -jar ?包名， 發現可以執行成功。然后，為了測試是否對這個絕對路徑有依賴，我們故意將該jar包剪切到 d:\ ， 再執行一下，發現同樣是成功的。

具體到提交到集群上運行，我們就不贅述了。這個方法雖然土一些，但至少是可用的。

文章轉載自?a_step_further?的博客（有小幅改遍）

?