AnyQ(ANswer Your Questions)

AnyQ(ANswer Your Questions)?開源項目主要包含面向FAQ集合的問答系統框架、文本語義匹配工具SimNet。

問答系統框架采用了配置化、插件化的設計，各功能均通過插件形式加入，當前共開放了20+種插件。開發者可以使用AnyQ系統快速構建和定制適用于特定業務場景的FAQ問答系統，并加速迭代和升級。

SimNet是百度自然語言處理部于2013年自主研發的語義匹配框架，該框架在百度各產品上廣泛應用，主要包括BOW、CNN、RNN、MM-DNN等核心網絡結構形式，同時基于該框架也集成了學術界主流的語義匹配模型，如MatchPyramid、MV-LSTM、K-NRM等模型。SimNet使用PaddleFluid和Tensorflow實現，可方便實現模型擴展。使用SimNet構建出的模型可以便捷的加入AnyQ系統中，增強AnyQ系統的語義匹配能力
(English)

詳細介紹

FAQ問答系統框架

AnyQ系統框架主要由Question Analysis、Retrieval、Matching、Re-Rank等部分組成，框架中包含的功能均通過插件形式加入，如Analysis中的中文切詞，Retrieval中的倒排索引、語義索引，Matching中的Jaccard特征、SimNet語義匹配特征，當前共開放了20+種插件。AnyQ系統的配置化、插件化設計有助于開發者快速構建、快速定制適用于特定業務場景的FAQ問答系統，加速迭代和升級。 AnyQ的框架結構如下圖：

配置化

AnyQ系統集成了檢索和匹配的眾多插件，通過配置的方式生效；以檢索方式和文本匹配相似度計算中的插件為例：

• 檢索方式(Retrieval)

  • 倒排索引：基于開源倒排索引Solr，加入百度開源分詞；

  • 語義檢索：基于SimNet語義表示，使用ANNOY進行ANN 檢索；

  • 人工干預：通過提供精準答案，控制輸出；

• 匹配計算(Matching)

  • SimNet語義匹配：使用語義匹配SimNet架構訓練的模型，構建問題在語義層面的相似度；

  • Cosine相似度

  • Jaccard相似度

  • BM25

  • 字面匹配相似度：在對中文問題進行切詞等處理之后，計算字面匹配特征

  • 語義匹配相似度

插件化

除框架外，AnyQ的所有功能都是通過插件形式加入，用戶自定義的插件很容易加到AnyQ系統中，只需實現對應的接口即可，如自定義詞典加載、Question分析方法、檢索方式、匹配相似度、排序方式等，真正實現可定制和插件化。

文本語義匹配框架SimNet

SimNet是百度自然語言處理部于2013年自主研發的語義匹配框架，該框架在百度各產品上廣泛應用，主要包括BOW、CNN、RNN、MM-DNN等核心網絡結構形式，同時基于該框架也集成了學術界主流的語義匹配模型，如MatchPyramid、MV-LSTM、K-NRM等模型。SimNet使用PaddleFluid和Tensorflow實現，可方便實現模型擴展。使用SimNet構建出的模型可以便捷的加入AnyQ系統中，增強AnyQ系統的語義匹配能力。

按照文本語義匹配網絡結構, 可將SimNet中實現的網絡模型主要分為如下兩類：

• Representation-based Models 如：BOW, CNN, RNN(LSTM, GRNN) 特點：文本匹配任務的兩端輸入，分別進行表示，之后將表示進行融合計算相似度；

• Interaction-based Models 如：MatchPyramid, MV-LSTM, K-NRM, MM-DNN 特點：在得到文本word級別的序列表示之后，根據兩個序列表示計算相似度匹配矩陣，融合每個位置上的匹配信息給出最終相似度打分；

SimNet使用PaddleFluid和Tensorflow實現，更多文檔請參考：

• SimNet PaddleFluid

• SimNet TensorFlow

代碼編譯

Linux

cmake 3.0以上(推薦3.2.2版本)，g++ >=4.8.2，

mkdir?build?&&?cd?build?&&?cmake?..?&&?make

Others

針對MacOS、Windows等環境，推薦使用docker方式

#?使用paddle官方鏡像
docker?pull?paddlepaddle/paddle:lastest-dev

Demo

構建索引、配置

#?獲取anyq定制solr，anyq示例配置
cp?../tools/anyq_deps.sh?.
sh?anyq_deps.sh

#?啟動solr,?依賴python-json,?jdk>=1.8
cp?../tools/solr?-rp?solr_script
sh?solr_script/anyq_solr.sh?solr_script/sample_docs

• HTTP-Server

./run_server

#?請求示例：
http:${host}:${port}/anyq?question=XXX

• lib

./demo_anyq?sample_input_json

更多文檔

• AnyQ配置詳解

• AnyQ如何添加插件

• AnyQ使用語義索引

如何貢獻

• 可以在AnyQ框架下定制特定功能的插件，教程參考AnyQ如何添加插件

• 如果覺得自己定制的插件功能足夠通用&漂亮，歡迎給我們提交PR

Copyright and License

AnyQ is provided under the?Apache-2.0 license.