一種在分布式環境下實現冪迭代聚類的方法
大小：0.69 MB 人氣： 2017-12-11 需要積分：1
為解決冪迭代聚類算法并行實現中存在的編程繁瑣、效率低下等問題，基于Spark大規模數據通用計算引擎及其GraphX組件，提出了一種在分布式環境下實現冪迭代聚類的方法。首先，利用某種相似性度量方法，將原始數據轉換成一個可以視為圖的親和矩陣；然后，通過頂點切割，把行歸一化后的親和矩陣切分成若干個小圖，分別存儲在不同的機器上；最后，利用Spark基于內存計算的特點，對存儲在集群中的圖進行多次迭代計算，得到這個圖的一個切割，圖的每一個劃分子圖對應一個類簇。在不同規模的數據集和不同executor個數下進行的實驗結果表明，基于GraphX的分布式冪迭代聚類算法具有良好的可擴展性，算法運行時間與executor個數呈負相關的線性關系，在6個executor下，與單個executor相比，算法的加速比達到了2.09到3.77。同時，通過與基于Hadoop的冪迭代聚類進行對比，在新聞數量為40000篇時，運行時間降低了6l%。
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%