基于MapReduce的并行加權k近鄰與離群檢測

摘要：利用MapReduce編程模型,提出一種并行的加權k近鄰與離群檢測方法WKNNOM-MR.該算法首先對輸入數據隨機均勻采樣,在樣本數據集中采用信息熵計算各個屬性的權值;然后在集群中的數據節點上對輸入數據進行加權,并將其映射到Z-order空間填充曲線,給出了一種基于Z-order的加權k近鄰查詢方法;根據每個對象與其加權k近鄰之間的距離計算離群因子,在兼顧最小距離與平均距離的基礎上,給出離群點檢測算法;最后在具有5個節點的Hadoop集群上實現該算法,并采用人工合成數據集、UCI標準數據集進行實驗,結果驗證了該算法的有效性、可擴展性和可伸縮性。