首頁 > 期刊 > 自然科學與工程技術 > 工程科技II > 綜合科技B類綜合 > 太原科技大學學報 > 基于MapReduce的并行加權k近鄰與離群檢測 【正文】
摘要:利用MapReduce編程模型,提出一種并行的加權k近鄰與離群檢測方法WKNNOM-MR.該算法首先對輸入數據隨機均勻采樣,在樣本數據集中采用信息熵計算各個屬性的權值;然后在集群中的數據節點上對輸入數據進行加權,并將其映射到Z-order空間填充曲線,給出了一種基于Z-order的加權k近鄰查詢方法;根據每個對象與其加權k近鄰之間的距離計算離群因子,在兼顧最小距離與平均距離的基礎上,給出離群點檢測算法;最后在具有5個節點的Hadoop集群上實現該算法,并采用人工合成數據集、UCI標準數據集進行實驗,結果驗證了該算法的有效性、可擴展性和可伸縮性。
注:因版權方要求,不能公開全文,如需全文,請咨詢雜志社