一種基于層次分割和聚合的大數據流水線任務處理方法

摘要：近年來,互聯網各類型的數據不斷增長,數據的應用場景也越來越廣泛。如何將各種類型數據自動整合后接入不同的場景平臺成為了各界關心的問題。業界通常采用流水線工具進行任務調度,然而大多數流水線工具都無法將任務分割為多個子任務并行執行。因此本文提出一種基于層次分割和聚合的大數據流水線任務處理方法:首先在分割模塊中將流水線中的任務分割為多個子任務,然后在合并程序中等待各子任務全部完成,合并結果,最終獲得整個任務的完成事件。實現了利用流處理框架處理有限數據集,擴展了流處理系統的使用場景,提升了流水線工具的代碼重用性。實驗表明,本文方法極大減少了數據庫I/O次數,使得本文方法處理DBLP[1]數據的速率是Apache NiFi[2]傳統處理方法的7倍多。