摘要：近年來,互聯(lián)網(wǎng)各類型的數(shù)據(jù)不斷增長,數(shù)據(jù)的應用場景也越來越廣泛。如何將各種類型數(shù)據(jù)自動整合后接入不同的場景平臺成為了各界關(guān)心的問題。業(yè)界通常采用流水線工具進行任務調(diào)度,然而大多數(shù)流水線工具都無法將任務分割為多個子任務并行執(zhí)行。因此本文提出一種基于層次分割和聚合的大數(shù)據(jù)流水線任務處理方法:首先在分割模塊中將流水線中的任務分割為多個子任務,然后在合并程序中等待各子任務全部完成,合并結(jié)果,最終獲得整個任務的完成事件。實現(xiàn)了利用流處理框架處理有限數(shù)據(jù)集,擴展了流處理系統(tǒng)的使用場景,提升了流水線工具的代碼重用性。實驗表明,本文方法極大減少了數(shù)據(jù)庫I/O次數(shù),使得本文方法處理DBLP[1]數(shù)據(jù)的速率是Apache NiFi[2]傳統(tǒng)處理方法的7倍多。