基于Spark/HBase的交通流數(shù)據(jù)存儲及索引模型探討

摘要：為了對海量增長的交通流數(shù)據(jù)進行處理和管理,需要基于大數(shù)據(jù)框架設(shè)計更加高效的數(shù)據(jù)存儲及索引模型,以滿足智能交通應(yīng)用的需求。該文設(shè)計了基于Spark/HBase的系統(tǒng)架構(gòu)以及基于混合時空編碼行鍵和動態(tài)擴展屬性列族的交通流數(shù)據(jù)存儲及索引模型,并在此模型基礎(chǔ)上,通過語義解析、時空行鍵索引查詢、并行屬性條件過濾實現(xiàn)交通流大數(shù)據(jù)高效語義查詢。對比實驗證明,該文設(shè)計的交通流大數(shù)據(jù)并行處理框架在清洗、索引和存儲數(shù)據(jù)時運算高效,構(gòu)建的混合時空編碼行鍵索引時空權(quán)重均衡,能夠?qū)崿F(xiàn)更加高效的交通流大數(shù)據(jù)訪存管理,可為智能交通應(yīng)用提供技術(shù)基礎(chǔ)。