成果介紹
本發(fā)明屬于計算機(jī)技術(shù)領(lǐng)域,尤其涉及一種Spark任務(wù)分配方法和系統(tǒng)。首先基于數(shù)據(jù)位置的選擇方法對當(dāng)前提交的任務(wù)和已配置的資源中所包含的節(jié)點進(jìn)行配對,生成配對結(jié)果;利用已生成的節(jié)點標(biāo)識與存儲設(shè)備特征標(biāo)識的對應(yīng)關(guān)系,將配對結(jié)果中所包含的節(jié)點分組為固態(tài)硬盤節(jié)點組和機(jī)械硬盤節(jié)點組;若當(dāng)前任務(wù)的操作數(shù)據(jù)同時存在于固態(tài)硬盤節(jié)點組的節(jié)點和機(jī)械硬盤節(jié)點組的節(jié)點中,優(yōu)先將任務(wù)分配到固態(tài)硬盤節(jié)點組的節(jié)點中執(zhí)行,即最大限度地將任務(wù)分配到配置有SSD的計算節(jié)點上,從而充分利用SSD高速讀、寫以及高吞吐率的特性,加快任務(wù)的執(zhí)行速度,提升集群的服務(wù)質(zhì)量。