為應(yīng)對人機(jī)協(xié)作(HRC)的快速發(fā)展,一個研究團(tuán)隊近日發(fā)表了一款全新的大型資料集。此資料集專注於人機(jī)共存環(huán)境中的人類組裝與拆卸動作,包含超過 10,000 筆樣本,由 33 位不同特徵的參與者貢獻(xiàn)。所有數(shù)據(jù)均透過多視角攝影機(jī)同步錄製,提供 RGB 影片及 2D/3D 人體骨架資料。
此資料集的核心價值,在於它填補(bǔ)了現(xiàn)有研究的關(guān)鍵缺口。它特別突顯了真實(shí)工業(yè)場景中的挑戰(zhàn),例如機(jī)器人移動時對人類造成的「部分遮蔽」(Partial Occlusions)、難以區(qū)分的相似重複性動作,以及不同參與者的多變行為模式,這些都是過去資料集所忽視的。
研究人員指出,現(xiàn)有的人體動作資料集多半有局限性。許多資料集(如 Kinetics)僅關(guān)注「揮手」等簡單日常活動,缺乏任務(wù)順序;而部分 HRC 相關(guān)資料集要不依賴穿戴式裝置,硬體門檻高,要不就缺乏人機(jī)互動干擾(如遮蔽)的真實(shí)動態(tài)情境。
為克服這些限制,新資料集在設(shè)計上強(qiáng)調(diào)實(shí)用性與泛化能力。首先,它僅使用三臺市售的網(wǎng)路攝影機(jī)(Webcams)進(jìn)行非接觸式拍攝,大幅降低了硬體門檻。其次,數(shù)據(jù)來自 33 位不同性別、身高、體型的參與者,有助於訓(xùn)練出更穩(wěn)健、泛化能力更強(qiáng)的模型。
在任務(wù)設(shè)計上,團(tuán)隊採用了一套可 3D 列印重現(xiàn)的齒輪組裝系統(tǒng),方便全球研究者重現(xiàn)實(shí)驗(yàn)。此資料集不僅反映了真實(shí)世界的不確定性(如遮蔽),更提供了原始影片、精確註釋及 Python 腳本,確保了研究的透明度與可重現(xiàn)性。
團(tuán)隊利用 13 種先進(jìn)的深度學(xué)習(xí)模型進(jìn)行了基準(zhǔn)測試。結(jié)果顯示,模型的「離線」分析與「線上」即時推論間存在顯著性能差距,這為未來研究指明了方向。此資料集的開放,預(yù)期將大力推動人體動作預(yù)測、機(jī)器人任務(wù)規(guī)劃及人機(jī)協(xié)作策略的進(jìn)一步發(fā)展。