康奈爾大學(xué)和威斯康星大學(xué)麥迪遜分校的研究人員宣布開發(fā)出一種新型腕戴式設(shè)備，能夠連續(xù) 3D 跟蹤整個人的手。該設(shè)備名為 FingerTrak，可將人手的許多位置轉(zhuǎn)換為 3D 信息，包括 20 個手指關(guān)節(jié)位置的信息。

FingerTrak使用三個或四個微型、低分辨率熱像儀來讀取手腕上的輪廓。研究人員表示，該設(shè)備可用于翻譯手語或用于虛擬現(xiàn)實。它還可以用于移動健康、人機(jī)交互等領(lǐng)域。

該項目的科學(xué)家表示，該團(tuán)隊的主要發(fā)現(xiàn)是通過觀察手腕輪廓，該技術(shù)能夠以高精度 3D 重建手指所在的位置。這是第一個能夠根據(jù)手腕輪廓重建完整手部姿勢的系統(tǒng)。

過去，腕戴式相機(jī)對于日常使用來說過于笨重和突兀。盡管體積龐大，但大多數(shù)只能重建一些離散的手勢。突破性的 FingerTrak 系統(tǒng)是一款輕巧的手鐲，可讓手自由移動。該設(shè)備側(cè)重于將熱成像和機(jī)器學(xué)習(xí)相結(jié)合，以虛擬方式重建手部運(yùn)動，而不是依靠攝像頭直接捕捉手指的位置。

該設(shè)備上使用的四個微型熱像儀每個都大約有豌豆大小，可以捕捉多個剪影圖像以形成手的輪廓。該系統(tǒng)可以組合圖像并使用深度神經(jīng)網(wǎng)絡(luò)以 3D 方式重建虛擬手。即使手拿著物體，該技術(shù)也可以捕捉整個手部姿勢。