“目の反射”で相手が何を見ているか特定するAI

米メリーランド大学カレッジパーク校に所属する研究者らが発表した論文「Seeing the World through Your Eyes」は、瞳に映る画像を3Dシーンで再構築する学習モデルを提案した研究報告として注目を浴びています。

カメラで目の反射光を複数回取得し、それによって眼球に写る画像を3D形式で再現するというものです。

複数の画像を撮影して3Dモデルを再構築する手法に、「Neural Radiance Fields」（NeRF）という技術があります。NeRFではカメラを移動させて異なる角度から複数枚の画像を撮影し、それを使って3Dモデルを再構築するのが、これまで一般的でした。しかし今回はカメラを動かす代わりに固定し、頭の動きによって変化する様々な目の角度から複数枚の画像を収集して入力データとして使用する、という方法がとられました。

これによって、鮮明な画像を取り出しにくい目から精度の高い画像を取り出し、鮮明な3Dシーンを再現することに成功したという報告がされています。
瞳の中の映像の情報から、素敵な3D映像が生まれる。画期的な着目点と最新の技術が結びついた結果の研究成果だと感じました。

 

参考リンク（Innovative Tech - ITmedia NEWS 記事より）
https://www.itmedia.co.jp/news/articles/2306/26/news056.html