⑤ ディープラーニングの応用例／ 30. データ生成

NeRFとは

NeRFとは、少数の2次元画像から、空間中の光線情報をニューラルネットワークで表現し、連続的な3次元表現を構築する手法です。自由視点からの高精細な画像生成が可能で、3D復元分野で注目されています。

この用語はG検定シラバスの「30. データ生成」に含まれます。章全体の用語は用語解説⑤（全133語）にまとまっています。

何枚かの写真から3次元の空間を再現し、どの角度からでも画像を作れる手法です。

空間そのものを関数で表す

従来の3D復元は、点や面の集まりとして形状を表現していました。

NeRFは発想が異なります。「その位置をその方向から見たときの色と密度」を返す関数をニューラルネットワークで学習します。空間そのものをネットワークの中に埋め込むという考え方です。

連続的な表現なので、撮影していない角度からの見え方も計算できます。写真が数十枚あれば、その周囲を自由に動き回る映像が作れます。

VR・AR、文化財の記録、不動産の内見といった用途で応用が進んでいます。

NeRFは1つのシーンごとに学習する必要があります。別の場所を再現したければ再度学習します。

この点が実用上の制約で、高速化や汎用化の研究が活発に進められています。