微分可能レンダリングと拡散モデルによる正面復元画像を参照とした泉崎横穴3Dモデルの仮想修復

概要

本研究では微分可能レンダリングと拡散モデルを利用し，正面復元画像を参照して泉崎横穴の3Dモデルを仮想修復する手法を提案する．正面復元画像は撮影位置や照明環境などの条件が不明で，かつ横穴の一部しか捉えていないため3Dモデル全体のテクスチャ生成には直接利用できなかった．本研究ではこれに対し，正面復元画像を手がかりに，拡散モデルを用いてテクスチャを生成・補完する．具体的には微分可能レンダリングで画像に写る部分を変換し，その変換前後のペア画像を教師としてControlNetを再学習させ，正面復元画像のスタイルを再現する生成モデルを構築する．本手法により生成した画像を用いることで，一枚の正面復元画像から泉崎横穴の3Dモデル全体のテクスチャを仮想修復する．