ユニーク＆エキサイティング研究探訪
【No.35】 2014年4月 掲載
一般住宅のリビングが仮想空間に変貌
あらゆる物体をスクリーンにする映像投影技術
橋本直己 准教授
情報理工学研究科 総合情報学専攻
本学大学院情報理工学研究科総合情報学専攻の橋本直己准教授を中心とする研究チームは、一般住宅のリビングルームを映像投影によって仮想空間へと変える技術を開発しました。
プロジェクタを使った映像投影の普及と課題
プロジェクタを使った映像投影技術は、プレゼンテーションやエンタテインメント、広告などの様々な場所と場面で使われています。特に視野全体を覆うように大画面の映像を投影するシステムは、映像が作る仮想現実の世界に視聴者を没入させるディスプレイとして、テーマパークの遊戯施設で人気を集めています。
このような映像投影システムはいずれも、平らで白いスクリーンに映像を投射することを前提としています。言い換えると映画館のように、平らで白いスクリーンをあらかじめ用意しなければなりません。このため、実際に使われている映像投影システムは、かなり大掛かりなものになっているのが普通です。
平らな白いスクリーンを不要に
橋本准教授を中心とする研究チームは、白い平らなスクリーンを使わず、周囲の物体すべてをスクリーンとする映像投影技術を開発しています。住宅のリビングルーム、屋外のちょっとした広場、オフィスの会議机、人間の着衣などをスクリーンとすることで、大掛かりな装置を使わずに仮想空間を作り出し、人工現実感を身近なものとすることが狙いです。
もちろん、白いスクリーンに投影していた映像をそのまま、壁や机などに投影しても、まともな映像として見ることは困難です。壁の色や模様、机に置いた文具類といった物体が映像の色を変化させたり、映像の形状をひずませたりするからです。
プロジェクタとカメラ、深度センサを組み合わせる
- プロジェクタとカメラ、深度センサを組み合わせた映像補正システム
- （新しいウィンドウが開きます）拡大画像（jpeg：48KB）
従来、対策としては、映像を投影する物体の反射特性を事前に計測し、投影する映像に補正を加えることが行われてきました。この方法は補正そのものは簡便なのですが、事前に詳細な計測が必要です。また、ほかの物体で反射して投影面に入り込む光（間接反射光）の影響を取り除けない、物体の反射特性の動的な変化に追随できない、といった問題を抱えていました。
そこで橋本准教授らの研究チームは、プロジェクタとカメラ、深度センサを組み合わせることで、投影面の特性の変化に動的に追随する映像補正技術を開発しました。
- 映像補正の例。壁のレンガ模様を打ち消すように映像に補正をかけた
- （新しいウィンドウが開きます）拡大画像（jpeg：140KB）
このシステムでは、投影面の映像をカメラで撮影します。カメラで撮影した映像には、投影面の環境による変化が生じています。この撮影映像と、プロジェクタに入力した映像を比較することで、変化を打ち消すように映像を補正します。投影映像のフレームごとにこの補正を繰り返すことで、投影面の影響を受けない映像を得られます。
投影面の形状変化に対応する
- 2台の深度センサを活用した投影システム
- （新しいウィンドウが開きます）拡大画像（jpeg：55KB）
住宅のリビングルームなどで映像を投影するときは、投影面の環境が大きく変化することがあります。例えば投影面の前を人が横切るような場合です。またプロジェクタの位置を動かすことも考えられます。こういった変化に対応するため、深度センサを活用した補正技術を開発しました。
この補正技術では、2台の深度センサ（米国Microsoft社のKinect）を使用します。1台の深度センサは投影面の形状変化を計測します。もう1台の深度センサは、映像観察者の視点位置を計測します。
- 壁紙を人間が動かしたときに、映像に補正をかけた様子。左が元の投影映像。中央に壁紙がある。
- （新しいウィンドウが開きます）拡大画像（jpeg：42KB）
このように、2台の深度センサによって投影面と視点の変化を把握し、動的に補正をかけるシステムを試作しました。試作したシステムで実験し、1秒間に25フレームの速度で映像に補正をかけたところ、補正の完了までに約0.4秒かかるとの結果を得ました。これはセンサによる観測値なので、映像を見ている人間の主観では、0.1秒～0.2秒と短い時間で補正が完了します。
人体をスクリーンにしたバーチャルな着せ替え
開発した映像補正技術を応用した興味深い事例に、バーチャルな着せ替えシステムがあります。人体を投影面（スクリーン）とし、深度センサ（Kinect）によって骨格の情報と衣服の情報を取得します。実際に着用している衣服の情報を打ち消すとともに、別の衣服を表示するような映像を投影することで、バーチャルに衣服を試着した状態を実現します。
人物がポーズを変えたり、振り返ったり、歩いたりすると、映像が追随してリアルタイムで変化します。観察者からは、人物が実際に衣服を試着しているように見えます。
- バーチャルな衣服を自動的に生成する
- （新しいウィンドウが開きます）拡大画像（jpeg：88KB）
- バーチャルな衣服を試着した状態。人体のポーズの変化に追随して、バーチャルな衣服が姿を変える
- （新しいウィンドウが開きます）拡大画像（jpeg：41KB）
これらのシステムはいずれも、空間に映像を投影することで、バーチャル（仮想）とリアル（現実）を現実世界で融合させています。今後の発展が大いに期待できる研究です。
（取材・文：広報センター 福田 昭）