まずは動画をご覧いただこう。

画面右下のノートパソコンが、ピンポンをする2人の男性の動きを正確かつスムーズに捉えている。室内にカメラは見当たらない。一見すると2人がなんらかの機器を装着してい様子もない。しかし、実際は各自6個の小型慣性センサーを装着していることが動画内で説明されている。

モーションキャプチャーとVR機器の歩み

一般的にイメージされる全身モーションキャプチャーの装備は、次の2枚の画像のようなものだろう。

光学式モーションキャプチャー：ゲーム「The Last of Us（ラスト・オブ・アス）」の収録風景

慣性式モーションキャプチャー：「Perception Neuron」の装備

これらの装備には、重量やセンサー同士をつなぐケーブルなどで機敏な動きが妨げられるという難点があった。また、初期のVR（仮想現実）機器を利用するには、室内に複数の外部センサーを配置する必要もあった。

その後のVR機器は、自分のいる位置や動作が把握できるインサイドアウトカメラ搭載のヘッドセットと手の動きをトラッキングするコントローラーだけのシンプルな構成に進化している。ソニー・インタラクティブエンタテインメント（SIE）の「PlayStation VR 」が代表的な例だ。

しかし、動作を捕捉できる範囲は頭と手に限られていたため、ゲーム画面の中では前進しかできず、足元の動きも表現できなかった。残された課題は足のトラッキングだった。

任天堂の「リングフィットアドベンチャー」は、リング状のコントローラー「リングコン」と「レッグバンド」で足元の動きを捕捉し、ゲームの中であらかじめ決められた足の動きを再現するほか、乗り物に乗ることもできるようになった。しかし、表現できる動きは単純なものに限られる。

任天堂「リングフィットアドベンチャー」

足元の細かい動きも再現する「TransPose」

清華大学が開発した「TransPose」は、跳躍動作や低くかがんで進む動作などもリアルタイムにフレームレート90fpsで捕捉できる。

障害物を超える動きや寝転がる様子も問題なく捕捉できる。

全身の動きをトラッキングできるだけでなく、実際の空間で移動したルートを画面上のマップに再現することもできる。固定されたセンサーを必要としないため、長距離移動も可能だ。

光学式モーションキャプチャーとは違い、慣性式モーションキャプチャーは障害物に影響を受けず、照明も必要としないという利点もある。

研究チームは、動作解析を三つのサブタスクに分解して実行した。まず、慣性データから頭と四肢の位置を算出し、さらにそれを細分化して計23カ所の関節位置を計算する。最終的に逆運動学（インバース・キネマティクス）解析により各関節の回転動作を導き出している。

連続動作の予測には双方向回帰型ニューラルネットワーク（BiRNN）を用いた。

空間上の位置の特定も二つのサブタスクに分けて実行。足と地面とが接触する際の確率分布を算出し、さらに根ノードの速度を加え、グローバル座標系の速度を割り出した。ここでも回帰型ニューラルネットワーク（RNN）とBiRNNを用いている。

各タスクのシミュレーションには、被験者300人から集めた動きや空間位置に関するパラメータを含むさまざまなデータセットを用いた。タスクをサブタスクに分解する方法は、先行研究よりも少ないリソースでより高いフレームレートを得られるため、スピーディーな動きに対する精密なトラッキングを可能にした。

動きを捉えると同時に、空間上の位置も取得できる。

しかし、まだ不足している点もある。モーションキャプチャーの効果はシミュレーションデータに依存するため、データの少ない動作についてはごく一般的な効果しか得られない。また、足と地面との接触に関する確率分布を求める際、足と地面とが固定されていると仮定しているため、スケートボードのようなスポーツには適用できない。

これらの課題はあるもののTransPoseはトラッキングの正確さと計算コストの低減を両立できるため、小規模な制作チームでも利用できる可能性が高い。

TransPoseは、今年8月に開催される CGやインタラクション技術などに関する世界最大級の国際会議「SIGGRAPH 2021」での発表を予定している。

＊「TransPose」に関する論文と動画はこちらから：https://xinyu-yi.github.io/TransPose/

作者：量子位（Wechat ID:QbitAI）、夢晨
（翻訳・田村広子）