「モーションキャプチャ・プロジェクト」では、無形文化財の保存と解析を主たる研究テーマにおき、モーションキャプチャ・システムを利用した舞踊のデジタルアーカイブ化とデータ解析の研究を行っている。ここでは、このモーションキャプチャ・システムの仕組みとその手順、さらに、われわれのプロジェクトでの、舞踊の身体動作データに対する情報処理についての研究を簡単に紹介する。



デジタルアーカイブでは、絵画、地図、写真などの、いわゆる平面資料を対象とした活動が基本となるが、彫刻・仏像や考古遺物など立体的な対象の高精度計測によるデジタル保存も行われるようになっている。さらに、このような有形の資料・文化財だけでなく、音楽や舞踊などのいわゆる無形文化財をも対象とするようになってきた。
舞踊などの無形文化財の記録は、基本的に身体運動の記録になる。これにはビデオなどの動画による映像記録が最も手軽なもので、広く利用されている。しかし、身体運動そのものを厳密に記録し再現するためには、人体各部の３次元位置の時間的変化の様子を計測する必要がある。
90 年代に入って、人間の身体運動の3次元空間内の運動を計測するモーションキャプチャ・システムが開発され、これにより人体各部の座標値の時系列データを取得することが可能となった。当初は、おもにコンピュータゲームや映画制作などに利用されたが、近年、舞踊や芸能などの無形文化財の記録・保存にも利用されるようになってきた。
モーションキャプチャ装置には、原理上、大きく分けて、光学式、磁気式、機械式の３つの方式がある。踊り手に対する負担が少ないという意味では、光学式がもっとも好ましい。図１に光学式によるモーションキャプチャ・システムの構成図を示す。踊り手には、ピンポン玉よりやや小さい球形の反射マーカを、関節近くの体表面に、20から30 個程度取り付ける。踊り手を中心に、ライト付きの複数の高精度ビデオカメラを配置する。ライトからの発光によりマーカが明るく反射してこれがビデオカメラで撮像される。実際のモーションキャプチャの様子を図２に示す。
ひとつの対象物が、位置が既知の2台のカメラで撮影されれば、この2枚の撮影像から、対象物の３次元位置を知ることができる。これは、土木工事現場などで使われる三角測量の原理と同じである。モーションキャプチャの場合、対象の人体は姿勢を変えながら空間内を動き回るので、2台のカメラだけでは、常にすべてのマーカを捕捉することはできない。このため、普通は6台から10台程度の複数のカメラを利用し、すべてのマーカが、常にどれか2台以上のカメラに捉えられているようにする。 この計測にあたっては、それぞれのカメラの位置、向いている方向などが正確に分かっている必要がある。このために、計測の前にシステム全体のキャリブレーション（較正）の作業が必要である。検出された個々のマーカの位置が体のどの部分につけられたものであるかを決めることをラベル付けという。あるマーカの像が身体のどの位置につけられたマーカのものかということは、ある時点のマーカの反射像だけからでは分からない。このため、普通は、最初に全体のマーカが明確に見える姿勢をとってから、この初期状態を基準にして、順次マーカ像を追跡していくことになる。しかしこのようにしても、手を交差したときなどに、左右のマーカを取り違えてしまうこともある。
また、複雑な動きをする人体を対象とするので、上述のように、常にすべてのマーカが複数台のカメラで捉えられているということは必ずしも保証されない。マーカが体の一部で隠されてしまうこともある。この場合はマーカ像が欠落することになる。
このように、モーションキャプチャにおいても、常に完璧なデータが得られるということはなく、マーカの欠落、ラベル付けの失敗などが頻繁に発生する。さまざまな調整を行うことでこれらの可能性を減らすこともできるが、最終的には、これは手作業により修正を行う必要がある。これを、後編集の作業と呼んでいる。これは大変な経験と時間を必要とする作業である。図３は、このようにしてラベル付けされたマーカ情報をもとに、体の構造を再現し表示したものである。
このように得られたマーカの位置情報を元にして、人間の体型をモデル化したCG像をあてはめて表示することができる。図４はその結果である。この処理により、人体の主要な関節の位置を得ることができる。 モーションキャプチャによりデジタル化された身体動作データを利用して、CGによる舞踊のアニメーションやマルチメディア教材を作成することもできる。図５は、能の演目「大会（だいえ）」の仕舞をモーションキャプチャしたデータをもとにして作成した３次元CG アニメーションの１コマである。