あにつく2022レポート | 『BanG Dream! 』におけるモーションキャプチャ収録〜迫力あるバンド演奏シーンを収録からデータを制作までご紹介〜（exsa）

2022.12.22
アニメーション（レポート）イベントレポート

9月23日（木）から9月25日（日）で開催された「あにつく2022オンライン」より、Day2の「『BanG Dream!』におけるモーションキャプチャー収録～迫力あるバンド演奏シーンを収録からデータを制作までご紹介～」のイベント内容をご紹介します。

ウェビナー概要

『BanG Dream!』におけるモーションキャプチャー収録～迫力あるバンド演奏シーンを収録からデータを制作までご紹介～

『BanG Dream!』の迫力あるバンド演奏シーンに採用されている技術「モーションキャプチャー」。
本案件を長期に渡って担当しているディレクターがモーションキャプチャの概要から収録/データ制作まで、実際の作例や舞台裏とあわせて解説いたします。

　主催　：株式会社Too
　協賛　：オートデスク株式会社
　講師　：exsa株式会社　新家勇太氏

登壇者プロフィール

まずは、私自身の自己紹介です。exsa株式会社でモーションキャプチャー課のディレクターを担当している新家勇太です。

バンドリでは、2期のOPとED、劇中歌、フィルムライブ、MVなどの各モーションキャプチャに携わっています。モーションキャプチャ課が設立される前は制作進行や3Dアニメーターもしていたため、その目線からも含めてお話していきます。

スタジオ実績紹介

スタジオの実績を少し紹介します。バンドリ以外でも、近年放送された「えんとつ町のプペル」や「ゾンビランドサガ」、「ONE PIECE FILM RED」のダンスシーンやライブシーンでのモーションキャプチャに携わっています。その他、株式会社サンジゲン様が手がけている「D4DJ」や「アルゴナビス」などにも関わっています。

詳細については、弊社ホームページをご覧ください。
https://www.exsa.jp/index.html

セッションの目的

本セクションの目的は、「モーションキャプチャでどのような事をしているのか知ってもらう」です。今現在、モーションキャプチャに関して以下のような認識の方が多いと思います。

・ワードとして聞いたことはある
・ゲームやアニメなどで使われているのは知っている
・なんとなく想像はできるが、具体的にどういったデータの処理をしているのか知らない

漠然と、「モーションキャプチャという言葉は知っているけど詳しいことまでは知らない」という方が大半だと思います。そこで、バンドリでの制作を1つの例として、モーションキャプチャの作業フローを紹介していきます。

『BanG Dream!』について

本セッション題材のアニメは『BanG Dream!』、通称バンドリです。アニメ・ゲーム・ライブなどのメディアで幅広く展開されているため、詳しくない人でも名前を聞いたことがあるかもしれません。

バンドリの公式YouTubeチャンネルには、アニメMVや劇中歌などの動画がアップされています。動画を見てみたい方はそちらもチェックしてみてください。

バンドリちゃんねる☆

https://www.youtube.com/channel/UCN-bFIdJM0gQlgX7h6LKcZA/videos

モーションキャプチャについて

そもそもモーションって何？

モーションキャプチャについて説明する前に、「モーション」について説明します。3DCGのアニメーションを作る際、最初に画像左のような3Dモデルが作られます。このモデルのままだと制御が効かないため、骨組みとなる「リグ」を割り当ててセットアップします。このリグを制御して動きを付けていくことをモーションと呼びます。

モーションをつける方法には、大きく2つのやり方があります。アニメーターが直接リグを1つずつ制御してポーズを付けていくいわゆる「手付け」と、今回紹介する「モーションキャプチャ」の2つです。

モーションキャプチャってどんな技術？

モーションキャプチャとは、現実の人物や物体の動きをデジタル的に記録する技術のことです。簡単に言うと、現実の動きのデータ化です。

モーションキャプチャの代表的な種類には、画面の右上のように身体の各部分に電子的なセンサーを付ける「慣性式」と、複数台のカメラでマーカーの動きを検知する「光学式」の2種類があります。

ここからは、弊社で使用している光学式について解説します。光学式は、LED付カメラから赤外線を発光して、実物のマーカーが照射された赤外線をカメラに対して反射する形式のことです。

その後、反射された光をLED付カメラで映像データとして認識し、複数台のカメラによる異なるアングルのデータを合わせて計算する事により、奥行きの情報を追加した3Dの情報としてデータ化することができ、3D空間上のマーカーとして計測できるようになります。

光学式システムのメリット・デメリット

光学式システムのメリットとデメリットについて説明します。

光学式のメリットの1つ目は、「他の方式システムと比較して精度が高い」です。分かりやすい例として、慣性式でよく起こる足の浮き沈みがあります。慣性式では、3D空間に対して足の設置面がブレる、浮き沈みが起きやすいということがあります。一方で、光学式ではそういった不具合は格段に起きにくいです。

メリットの2つ目は、「キャプチャできる対象の広さ」です。反射板のマーカーを取り付けさえすれば、理論上はどのような動きでも計測することができます。キャプチャできる種類の幅が広いというのも、光学式のメリットの1つです。

メリットの3つ目が、「複数人の収録のしやすさ」です。慣性式では、ダンスやバンドなどの複数人がいるシーンの場合、慣性式のスーツを人数分用意して収録する必要があります。一方で、光学式の場合は収録エリア内でマーカーさえ計測できれば、複数人のデータを取ることができます。そのため、光学式の方が慣性式よりも複数人の収録に適していると言うことができます。

次に、デメリットを紹介します。

デメリット1つ目は、「カメラ依存による収録環境の制限」です。光学式はカメラで計測するため、エリアの広さが収録環境に依存しています。広い空間が必要なダンスやバンドのシーンを収録したい場合、現実に広いエリアを確保して、カメラを配置する必要があります。

デメリットの2つ目が、「導入、維持コストが他システムと比べると高め」です。細かいところも含めると、複数台のカメラを起動する電気代や、広いスペースを維持するための家賃なども維持費としてかかってしまいます。

しかし、これらデメリットを十分に補うデータの精度の高さがあるため、弊社では光学式を使用しています。

モーションキャプチャを使うメリット

次に、システムのメリット・デメリットではなく、モーションキャプチャ自体を使うメリットについて紹介します。

メリットの1つ目は、「ベースデータを用意できる」です。ベースデータがあることで、「作業日数の圧縮」や、「クオリティの底上げ」につながります。

例えば1つのダンス演出において、携わるアニメーターが新人からベテランまで幅広いことがあります。その状態で0ベースから作ってしまうと、新人のところだけクオリティが低く、ベテランのところだけクオリティが高いというバラつきが出てしまいます。ダンスのベースデータがあれば最低限のクオリティを担保した状態で全員が作業できるため、クオリティの底上げができ、その上で作業日数を圧縮することもできます。

メリットの2つ目は、「複雑な動きを高いクオリティのデータにできる」です。ダンスやバンドなどの再現が難しい複雑な動きをアニメーターが1つずつ手付けすると、膨大な時間がかかってしまいます。そういった際も、キャプチャデータを使うことで作業日数を圧縮することができます。

また、実際に人が動くことで細かなニュアンスを表現することができます。ダンスのボディウェーブの様な人間の身体特有の柔らかさも、キャプチャデータに記録することが可能です。実際に人が動くことで、比較的容易にクオリティの高いデータを準備できます。

モーションキャプチャの工程

モーションキャプチャの工程について説明します。大きく、「収録までの準備」、「モーションキャプチャの収録」、「収録後のデータ処理」の3つに分けて、それぞれの項目を細かく説明していきます。

収録までの準備

最初は、「収録までの準備」についてです。収録までの準備で必要なものは、画像に載っている内容の通りです。実際に演技をしてもらう時に演技時間を多く確保するため、こういった事前の準備は重要です。

CGモデルのコンバート

バンドリでは、株式会社サンジゲン様から3ds MaxというCGツールで作成されたモデルデータを提供いただいています。

3ds Maxのままだとモーションキャプチャのデータが流し込みにくく、リアルタイムのプレビューでも使用しにくいため、まずはMotionBuilder上で取り扱えるデータとして最適化していきます。最適化の際には、「オブジェクト整理」や「マテリアル整理」、「DCC依存プラグインを変換」などを行なっています。これにより、3ds Maxのモデルよりも軽量化した状態で、MotionBuilder上で取り扱うことができます。

コンテや音源などの資料

次に、「コンテや音源などの資料」の準備です。コンテは演技内容把握をするために必要であり、バンドリではあわせて音源のデータももらっています。演技のタイミングを把握するために、楽曲のはじめにカウント音を入れて、タイミングが取れるようにしています。

また、コンテを見ながら演技内容を確認し、「お立ち台に上っての演技があるから収録時にも台が必要」や、「背中合わせの演技で密着すると背中や腰のマーカーが隠れてしまうため注意が必要」などの作戦も立てています。

収録リスト（香盤表）の作成

次は、収録リスト（香盤表）の作成です。円滑に収録するためには、収録する順番を入れ替えることもあります。カットの流れ通りに収録するだけではないため、情報を取りまとめて各所に共有し、収録の流れなどを打ち合わせするためにも必要な資料になります。

本作品の収録リストには、収録するデータ名と配役の記載、演技内容の概要、OKになったテイク数などが書いてあります。この資料を共有して、「このタイミングだと1人の演者の負荷が多いから、休憩できるように別の演者のテイクを入れながら、流れを止めないようにして収録しましょう」という相談しながら、収録がスムーズにいくようにしています。

収録前に事前リハーサル

次に、「収録前に事前リハーサル」についてです。収録当日は、本番テイクの収録よりも演技内容へのディレクションや方向決めなどに時間がかかりがちです。なるべく時間を有効的に使えるように収録前にリハーサルを行ってもらい、そのリハーサルビデオを共有した状態で本番に臨むようにしています。このリハーサルビデオで、収録に必要な道具も確認しています。

必要な道具類の準備

次は、「必要な道具類の準備」についてです。本作品では主に楽器類が該当します。上の画像は、ドラムセットでの1例です。ドラムセットのシンバルやスタンドは金属の光沢がマーカーの反射と誤認されることがあるため、画像のようにテープや布で隠しています。

また、本物のバスドラムやフロアタムなどの大きいパーツを使用してしまうと、座った時にカメラから下半身のマーカーが見えなくなってしまいます。そのため、大きいパーツを練習用のドラムセットに代えることで、遮蔽物で隠れる部分をできるだけ減らしています。

このような準備を収録当日に行うのは時間がかかりすぎてしまうため、収録日の前日や別日に行なうようにしています。

モーションキャプチャの収録

ここからは、「モーションキャプチャの収録」について説明していきます。

モーションキャプチャの収録は、最初に演者や道具にマーカーを装着し、その次に装着したマーカーをシステムに登録、本番前のリハーサル、本番収録という流れで進みます。本番収録後は、収録したテイクを確認します。収録テイクに問題がなければ次のテイクに進み、問題があれば再度収録し直すということを繰り返しています。

マーカーの装着と登録

次に、演者や道具への「マーカーの装着と登録」についてです。マーカーは、何もしていない状態でも空間上にあるマーカーとして認識されます。しかし、そのままだと誰に付いているマーカーなのか、ただの反射として認識されているマーカーなのか分かりません。そのため、まずは演者や小道具に付いているマーカーを登録する必要があります。

演者については、システム上にある人型のプリセットを使用します。上の画像の左のようなプリセットを使用して、合計で41〜55個ほどのマーカーを演者の方に付けています。

楽器などの小道具に関しては、決まった形や貼り方、数はありません。立体的な動きを確認できる「剛体」として登録するためには最低でも3点以上のマーカーが必要になるため、それを踏まえて準備をしています。通常は前日までに準備しますが、演者の方が当日に持ち込む場合はその場で対応することもあります。

マーカーを複数装着する理由

次に、「マーカーを複数装着する理由」について、2つの理由を説明します。

マーカーを複数装着する理由の1つ目は、「マーカーがカメラから隠れた際に復元するため」です。道具や身体でマーカーがカメラから隠れてしまうと、隠れているマーカーのデータは拾われていない状態になります。

そのマーカーを修正する際は、同じグループのマーカーから位置を逆算して復元します。そのため、腰であれば上の画像のように4点のマーカーを付けています。頭であれば正面・頂点・左・右という形で顔の向きを判別しつつ、どこか1点が隠れてしまってもその他3点から逆算してマーカーを復元しています。

また、復元する際にデフォルトのマーカーのプリセットでは難しいと判断した場合は、任意で補助用のマーカーを追加することもあります。

理由の2つ目は、「複数の演者がいる時に演者同士を識別させやすくするため」です。マーカーを貼る位置がプリセットである以上、同じくらいの身長の演者が複数いる場合に、それぞれの体に付いているマーカーの認識が入れ替わってしまうことがあります。そういった誤認を避けるためにも、意図的にマーカーの位置をバラつかせて演者の登録をすることがあります。

演技内容の再確認と微調整

「演技内容の再確認と微調整」について説明します。

本番前のリハーサルでは、事前リハーサル内容の再確認をしながら、ディレクションする方と一緒に認識を擦り合わせていきます。また、収録用音源を使用して、イメージのズレなどの問題があれば再度調整していきます。収録用の音源を使用してのリハーサルでは、再生する音量のボリュームチェックなどもあわせて行っています。

ボリュームチェックは、演者さんが音源内の楽器の音などを聞きながら、自分の担当パートの演技に入るタイミングが計れるように行っています。

本番収録例：共通項

実際の本番収録について説明します。本番収録の共通事項として、モーションキャプチャの収録は画像のように「Tポーズ」で始めて、Tポーズで終わるようにしています。

Tポーズである理由は、1度カメラに対して全身のマーカーが見えている状態を作るためです。上の画像の例では、持っているギターが腰のマーカーを隠してしまっています。そのため、Tポーズの時はギターがマーカーを隠さないように補助の人が入っています。

実際にレコーディングが始まったら補助の人に外れてもらい、収録後にまたTポーズに戻っています。演奏中にギターが腰のマーカーを隠してしまうことがありますが、後の工程で修正できるため割り切って収録することが多いです。さきほど説明した補助用のマーカーは、こういった場合でも付けることがあります。

本番収録例：Live Beyond!!

通常の収録とは違う特殊例として、「Live Beyond!!」の例を3つ紹介します。弊社では、ダンスやバンドなどの収録エリアの横幅が広めに欲しいケースが多いです。今回の「Live Beyond!!」の場合では舞台設定が堤防の上や電車内ですが、収録エリア正面の横幅が広い状態ではなく、代わりに縦幅が長い状態で収録しています。CGの空間を定義するときに正面の向きを変えられるため、そういったかたちで収録しています。

こうすることで、実際の3Dデータになった時のフロントビューでも、キャラクターが正面を向いている状態を再現できるようになります。

2つ目の例は、カメラを覗き込むシーンです。このカットでは、固定カメラを覗き込む際の目線のガイドを用意しています。このシーンでは、学生が自撮りのように個人で動画を撮っている雰囲気を出したいという話があったため、雰囲気を再現するために固定したスマホを覗き込むように演技してもらっています。

3つ目の例は、防波堤の上をキャラクターが歩くシーンです。歩くストロークを少しでも長くするため、距離を長く取れるようにエリアを斜めに歩いて収録しています。目安無しで斜めに歩くとブレてしまうため、ブレないように床の歩くラインにガイドとなるテープを貼っています。

本番収録例：寄る辺のSunny,Sunny

次に、「寄る辺のSunny,Sunny」の本番の収録の例を紹介します。この楽曲は2サビ前と2サビ以降で立ち位置に変化があり、それぞれの立ち位置を黒いテープと白いテープを床に張り判別しています。

5人組のバンドですが、演者の都合が合わずに5人全員揃いませんでしたが、立ち位置のテープがあることで別日でも問題なく収録できています。

キャラクター同士が背中合わせになるシーンでも、演者同士の都合が合わずに別日の収録になっています。実際にアクター同士で演技ができないため、このような場合は演技ガイド用の代役の方に立ってもらっています。

代役だけでタイミングを合わせることは難しいですが、本作品では楽器の音から演者の方が動くタイミングを割り出しています。また、別日に収録したOKテイクの動画を見て、「このタイミングでキャラクターが動くから、自分はこのタイミングで動こう」という擦り合わせをしてから、本番収録に臨むようにしています。

このように別々で収録している場合、実際の収録の0フレームからスタートして合わせると、それぞれの動きがかみ合わずに楽曲のタイミングから外れてしまうことがあります。後のデータ処理の際に、楽曲のスタートタイミングに合わせてデータ上の動き出すタイミングを調整することで、それぞれのアクションのズレを補正しています。

タイミングの未調整・調整の動画のスクリーンショットです。背中合わせのところなど、しっかりと調整されているのが分かります。

動画での収録テイクのチェック

次に、収録したテイクの確認です。ここでは、収録したテイクをループ再生して演技内容を確認しています。撮ったデータがOKであれば次の収録内容に移りますが、NGの場合はディレクションする方と演者の方と再度演技内容を擦り合わせして、リテイクを収録します。

モーションキャプチャの収録は、その日の収録物が完了するまで確認とリテイクを繰り返し行っていくというのが基本的な流れです。

演奏リファレンス用動画の収録

その他の収録日の対応には、「演奏リファレンス用動画の収録」があります。本作品での指の動きは、モーションキャプチャではなくアニメーターの方が作業しています。アニメーター用の資料のために、モーションキャプチャとは別で演奏時の指の動きの参考動画を収録しています。特にバイオリンやギター、ベースなどの指の動きが細かい楽器は、参考動画を準備することもあります。

収録後のデータ処理

「収録後のデータの処理」について説明します。収録後のデータ処理に関しては、「Motiveの対応」と「MotionBuilderの対応」の2項目があります。

Motiveでの対応としては、「マーカーの欠損箇所の修復」と「マーカーの入れ替わりの誤認識の修復」、「マーカーのノイズの除去」があります。

MotionBuilderでの対応は、「Motiveから出力されたデータのキャラクターへの割り当て」と「キャラクターと演者の体格差の補正」、「DCCツールで読み込むアニメーションデータ用の整理」があります。

Motiveとは

Motiveでの対応を説明する前に、Motiveについて少し説明します。Motiveとは、OptiTrackカメラを使用したモーションキャプチャシステムのメインとなるソフトウェアです。Motiveは、カメラの調整から収録、マーカーデータの保存や編集といった収録からデータ処理までを行えます。

欠損箇所の修復

Motiveでの対応の1つ目、「欠損箇所の修復」について説明します。前項目でも説明した通り、身体などでマーカーが隠れてしまって移動値が取れないことがあります。画像左側のようにカーブが切れているところはマーカーの認識が外れてしまっている箇所のため、システムの補助機能を使って画像右側のようにカーブを直していきます。

マーカーの認識が入れ替わっている箇所の修復

次に、「マーカーの認識が入れ替わっている箇所の修復」です。欠損箇所以外でも、収録時に何かしらの不具合でマーカーの認識が入れ替わってしまうことがあります。画像上側のように水色の線とピンク色の線がクロスしているところが、認識が入れ替わっている箇所です。

こういったデータから判別して、画像下側のように正しい形に直していきます。入れ替わりが起きやすい例として、手が交差した時に手のマーカー同士が近づいて離れた時や、足のステップで足の内側のマーカー同士が接触してしまった時などがあります。

ノイズの除去

次は、「ノイズの除去」についてです。欠損箇所や入れ替わりがあった箇所以外にも、カメラから少しだけ見えている状態のため正しい移動値が計測できず、画像の左側のような変なカーブになっている箇所が出てきます。こういった箇所は後の作業でノイズになることが多いため、カーブ自体を滑らかにする機能で補完して除去していきます。

MotionBuilderとは

Motiveの対応が終わると、MotionBuilderでのデータ処理の工程に入ります。

まずは、MotionBuilderについて簡単に説明します。MotionBuilderとは、3Dキャラクターやアニメーション作成や編集、再生に特化したAutodesk社製のソフトウェアです。他のCGソフトと比較して、モーションキャプチャデータを高い精度で3Dキャラクターに割り当てることができます。MotionBuilderを使用して、さきほどMotiveで編集したマーカーデータからキャラクターのアニメーションデータを編集していきます。

Motiveから出力されたデータの割り当て

Motiveから出力されたデータをキャラクターモデルに割り当てていきます。Motiveから出力されたマーカー情報は、画像左側の手前のような人型と青い点々で出力されます。

このマーカー情報をキャラクターに割り当てることで、画像右側のように演者の動きをキャラクターモデルに割り当てることができます。しかし、このままだと単純に割り当てているだけのため、キャラクターと演者の体格差の補正はされていない状態です。

キャラクターと演者の体格差の補正

そこで、「キャラクターと演者の体格差の補正」をしていきます。画像の左から「演者の動き」、「そのままキャラクターに割り当てた体格差補正無しの状態」、一番右側が「キャラクターと演者の体格差を補正した状態」です。

少し分かりにくいかもしれませんが、キャラクターの身体が前傾して頭と腰の位置が下がっています。また、ギターを持たせるために手の位置も補正しています。キャラクターモデルは、身長が同じでもリアルの人間より腕や脚が長い傾向があるため、そういった差を埋める作業になります。

DCCツールで読み込むアニメーションデータ用の整理

最後に、「DCCツールで読み込むアニメーションデータ用の整理」が発生します。実際に3ds Maxデータに読み込む際に必要なのは、キャラクターモデルが動く元となる根幹の骨データです。その骨データにアニメーションデータを焼き込んだ状態で納品することになります。データの整理ができたら、1回もとのモデルに流し込んでキャラクターが想定通りに動いているか確認して、データをまとめて納品になります。

まとめ

バンドリでは、高い精度を出せる光学式のシステムでモーションキャプチャを行なっています。事前の準備や収録などで必要な工程は増えてしまいますが、それ以上に使うメリットも大きいです。

バンドリに限らず、ダンスや演奏などの細かくて複雑な動きに関しては、モーションキャプチャが向いている分野だと思います。

Q&A

Q. 顔の表情はモーションキャプチャで読み取れるのでしょうか？

今回紹介したMotiveには特にそういった機能はありませんが、弊社には顔の表情をキャプチャできるソフトウェアとデバイスもあります。表情の場合は顔の動画から表情の変化を読み取るシステムが一般的だと思います。マーカーだと空間のセッティングやマーカーの大きさの制限などもあるため、光学式では難しいと思います。