＜編集部コメント＞

こんにちは、バルス採用ブログ編集部です。今回は、2023年7月29日に行われた『バズリズム LIVE V 2023』の技術面を支えたバルスの精鋭陣たちによるスペシャル座談会をお届けします。

本企画の発案者でもあるライブディレクターの堤駿介をはじめ、テクニカルディレクターの江口真彦、Unityエンジニアの溝口健、スタジオ技術の稲垣亮輔、映像ディレクターの杉原千尋・宮坂真歩、制作進行の小野葉澄が参加。

リアルとバーチャルのアーティストがコラボした、新感覚エンタテインメント。その裏側では一体どんなことが行われていたのか……その全容を語り尽くします！

＜『バズリズム LIVE V 2023』とは＞

日本テレビとClaN Entertainmentが主催するバーチャルアーティストとリアルアーティスト双方による祭典。日本テレビ系音楽番組「バズリズム02」にて、番組創世記から横浜アリーナにて開催してきた毎年恒例のライブイベント「バズリズム LIVE」が9年目となる今年、キヤノンのボリュメトリックビデオ技術を使用した最先端のバーチャルライブがバルスの企画提案より実現いたしました。

ついに実現したリアル×バーチャルの共演！チームが一丸となったライブまでの軌跡を振り返る

バーチャル空間の新機軸を構築したと言っても過言ではない今回のライブ。まずは企画がスタートしたキッカケを教えてください。

堤　僕には、バーチャルとリアルの線引きをなくし、同じ空間でライブを実現させたいという目標がありました。そこで今回の企画を立案し、主催を担っていたClaN Entertainmantさんに「ボリュメトリックビデオ技術を使い、VTuberとコラボしたライブをやりませんか？」と提案させていただいたところから、この企画が始まりました。そこから『バズリズムLIVE V』という枠組が決まり、バルスでは主にリアルとバーチャルを同じ空間に立たせるためのライブシステム構築を担っていました。

江口　元々は自社の企画内で、ボリュメトリック技術を使ったリアルとバーチャルのライブをやろうってキヤノンさんと一回進めていたんですけど、キャスティングを考えたら他社も巻き込んでやりたいねって。まさかここまで大きな話になるとは思ってなかったですけど（笑）。

左からテクニカルディレクターの江口、映像ディレクターの宮坂、同じく映像ディレクターの杉原

左からUnityエンジニアの溝口、制作進行の小野、ライブディレクターの堤、スタジオ技術の稲垣

これまでの経験や技術力が活かされたライブとなりましたが、その中でも皆さんが重要視したのはどういった部分でしたか？

江口　なんといっても、3Dを撮影するキヤノンさんの技術をバルスのバーチャルシステムにどう組み込むのかってところが今回の要でしたね。

溝口　本当に（笑）。キヤノンさん側のボリュメトリックビデオ技術とバルスのライブシステムの繋ぎ込みに始まり、撮影やスイッチング等を担当頂いたNiTRoさんとのカメラ周りの調整も大変でしたね。まず、バルスのシステムが繋ぎ込み前提のものじゃなかったから、ボリュメトリックビデオ技術を3D空間に落とし込む必要がありました。そのためのプログラムはキヤノンさんが作ってくださっていて、それをバルスのシステムに繋ぎこむことにしました。それでリアルとバーチャルのアーティストがそれぞれ一緒の空間に出るというのはクリアしたんですけど、次の課題としてシステム上ボリュメトリック側で発生する3秒遅延にどう対処すべきか。これがすごく大変でした（笑）。

3秒の遅延を合わせるというのは、素人目に見ても難題だったのでは？

溝口　そうなんです。VTuberとリアルの演者さんが3秒ズレたままだと会話やパフォーマンスが成立しなくなってしまうので、同じ時系列になるように、Unity上でモーションや演出映像の再生タイミングなどレンダリングに必要な情報を遅らせて処理することで合わせていきました。

江口　映像の方はボリュメトリックビデオを基準にバーチャル全体の動きを遅らせることで合わせていて、音は音で遅延を入れて調整することで視聴者の皆さんが見たときに違和感のないような映像に仕上げました。端的に言ってしまえば、一個一個手作業で合わせていったんですよね（笑）。そこに至るまでに、まず音が基準であるという仮説を立てるところから始めて、一回実装してみる。こうやったら上手くいくんじゃないかっていう話し合いと検証だよね、全ては。

溝口　その確認をするために、キヤノンさんのスタジオに都度行って検証を繰り返しましたね。

江口　仮説が間違っていたこともあったから、何回川崎（キヤノンさんのスタジオ）に行ったか分からないね（笑）。

堤　その検証も、初めてのことに挑戦しているから手探りだけど、でもこのデータは正だろうと信じるところから始まるんですよ。全てを一回、その仮説に合わせて支障がないか確認する。音だけじゃなく、カメラもちゃんと動いているか、スイッチングで切り替えられるか、パーティクルや特殊効果とか、ステージ上の演出がちゃんと作動しているか。クレーンのカメラが大丈夫か、照明が同タイミングで出ているかとか、全部を一個ずつ確認しました。

溝口　それら全てが3秒遅延した状態になっているかを確認しなきゃいけないんです。そして、全部のシステムや技術がちゃんと3秒遅れでレンダリングしていることが確認できて、初めて細かい遅延値を合わせる作業に進めます。

江口　最終的にはライブを行ったときの見た目がどうなるかが答えなので、普段のライブオペレーションをみんなでやってみて、出てきた映像がちゃんと成立しているかを自分たちの目で見て確認しました。厳密に言うと僅かな誤差はあったかもしれないんですけど、流石にそこまでは計測できないので、最終的には人間の目で見て合わせていきました。

堤　人間の目で見て違和感がないかどうか、どのカメラで抜いたときにも成立している絵じゃなきゃいけないですからね。人間の目で見たら違和感ないよねっていうところまで詰めていきました。

江口　複数台のパソコンで同時に映像を出しているので、機械同士がずれてないかも検証しましたね。何かあったときに、調整の値を変えればズレても大丈夫っていう予防策も取って。それで結局、当日モニター前で音を聞きながら、0.1秒遅らせる指示を出したりしていたくらいだから（笑）。実際、0.1秒ずれてるだけでも、人の目で見ると結構違和感があるんですよ。

キヤノンのボリュメトリックビデオスタジオ

モーションキャプチャシステム　※スタッフによるリハーサルの様子

今回そういった苦労の末にリアルとバーチャルの垣根を超えたわけですが、その成功の裏には様々なチームの皆さんの活躍もあったんですよね。

堤　それはもう本当に。バルスの社員ほぼ全て巻き込んだ一大プロジェクトですから（笑）。

小野　私は制作進行として４月に入社したので途中参戦だったんですけど、ちゃんと関わった初のイベントが今回だったので、本当に大変でしたけどやりがいも大きかったです。検証時にスタンドインする人間がいなかったので、私も検証にはたくさん参加しました。

堤　僕の今回の役割としては、ClaN Entertainmentさんと制作会社のOffice KRさん、その他技術や美術などほぼ全てのスタッフさんからヒアリングを行い、それぞれがやりたいことをどうやったら叶えられるかというのを各所に確認した上で、バルスとしての最適解を出していくといったところです。小野さんには、僕が行けないときにフォローで行ってもらったりもしたね。僕が考えていることをトレースできているのが制作進行だから、本当にお世話になったなって感謝しています。

稲垣　スタジオチームとしては、モーションキャプチャのスタジオ設営と、本番のモーショントラックのオペレーションを担当していました。これまで外でのイベント時は設営を委託していたんですけど、バルス内部だけでスタジオ用の鉄骨やらカメラ機材やらを持って行って設営するのが今回初めてだったので、社内で何度もトレーニングしました。モーションキャプチャを外で撮影するための体制作り、いつかやってみたいとチームでも機会を伺っていたんですけど、まさかこんな大きなイベントに合わせてくるとは（苦笑）。

江口　スタジオチームは、2年前に今のスタジオに移転して初めてできたチームなのですが、まさにチーム一丸となった一大プロジェクトでした（笑）。

稲垣　前日に設営と技術検証の時間をキヤノンさんからいただけたので、想定よりも大分余裕を持って挑めたのかなって思っています。

堤　もう怖いものないよね（笑）。

宮坂　映像チームは、演出映像の制作とカメラワークを担当しました。今回のステージはこれまでにない規模のモニター数で構成されていて、360度会場を取り囲むものから演者さんの足元に映像が出るものまで多種多様なタイプがあり、それらに映し出す全ての映像を作っていました。

杉原　私は、主にカメラ周りを作っていました。バーチャルの中にあるいろんな場所を映せるカメラを、どういう設定にしたらカメラマンさんの要望に応えられるかっていうところです。

堤　特にカメラ周りは、リアルのライブ会場だと有人のカメラマンさんが必要なんですけど、システムの中に作るから、カメラマンが６４人くらいいた感じでした（笑）。

ライブステージ

苦労された部分ややり甲斐があったことなど今回のライブを振り返ってみていかがですか？

宮坂　今回は複数箇所にモニターがあったため、会場の全貌を意識した演出を心掛けました。それぞれのモニターが持つ効果が全く違うので、どのタイミングでどのモニターをどんな風に使ったら効果的な演出になるかを考えることにいちばんやり甲斐を感じました。会場全体でどういう見た目になっているかをより考えるようになり、今までにない視点が得られたのは本当に良かったです。

苦労した点は、会場を取り囲む360度のモニターに出す映像の制作です。360度のリング状の映像を作るためには、平面で作った映像の両端を繋ぎ合わせる必要があります。映像の繋ぎ目が綺麗に繋がるよう、ルックチェックや微調整を重ねながら制作しました。

杉原　カメラだと、堤さんの言っていたように量を作らなきゃいけなかったので色々鍛えられました（笑）。動きのあるカメラのシステムを取り入れたことも大きかったです。ステージ、モデル、それら全てに合わせていかにキレイな画角になるよう調整して作成したのは、自分でも頑張ったなって思います。今のシステムでは構築できなかったことだったので、それが導入されて次のライブではアニメーションにも挑戦したいねって話にもなっているんですよ。

モニターが会場を取り囲む

小野　制作進行的には本当に時間がない中での進行だったので、バルスが総動員された底力を見られたのが非常に良かったですね。すごいことができる人たちと一緒にやってるんだって、入社わずかながらに実感することができました。

稲垣　もう『バズリズム LIVE V』を超えたら、あとは効率化するだけっていうのがスタジオチームの総意です（笑）。時短できるところは時短するし、時短の限界に辿り着いたあとは、練度を高める。今回はカメラの台数を少なめにしたんですけど、その分フォーカス合わせは物理じゃなくパソコンの数値で合わせていたので、いずれはカメラレンズの方でフォーカス合わせをやっていけたらいいなって思っています。スタジオチームは、外部設営が初挑戦ではあったんですけど、『バズリズム LIVE V』に特化したものというわけではなかったので、今回培ったものを他のイベントでガンガンやっていけたらいいですね（笑）。

溝口　自分的には、外部との齟齬がないようにというのが今回の反省点ですかね。キヤノンさん側から技術的な実現方法を提案していただいていたんですが、自分の認識が間違っていたところがあり途中で慌てることになっていました。そこから認識をちゃんとあわせて動けるように最初に話し合っておくことが大切なんだなって改めて思いました。でも、ボリュメトリックビデオ技術についての知識が増えたことや、NiTRoさんのカメラを入れ込んでのシステムの作り方、パターンを知れたのは本当に良かったです。外部からじゃないと吸収できないこともたくさんあるので、その知識を今後のイベントやライブに活かしていけたらいいなって思っています。

江口　ボリュメトリックビデオ技術を使ったリアルとバーチャルの共演について、全体的な仕組みを考えることができて良かったですね。自分だけじゃできないことでも、たくさんの人が関わって実現できたというのがすごくやり甲斐がありました。検証作業は本当に大変でしたが、ARライブでの経験値やこれまでバーチャルでやってきたことを転用できたからこそ、検証のベースをあまり外すことなく進められたのも良かったですね。今回得た知識が、また別のライブのときに活かせたらいいなって思っています。

堤　このイベントを通して、社が一丸となって新しいことに挑戦したっていうのが一番かな。普段のバルスは、割とディレクターとのコミュニケーションが主軸になりがちで、社外のディレクターさんからの要望っていうのは新しかったんじゃないかなって思っています。中でも、自分たちの知識に固執することなく、外部からの意見でその殻を割ってみようってことも多く、本当にいい機会をいただけたなって思っています。僕一人ではコミュニケーションが取りきれなかったから、普段は外部とコミュニケーションを取らない社員の皆さんにもミーティングに入ってもらったりして、バルス全体がさらに成長できたなって。社外の力を取り入れて行くことの重要性を改めて感じています。

江口　テレビ業界の方々から見たら、僕たちみんなまだまだ新人だからね（笑）。

堤　本当に（笑）。社内外含め、いろんな人の声や頭があったからこそこれだけのクオリティのものが作れたんですよね。個人的にはスケジュール面に関して一番反省しておりますが。そりゃこれだけの規模のことをやろうとしたら時間かかるよねっていうことを痛感しております。ただ、今回のライブを通して横の繋がりは増えたよね。映像チームとUnityチームとか、それぞれが自分たちでコミュニケーションをとってまずお互いの環境を知ろうとしたし、その上で能動的に動いていたし。全体を通して本当に良かったなって思っています。この社を挙げての一大プロジェクト、僕はみんなに感謝しかないです（笑）。

稲垣　まあ急遽、検証が発生したときは本当に大変でしたけどね。遅延値を探るために本番に合わせた環境に整えなきゃいけないから、この日に検証しなきゃダメだよねってスケジュールを組んでいたけど、突発的な検証も多々ありましたからね（笑）。

堤　本番が近くなってくると、その場で確認したいってなっちゃうんだよね。本当にそれは申し訳なかったです（苦笑）。

江口　検証スケジュールの立て方は大きな反省点ですね。検証中に新たな検証ポイントが次々発生しちゃうから、どこまでに何をしようっていうのがどんどん遅れていくという。予測を立てていても、検証してみて初めて気づくことが本当に多かった。

溝口　検証中に新しい検証ポイントが生まれてその場で対応することもあるんですが対応したことが別のところに影響出たりするので、じゃあ次の日までにその影響が出ないように対応すると、また別のところに違う影響が出ちゃってという繰り返しでしたね。その辺は時間があれば影響を出にくくしてスムーズな対応ができたかなって思うところではあります（苦笑）。

即戦力の皆さんと素晴らしいチームワークで今回の一大プロジェクトを乗り越えたわけですが、最後に改めてバルスで働いていて良かったなと思う点を教えてください。

江口　良いか悪いかは置いておいたとしても、若手がこの規模のものをここまで自分で考えて作らなきゃいけない現場はなかなかないと思います。他社さんだとアシスタントワークから始まることでも、バルスでは年齢など関係なく意見が言えて、自分が作りたいものを発信できる。だからこそ、今回のこのライブが形になったんだと思います。

堤　あと、こうしてみんなで座談会ができていることも良かったなって思いますね。現場に関わった人間が自分の意思で、しかもこの若さで喋るっていうのは、他ではまず難しいんじゃないかな。どのチームも自分たちで考えながらやったからこそ、現場の思いを語ることができますし。それぞれが、意見を出し合うっていう意識を根底にちゃんと持っているんですよね。引っ張らなきゃいけない人は必要だけど、みんなでいい物を作る、互いを高め合うということをそれぞれが理解している。そういうところは、バルスのいいところだなって感じています。今回の企画を通して、達成感はもちろんですが、反省点やら伸び代やら……色々ありましたが、これからも新しいことにどんどんチャレンジしていけたらと思っています。

ボリュメトリック生配信ライブ　Creepy Nutsさん×Mori Calliopeさん

ボリュメトリック生配信ライブ　フジファブリックさん×星街すいせいさん

みなさん、ありがとうございました。

【メディア掲載】

・GIZMODO

・MoguLive

・CGWORLD.jp

バルスでは、一緒に働く仲間を積極採用中です。

転職するかどうかは未定だけど、まずは話を聞いてみたい、という方も大歓迎です！

エントリーをお待ちしています。

自社サイトからエントリー

Wantedlyからエントリー

事業説明資料はこちら

※この記事は2023年11月時点の情報です。