リアルとバーチャルの空間演出を繋げるツール「XR.LiveStageConnect 」を作りました。

バーチャル空間上のCG演出を、実際のライブイベントで使われているオペレーション技術に基づいて制御できるツールを自主開発しました。まずはこちらから。

このデモ映像での演出は、全てリアルライブ現場で使われるソフトウェアから制御・出力されています。

作ったきっかけ。

「リアルを交えたバーチャル空間演出は、コストも技術連携のハードルも高いな・・・」

ここ数年3Dキャラクターの実写合成MVやVRライブイベントなど、リアルを交えるCG制作・開発をする機会が多かったのですが、とにかくこのリアル（映像・照明・音響）の技術面とCGエンジニアの技術・制作の連携が毎度悩みでした。

正攻法で全てを統合した演出を実現しようとすると、それぞれ分野ごとに熟知したメンバーが必要になってきて、密に異国文化同士が歩み寄りながらの開発・制作も必要になってくる。またアート面でも、特にリアル現場のオペレーション踏まえたものだと、バーチャル空間上でどう演出をしたらよいか分からないと。というケースが多々あったり…。

リアルの現場では長い年月の知見のオペレーションフローや道具・環境があるのだけど、バーチャルの現場はまだホヤホヤ。ベストなフローも環境も、最適解がまだ無いんだな、と感じていました。

偶然か、これまで自身が経てきた道がリアルの分野（音響・映像・照明）も、バーチャルの分野（ゲームエンジン・開発・CG）も携わることができたので、

• リアルの現場サイドを知っていれば改善出来るCG＆システム面のこと。
• CGシステム側で○○があればリアルの現場サイドがスムーズに出来ること。

このポイントにちょこちょこ気づきました。そんな中、

「リアル現場の技術 "共通言語（仕様や制作フロー）や道具（ソフトウェア）" とバーチャル現場の技術（CG制作・開発）、これらを結びつける土台があったら解決できるんじゃないか？ 」

「もしこれができれば、リアル現場側とバーチャル現場側の技術知見を双方に活用できて、双方の開発・制作フロー改善、演出表現もアップグレードできるのでは？」

そう思ったのが作るきっかけでした。

裏方もリアルとバーチャルの垣根を壊す！

ツールの主な特徴をざっくり。

①照明・音楽・映像業界で用いられている通信規格で設計。

DMX, OSC, Midi等のライブパフォーマンスやオペレーションで使われる通信規格を基に設計しています。

②外部ソフトウェアとの連携を前提。現場オペレーションの思想を重視。

各CG空間の演出オブジェは、実際のイベント会場の照明機器と同様な扱いで制御できます。そうすることでライブパフォーマンスに特化したソフトウェアの特性を活かすことができ、バーチャル空間上のCG演出やリアル施設の照明機器や映像スクリーンと連動した演出も容易に、しかも音楽を演奏するかのごとに出来るようになる、というわけです。

③ライブオペレーションからCGライブ演出の制作ツール用途を想定

一つは、アプリケーション化してリアル施設の延長上の仮想施設として設置。アプリのインストールされたPCを施設に設置、照明・映像の配線と結びつけることで拡張完了です。仕込みもリアルの延長上としてセッティング、アプリなので自宅に持っていってソフトウェアのシミュレーションと連動させて準備、ということも可能になってきます。

もう一つは、ゲームエンジンエディタ上のツールとしてCG演出制作フローを改善する（特に手作業部分）

リアルで使われるライティングソフト上で仕込みやライブラリ管理できるため、一度作ってしまえばオペレーターさんのみで自由に演出デザイン出来ます。（イコール、CGデザイナーの手作業を大幅にカットできますね！）

また、プロジェクションやLEDのマッピングの仕様も取り込んでいます。リアルと同様な手法を応用することで、一つの演出のためにVFXを作り込んだりCGモデルや独自シェーダーを開発せずとも演出可能です。

他にもありそうですが、まずはこういったことを想定しています。

Next Action

まだプロトタイプとして仕上がったばかり。次はリアル＆バーチャルの裏方でベンチマークの計測とチューニングです。また、これをHubとしてどんな場を生み出せるかチャレンジです。引き続き新しいワクワクづくりに注力していきます！