Graffityは、映像プロダクションの株式会社ピクス（P.I.C.S.）と共同でApple Vision Proを活用したリアルタイムビジュアル表現の研究開発を実施しました。取り組みの内容は、iPhone映像をAIフィルターで変換し、NDI経由でApple Vision Proへ描写することで新たなインタラクティブな表現を検証するものです。本記事では共同プロジェクトに至った経緯や今後の展望について、P.I.C.S.のテクニカルディレクターである上野陸さんを交えて座談会形式でインタビューを実施。Apple Vision Proに感じた可能性や、共同でプロジェクトを進める上でGraffityに感じた強みについてお伺いしました。

▪️インタビューイー
株式会社ピクス　
P.I.C.S.TECH　テクニカルディレクター　上野 陸さん

Graffity株式会社
ディレクター　金井 一馬
エンジニア　織田 嘉一

Apple Vision Proに感じた「未来」。デジタルと現実を繋ぐ、よりインタラクティブな表現を目指して

——まずは、上野さんのご経歴からお聞かせください

上野さん：P.I.C.S.で、テクニカルディレクションを担当しています。もともと美大出身なのですが、周りがデザインを学ぶ中で、自分はインタラクティブな表現に強く惹かれていました。Kinectに触れた際に、映像の中に入り込める感覚の楽しさを知ったことで、映像とインタラクティブ体験を融合させることに興味を持ち、P.I.C.S.に入りました。P.I.C.S.では、VRをはじめ、センサーを活用して映像のなかに体験を落とし込んだり、大型スクリーンや空間映像で没入型のコンテンツを作ったり、幅広く制作しています。

——Apple Vision Proに初めて触れたとき、どのような印象を受けましたか？

上野さん：私はもともと長くVRに関わってきましたが、Apple Vision Proはこれまでのデバイスとは格段に進化したものだと感じました。一番は解像度の高さに驚きました。そして、映像も綺麗、パススルーも非常にリアルで、「数年先の体験ができるデバイス」という印象です。
これまでも、デジタルなものと現実を組み合わせる表現を模索していましたが、Apple Vision Proは「デジタル×現実」を繋ぐ大きな可能性を感じました。自分自身で「なにか作ってみよう」という気持ちになりましたね。

——Apple Vision Proの高解像度に対して感じた可能性について、具体的にどう思われましたか？

上野さん：「現実に溶け込むデジタル表現」が実現できる可能性を感じました。グラス型デバイスも体験してきましたが、視野角の狭さや解像度の低さなどの課題があり、一般的な実用化はまだ先なのだと思っていました。しかし、Apple Vision Proはパススルーがとても綺麗で、デバイスを装着しているのにつけていないような感覚です。重量の問題があって長時間装着は難しいですが、これが普通になっていく"少し先の未来"をリアルに垣間見た感じがしました。

「生成AI×パススルー」を軸に企画立案。プロジェクト立ち上げの背景と経緯

——今回の研究開発プロジェクトに至るまでの経緯を教えてください

上野さん：Apple Vision Proに触れたことで、「自分たちが感じた可能性を体験として伝えたい」と感じ、P.I.C.S.のホールディングカンパニーである株式会社IMAGICA GROUPと連携して動き始めました。まずはプロトタイプとしてApple Vision Proの強みを活かした新しい表現方法の模索を形にすべく、3つの企画に落とし込みました。
ひとつは「生成AI×パススルー」。パススルーの映像で、現実映像の一部がAIによって生成・変換されるような体験ができたら面白いのではないかと。次に「スキャン技術による没入体験」。パススルー上で見ると違う場所に行けるような体験で、パススルーが綺麗になったからこその没入感が出せるのではないかと考えました。3つ目は、「新しい映像体験」。実写映像を使いながらApple Vision Proならではの新しい見せ方や映像体験を提供するものです。
これらの企画に共通するコンセプトは「これから実現する少し先の未来のビジョンを覗くような体験」です。この3つの軸で企画を立てて、実現できないか模索しました。

——そのなかで、どのように意思決定をされたのでしょうか？

上野さん：やはり「AI」というのは大きなキーワードだったので、「生成AI×パススルー」がメインの企画になりました。そこを軸に、やりたいことやほかの要素を組み合わせながらプロジェクト全体を構成していきました。

——Graffity側でも「映像制作とApple Vision Proをどうつなぐか」は難易度の高い課題だと感じていました。どのようにアプローチされたのでしょうか？

上野さん：私が常にテーマとして大切にしているのは「“体験”を最終的なゴールにする」ということです。必ずしも映像技術に偏りすぎるのではなく、P.I.C.S.の映像制作会社としての強みや知見を活かしつつ技術とは異なるアプローチも意識して、最終的に“良い体験”として届けられることを目指しました。

バランスとスピード感。Graffityをパートナーに選んで研究開発に挑んだ理由とは

——数あるXR企業の中で、なぜGraffityを共同研究開発のパートナーに選ばれたのでしょうか？

上野さん：いち早くApple Vision Pro向けの作品を発表していた点に加え、新しい機能をうまくプロダクトに落とし込んでいて「技術と演出のバランス」が非常に優れていたことが大きな決め手でした。Graffityさんが持っている技術や知見を活かしつつも、技術に偏りすぎず、ちょうど良いバランス感覚を持っていたので、一緒にプロジェクトを進めやすかったです。さらに、企画から実装までを一気通貫で行える体制が整っていて、同じタイミングで議論しながらものづくりを進められる点も魅力的でした。私たちのやりたいことを丁寧に汲み取ってくれるだけでなく、自分たちでは気づかなかった新しい視点や技術面での提案をいただけたことも大きかったです。

——実際に共同プロジェクトを進めるなかで、Graffityと組んでよかったと感じた点はありますか？

上野さん：Apple Vision Proだけで完結させたいという企業やチームもあるなかで、Graffityさんは他のソフトや技術も取り入れながら、さまざまなアプローチをして柔軟に対応してもらえました。私たちのチームも日頃から、ソフトや技術のそれぞれの得意分野を活かしながらゴールを目指すスタイルなので、同じ感覚でプロジェクトを進めることができて非常に心強かったです。

プロジェクトの企画から実装へのアプローチ。課題解決に向けた試行錯誤について

——今回のプロジェクトについて、改めて教えてください。

上野さん：iPhoneのカメラ映像をPCにリアルタイムでストリーミングして、NDI経由でApple Vision Proへ伝送することでリアルタイムに映像変換を実現する研究開発です。
企画としてはパススルーのシームレスな融合の体験を目指して、Apple Vision Pro内のオブジェクトに対してテクスチャーを変化させたり、入力デバイスを通じてApple Vision Pro内のオブジェクトに影響を与えたりすることができる仕様になっています。
最初にこちらが作ったベースの企画からやりたいことを抽出して、実際にどのようなことができるかをGraffityさんと一緒に相談してブレストしながらプロジェクトとして形にしていきました。

——企画・開発のなかで工夫された点について教えてください。

Graffity金井：まず、Apple Vision Proには得意なこともあれば不得意なこともあります。制約がある中で、どう企画を実現するか？という観点で工夫をしました。解決策を考えるなかで、入力デバイスを使って、Apple Vision Proのオブジェクトに対してテクスチャーを変化させることや、そこに生成AIを活用しテクスチャーをリアルタイムに変化させるという形になりました。

——課題に対してどのような試行錯誤をしましたか？

Graffity織田：プロジェクトスタート時は「iPhoneの映像をApple Vision Proに貼り付けられないか？」という要件でした。以前から社内でApple Vision Proと外部デバイスとの通信についてリサーチを重ねていたこともあり、その知見を活かすことができました。
また、AIを活用してコード処理を自動化することで、短期間でプロトタイプを完成させられました。

——NDIを活用するに至った経緯についても教えてください。

上野さん：私はもともとNDIを使って、映像を別のデバイスに送ることが多かったんです。もしそれがApple Vision Proのアプリに実装することができれば、NDIを経由して、普段の作業環境で映像変換や生成AIを加えてApple Vision Proに戻すことができると考えました。

Graffity金井：上野さんはTouchDesignerをよく使われるので、NDIを活用するのは理にかなっていました。TouchDesignerで映像を処理し、それをNDIで送信し、Apple Vision Proで表示する。この一連の流れによって、P.I.C.S.さんとの共同作業も非常にスムーズに進めることができました。

上野さん：転送システムを汎用型にしておくことで、自分たちもチームと一緒に走れるという利点があって良かったです。また、今後の活用としても汎用性・可能性は広がるかと思います。

——今回はTouchDesignerと生成AIを組み合わせていましたが、過去にもそのような事例はありますか？

上野さん：ソフト同士を組み合わせるというのは多いです。それぞれの特性や得意なことがあるので、それらを連携することで自分たちが目指す表現ができるようになりました。
今回は、リアルタイムで生成AIを活用する「StreamDiffusion」も取り入れました。リアルタイムでの生成AIを用いて、iPhoneの入力映像からNDIに対して、プロンプトなどの入力を受けて映像を変換し、またApple Vision Proに返すという仕組みになっています。入力の部分をiPhoneで撮った映像に基づいた絵が返ってきたり、音声プロンプトで喋ったことが反映されたり、そのような部分に可能性を感じました。
実際に試して面白かったのは、オブジェクトのテクスチャをリアルタイムに変化させるという表現です。模様や質感が変化していく様子を見れるのは面白い体験だったと思います。

Graffity金井：たとえば「壁紙を魚柄にする」「花柄にする」といった指示を行い、リアルタイムで空間の壁を変化させることなどですね。Apple Vision Pro単体では難しい表現も、ほかのソフトとの連携で実現することができました。

——今回の開発期間はどの程度要しましたか？

Graffity織田：大枠は2週間ほどで完了したと記憶しています。

上野さん：Graffityさんのチームによってスムーズにプロジェクトを進めることができました。制作の途中でも柔軟に軌道修正を行いながら、気軽に相談ができる環境が整っていたのもありがたかったです。

社会実装に向けて次なる挑戦

——今回の結果を今後どのように展開していきたいと考えていますか？

上野さん：今回はプロトタイプとして、基礎となる部分を形にした段階です。私たちはこういった技術に慣れていますが、全く初めて触る人でも「未来の可能性」を感じられるところまでブラッシュアップしたいと思います。もう一歩進んだ先で「この先にはこんなことができるようになるかもしれない」と気づくきっかけになるような形を目指していきたいです。

Graffity金井：Apple Vision Proを活用した体験は、今後さらに多様な分野へと広がっていくはずです。現在は映像を加工したり、AIを使ったライブカメラなどはiPhoneを使った技術ですが、今後はApple Vision Proによって、さまざまな領域に応用できると思います。
現段階では子ども向けにフィジカルな遊びをデジタルに変化させるプロダクトの企画が進行中です。より身近で、直感的に楽しめる体験を提供していきたいです。

——この記事を読んでいる企業・自治体・クリエイターの方々へ、メッセージをお願いします。

上野さん：最近は独学で高度な映像表現や技術を身につけている方も増えてきました。そういった方々と組んで、「体験」をゴールに据えたものづくりができたら嬉しいです。分野や業種を越えて、面白いものを一緒に作っていければと思います。

Graffity金井：より幅広いクライアントとの取り組みも模索していきたいと考えています。エンタメだけでなく、例えば自動車業界の設計プロダクトデザインなど、製造業にもクリエイティブに活用できると思います。一般の方々にも、今後どのように使っていけばいいかインスピレーションが湧きやすいプロダクトを開発していきたいです。