ソフトバンクのxRスタジオを体験してみた！有名人のコンテンツ作成にも利用

本記事では、ARやVRコンテンツに用いられる3Ⅾオブジェクトを簡単に作成できるソフトバンクのxRスタジオについてご紹介いたします。xRスタジオでは、ARにも活用される3Dオブジェクトを従来よりも早く・きれいに作成することができます。

こんにちは！ARGO編集部ちかです。今回は、ソフトバンクのxRスタジオを体験させていただきました！

ソフトバンクでは、本スタジオで作成した3Dオブジェクトをはじめとした様々なコンテンツを、「5G LAB」で提供しています。

ソフトバンク「5G LAB」とは

「5G LAB」は、ソフトバンクが2020年3月から提供を開始した、エンタメやスポーツ、ゲームのあらゆるジャンルで5Gコンテンツサービスです。2021年7月現在、「AR SQUARE」「VR SQUARE」「FR SQUARE」の3つのサービスが展開されています。

「AR SQUARE」では、タレントやキャラクター、動物など500点を超えるコンテンツが3Dオブジェクトで登場し、拡大や縮小・回転をしながら自由に鑑賞をしたり、一緒に写真や動画を撮影することができます。また、撮影した写真は直接SNSへの投稿が可能なため、スムーズに体験共有ができます。オブジェクトはダウンロードなしにストリーミングで楽しむことも可能です。

さらに、専用のQRコードを読み取ると限定のARフィギュアが起動する機能や、対象オブジェクトにカメラをかざすとARオブジェクトが出現するARマーカーの読み取り機能も備えています。

「VR SQUARE」ではVR映像によって、コンサートやライブ、舞台などをまるで最前列で鑑賞しているような体験ができます。「FR SQUARE」では、ライブやダンス、スポーツを様々な視点で楽しむことができるほか、特定の人物だけを追う「推しカメラ」機能もあり、好きな人の登場シーンを余すことなく楽しむことができます。

xRスタジオについて

ソフトバンクとグループ会社のリアライズ・モバイル・コミュニケーションズが2020年2月に構築した、国内最大規模の3Dビデオ撮影専用スタジオです。従来では不可能であった等身大の高品位な3Dビデオが即日で生成できます。

リアライズ・モバイル・コミュニケーションズは、XRテクノロジーの黎明期から業界をリードし、特に3Dビデオに関しては世界的にもトップクラスの実績を持つ企業です。世界最大級のスタジオを運営しており、国内でもボリュメトリックスタジオを3台運営しています。3Dコンテンツの配信システムも提供しており、XR系クリエイターによる演出や開発も可能です。

また、リアライズ・モバイル・コミュニケーションズは、3Dコンテンツのパイオニアであるテクノロジーカンパニー8i社と業務提携し、8i社の3Dビデオの生成ソリューションを日本国内で独占的に提供しています。

3Dビデオとは

ボリュメトリックビデオのこと。体積(奧行きや高さ)をもつ動画3Dコンテンツの一種で、静止した3Dモデルを動かすのではなく、毎コマ毎コマ3Dモデルを再生することでリアルな3D表現が可能となっています。

xRスタジオでは、2Kカメラを30台設置する2Kスタジオと、4Kカメラを30台設置する4Kスタジオを備え、様々なコンテンツ作成に対応しています。

コンパクトで処理PC数が少ない2Kスタジオは直径1.5m、高さ2mまでの撮影ができます。

4Kスタジオは、直径2.5m、高さ2.2mの撮影が可能で、可動範囲が広く動きのある映像が撮影できるため、複数人での撮影や、ダンスなど大きな動きのあるコンテンツに適しているとのこと。

過去には、バスケットボール選手の撮影で、個人撮影だったため2Kスタジオを私用したところ、ジャンプ力によってコンテンツ作成可能範囲を選手が超えてしまったため、4Kスタジオに変更して撮影になったこともあったそうです。

撮影は1秒間30コマ撮影され、200万点もの特徴点を認識しておこなわれています。また、xRスタジオ出は、Depthセンサー(深度計機器)は使わずカメラ映像のみで深度測定をおこなっています。なぜなら、Depthセンサーは高画質なものが少ないためです。カメラ映像の差異から震度測定をおこなうことで、3Dモデルの解像度をあげています。

xRスタジオでできること

・30台のカメラの実映像をそのまま3Dビデオ化すること
・360度あらゆる角度から再生可能で、近づくことも可能
・最大で直径2.5M(高さ2.2M)の範囲が撮影可能

xRスタジオで作成した3Dビデオは、AR・VR・MRのどの領域でも活用が可能です。unityやWebブラウザで再生ができ、ARKit、ARCoreのSDKも提供可能なため、自由度の高い配信方法が取れることが特徴です。

また、アダプティブストリーミング（多少画質を下げてでも、なるべく再生を止めないようにする技術）に対応しており、高精細な3Dビデオファイルをストリーミング用に軽量化・最適化できます。幅広い端末（低スペック〜高スペック）でスムーズに再生されるように全6パターンのファイルにエンコードしているそう。

これにより、利用者の利用環境によってデバイスに最適な圧縮や出力が自動的になされます。標準のHDビデオ帯域幅に相当する5Mbpsの低帯域幅条件下でもストリーミングが実現可能なため、4Gの利用者でもコンテンツが見れるようになっています。

ちなみに、パーツにより品質を調整することでファイルサイズを圧縮し配信に適した大きさにしています。たとえば、顔など細かな描写は必要な箇所は高画質、衣服の同じ色の箇所などは低画質など、場所によって自動調整がなされています。

xRスタジオで用いる3Dビデオ技術の優位性

xRスタジオで3Dコンテンツを作成する場合、3Dモデリング、テクスチャ―作成、モーションキャプチャーやアニメーションの追加、レンダリング、ナレーション撮りと様々な工程があり、完成までに数週間～1か月かかっていた従来の技術と比較して、かかる工程は撮影とレンダリングの2つで、作業時間も数時間で完成します。

工程の削減によって、圧倒的な生産性向上につなげています。また、作成する3Dビデオには下記4点の優位性があります。

①人物を等身大で高品質に3D生成可能

既存技術では縮小したスケールか2Dに変換して再生することがほとんどですが、本技術ではタレント事務所等の許諾が可能なほどの高品質・等身大のオブジェクトを提供できます。

②修正不要で超高速でのレンダリングが可能

既存技術では1週間以上のレンダリングが必要で、ノイズ除去やモデル修正に、時間やコストが別途かかっていました。

③スマートフォン等での配信に最適化

ストリーミング技術や暗号化を実装し、webXRにも標準で対応している。また、5G対応機種でなくとも再生が可能です。

④コスト(スタジオ、生成)が業界最安値

他社に比べ圧倒的に安価に高品位な撮影が可能になっています。

xRスタジオ体験

それでは実際に、xRスタジオを体験させていただきましょう！

今回の体験では、3秒ほどの3D動画を作成させていただきました。1人1人撮影をおこないましたが、贅沢に4Kスタジオで撮影をさせていただけました！

3秒で何をするか……うーーーーん、悩みます～（笑）

今回一緒に体験に参加したタダさんはジャンプをすることに決めたみたいです！3Dビデオがどれだけ鮮明に撮れているのかを確認するために、一度ジャンプの瞬間の様子もモニター越しですが、カメラで撮ってみました！

ふむふむ。。出来上がりが楽しみですね…！

実際の撮影時には、撮影する本人だけがスタジオ内にいる状況なので、なんだか緊張感が漂います。数秒の出来事のはずなのに、緊張してもっと時間が長く感じました（笑）

撮影後、3Dビデオになる前の一瞬を切り取った3Dオブジェクトがこちら。一切、修正など手を加えることはおこなっていませんが、この鮮明度と、表現力です！

服のしわや髪の質感、動きによって生まれる、影の濃淡までも本物のようで、「え！？ほんとに撮っただけでこれ！？」とびっくりしてしまいました。

しかもこのクオリティが撮影後すぐに出来上がっているんです。10分も20分も待つことなくすぐに確認ができたので、本当に技術の高さを感じました。

実際に出来上がった3Dビデオはこちら。本当にその場でジャンプしているかのような臨場感ですよね！詳細が確認しやすいよう0.5倍速に設定しています。

3秒の動画が繰り返されていますが、2回目は、ジャンプの途中で止めて、いろんな角度から3Dオブジェクトを確認して見ました。服のしわなどもしっかりと表現されていることがわかるでしょうか。

ちなみにわたしの撮影では、くるりと回ってみたのですが、ストレートラインのロングスカートが、スリットのある後ろ部分だけが広がっているのがとてもきれいに撮れました！360度動きに差があるような3Dオブジェクトが数秒でできることに驚き、また、従来の、一つずつ積み上げて作っていくタイプの作成法では果てしない時間がかかるだろうなと、技術のすごさ・便利さを感じました。