丸の内をハックした大規模実証実験、
AR/VR横断プロジェクト「GIBSON」の軌跡

竹内 誠一郎

株式会社MESON プロデューサー

Georgia Institute of Technologyを卒業後、2017年に野村総合研究所に入社。製造業やテレコム業界向けの事業戦略コンサルティング業務に従事した後、2020年より現職。プロデューサー、ディレクターとして、空間コンピューティング技術を用いた研究開発・サービス設計業務に従事

目黒 慎吾

博報堂DYホールディングス マーケティング・テクノロジー・センター 研究開発1G 上席研究員/テクノロジスト

University College London MA in Film Studiesを修了後、2007年に博報堂入社。企業ブランド広報、中国・ロシア圏でのデジタルマーケティング業務、PR業務に従事した後、2018年より現職。実空間(フィジカル空間)とサイバー空間とが融合した「サイバーフィジカル空間」における次世代サービスUXや体験デザイン、コミュニケーションの将来について研究

小野田 健太

TMIP事務局(三菱地所)

オフィスの営業部門に従事した後、2021年より現職にて大丸有エリアのイノベーション・エコシステム形成に向けて、TMIPの運営や丸の内エリアにおける先端技術の実証実験を企画実施する

檀野 正博

TMIP事務局(デロイト トーマツ コンサルティング)

デロイトトーマツコンサルティングにて、イノベーション戦略立案支援、新規事業創出支援、組織立ち上げ支援等に従事。TMIPには事務局を支援する形で設立時より参画している

Sorry, this entry is only available in 日本語.

「IoT(モノのインターネット)」や「OMO(オンラインとオフラインの統合)」といった単語もいまや広く普及し、オンラインとオフラインを融合させたテクノロジー開発がさまざまな領域で進んでいます。そうしたテクノロジーを社会実装していくには、リアルロケーションでの試行錯誤が必須。技術力を持つスタートアップ企業とリアルアセットを持つ大企業は、これまで以上に密接な連携を取ることが求められています。

2021年12月に実施した博報堂DYホールディングス、MESON、三菱地所、TMIPの4社による大規模実証実験「GIBSON MARUNOUCHI」はまさに、スタートアップの最新テクノロジーと丸の内エリアのコラボレーションによって実現したプロジェクトです。

「GIBSON」とは、博報堂DYホールディングスとMESONが共同研究にて進める、AR/VR横断のコミュニケーション体験構築プロジェクト。現実そっくりのVR空間「デジタルツイン」を実空間とつなぐことで、遠隔地のVRユーザーと実空間にいるARユーザーの臨場感あるコミュニケーションを可能にするものです。

今回の丸の内エリアにおける実証実験は、同時期に同エリアで開催されていた、丸の内仲通りの今後のあり方や活用方法を検証する社会実験「Marunouchi Street Park 2021 Winter」とも連携。丸の内を周遊するARユーザーの映像をVRユーザーに転送することで、遠隔地のVRユーザーにも、実際にクリスマス期間の丸の内にいるかのような臨場感のある体験を生み出せるかどうかを検証しました。

博報堂DYホールディングスとMESONによる数年来の協働の積み重ねと、三菱地所の持つ丸の内エリアというリアルロケーションに加え、TMIPの協業支援やアーバンラボをフル活用することで実現に至ったこの実証実験。携わった各担当者に、プロジェクトの軌跡を聞きました。

今回の丸の内エリアにおける実証実験は、2021年3月より博報堂DYホールディングスとMESONが共同で研究を進めてきた、AR/VR横断コミュニケーション体験構築プロジェクト「GIBSON」の一部に位置付けられます。

AR/VR横断コミュニケーション体験とは、文字通りARとVRの技術を横断的に用いることで、ARとVRの体験を融合し、実空間とサイバー空間の垣根を超えたコミュニケーションを可能にする体験。しかし、そもそも「ARとVRを融合する」とはどういうことなのでしょうか?

その前提には、本来同じ領域にあるはずのARとVRがそれぞれ独立したものとして扱われ、開発されてきたことに対する課題意識があるといいます。

竹内「ARとVRでは使用するデバイスが異なるため、現時点では個別に開発が進められ、それぞれに分断されたエコシステムができあがっている状態です。しかし、『空間それ自体や空間内のインタラクションをつくる』という点では、ARもVRも同じ空間コンピューティングの技術であり、本来両者は区別されず、混ざり合って発展していくべきものと考えています」

株式会社MESON プロデューサー 竹内誠一郎

こうした課題意識のもとGIBSONでは、現実世界にデジタルコンテンツを重ねて表示するARベースの体験と、サイバー空間に没入する形のVRベースの体験を融合。「遠隔地のVRユーザーと現実空間のARユーザーとが、あたかも同じ空間で場を共有しているようなコミュニケーション体験」の実現を目指しているといいます。

また、博報堂DYホールディングスにて、サイバーフィジカル空間(実空間とサイバー空間が融合した空間)におけるコミュニケーションデザインを研究する目黒さんも、「研究領域において、ARとVRは連続的な技術として整理されている」と補足した上で、「GIBSONでは、“あたかも同じ空間で場を共有しているような臨場感のある体験“の実現を目指している」と今回のプロジェクトの意図を説明します。

目黒「VRは、日本語で“仮想現実“と訳されているために、『現実ではない、虚構の世界』かのように受け取ってしまいがちですが、“virtual”とは本来『実質的な』という意味。ARやVRのようなXRはすべて、“ユーザーにとって実質的に現実であるもの“を生み出すための技術だと捉えています。

現地にいないVRユーザーにとっては、丸の内にはいないというのが物理的な現実ではあるのですが、ARとVRの技術を用いて、多感覚に訴えかける体験を組み合わせることで、実質的にはその場所にいると感じられるようになるのではないか 。GIBSONの場合、そんな仮説のもと、実証実験を進めています。

たとえば私たちは、実際にはイチゴの成分の入っていないかき氷を、色・味・香りの総合によって『イチゴである』と認識していますよね。それと同じように、いくつかの体験、それによって得られる感覚の組み合わせによって臨場感を生み出せるのではないかと考えているんです」

博報堂DYホールディングス マーケティング・テクノロジー・センター 研究開発1G 上席研究員/テクノロジスト 目黒慎吾

マーケティングやブランディングにおいても、サイバーフィジカル空間が今後の主戦場になるだろうと語る目黒さん。新技術の社会実装によって、私たちの生活はどのように変わるのでしょうか。

目黒「たとえば、友達が『ここの蕎麦が美味しかった』とツイートしていても、実際にその店の前を通ったときに気づかないということは往々にあります。なぜなら、ツイートというインターネット上の情報と、実空間が紐づいていないからです。

一方、フィジカルとデジタルが融合した世界では、デバイスが実空間をスキャンすることで現在地を認識し、デジタルの情報を街に重ねて表示してくれる。地図アプリにおける目的地をARの光の柱で表示したり、先ほどのお蕎麦屋さんのツイートを店舗上に表示したり、といったことも当たり前になるでしょう」

こうした「都市のDX」は、まさにTMIPがコンソーシアムを立ち上げ、探求しようしていたテーマでした。そんな折にGIBSON側から「より広いエリアで実証実験を行いたい」という要望が来て、実証実験が実現。

ここに至るまでには、MESONと博報堂DYホールディングスによる、数年来の関係性と実証実験の積み重ねがありました。

MESONと博報堂DYホールディングスの出会いは2018年10月頃。「何か一緒にやりましょう」と意気投合し、2019年4月に発表した都市開発シュミレーション「AR City」が初の共同研究プロジェクトになりました。

神戸のクロスメディアイベント「078KOBE」で発表した「AR City in KOBE」は、ちょうど三宮駅前の再開発計画が進められていたことを受け、「2030年の神戸をみんなでつくろう!」というコンセプトに。仮想の三宮を舞台に、複数人によるマルチプレイでのまちづくりを体験してもらうことで、一般市民の人々にも再開発に興味を持ってもらうことを目指しました。

その技術面におけるテーマは「ARクラウド技術のプロトタイピング」だったといいます。

目黒「当時、週末に公園を通りかかると、多くの人が、ARで表示されるモンスターを捕まえるスマホの位置情報ゲームをするために集まっていたように思います。ゲームは個々人の画面に映るモンスターの捕獲を楽しむものでしたが、もし各々の体験がつながり、その場の景色を共有できれば、『協力して公園の真ん中にいるあの大きなモンスターを捕まえよう』というようなコミュニケーションが生まれるのではないかと考えました。

サイバーとフィジカルを融合させた空間におけるコミュニケーションの実現には、まず複数人での共通したAR体験が基礎になります。AR City in KOBEはこうしたことを実現するARクラウド技術を用いて、拡張的な景色を介して、実空間におけるコミュニケーションをいかに創造できるかを検証するために行ったものでした。

2020年2月には東京ミッドタウンにて、吹き抜け空間にテキストメッセージを投稿できる、ARクラウド技術を活用したコミュニケーション体験デモ「Spatial Message」を展示。その後すぐさま、AR空間における写真の投稿・共有体験「mirr」の開発を開始しました。

その矢先、コロナ禍の影響によって計画は変更を余儀なくされます。しかし、結果的にはこの方向転換が、「​​ARとVRの融合技術」という思わぬ副産物を生みました。

竹内「5月にSHIBUYA CASTでイベントをやる予定だったのですが、コロナ禍の影響で延期に。しかし、当面開催できそうにもないので、当初はARとして出す予定だった『mirr』を、急遽VR版につくり変えてリリースすることになりました。

その結果、『mirr』には途中までつくっていたAR版とVR版の2つのバージョンが生まれました。そこで『ARとVRの体験を融合させることで、遠隔地間のコミュニケーションが成立するのではないか?』と思って試してみたところ、『これは行けそうだ!』となったんです」

実世界の3Dコピーである「デジタルツイン」を使ってサイバー空間を構築し、そこにログインする遠隔地のVRユーザーと実空間のARユーザーとでリアルタイムなコミュニケーションをとる。そうした技術は、世界的にもまだほとんど例がなく、「これはすごい!」とプロジェクトチームは大いに盛り上がったといいます。すぐさま、より本格的なプロトタイピングへと移っていきました。

GIBSONは、こうして半ば偶然的に始まったのです。

プロジェクト「GIBSON」としては、MESONのオフィス内で行われた簡易実験、2021年3月に渋谷・神南エリアにて行われた実証実験に引き続き、今回の丸の内エリアでの実証実験が第三弾にあたります。

とりわけ渋谷・神南エリアにおける実証実験は、国交省による3D都市モデル整備・オープンデータ化プロジェクト「PLATEAU」の採択事業でもあり、比較的規模の大きなものでした。その中では、多くの成果が得られた一方で、課題も浮き彫りになったといいます。

目黒「大きな課題は、VR側のユーザーの受け取る情報量の少なさでした。GIBSONではARユーザーとVRユーザー、それぞれの空間におけるコンテクストを揃えることで、離れた場所にいるユーザー同士のコミュニケーションが成立する、という前提に立っています。

ところが実際、実空間は刻一刻と景色が変化し続ける一方で、VR空間は空間を用意した瞬間に時が止まってしまう。ですから、実空間で降っている雨や目の前を歩いている犬をVR空間側では観測することができないのです。

すると、見ているものについての会話をしたり、天気が影響する意思決定の意味を汲み取ったりすることができず、コミュニケーション不全に陥ってしまいます」

それゆえ、「次に実証実験をする際には、VRユーザーの情報量の改善は必須事項になるだろう」と話していたとのこと。

さらに、普段どおりの街を周遊する形で行ったものの、店舗などの屋内エリアに入れないなどの制約もあったといいます。観光・イベント・ショッピングなどへの将来的な活用を考える上で、「次は特定のユースケースにおけるGIBSONの活用方法を探求したい」という気持ちがあったと竹内さん。

このような課題を抱えていたGIBSONにとって、都市としての公共空間の中で、エリア内のビルや商業施設と連携し、大胆な実験ができるTMIPの枠組みは「まさに理想的なもの」。もともとTMIP会員企業であった博報堂DYホールディングスに、改めてTMIPで実現可能な実証実験を案内したところ、ニーズに対応できそうなことがわかり、プロジェクトの開始に至りました。

しかしながら実証実験の道のりは、決して平坦なものではありませんでした。

まず事前準備の段階では、現実を複製したバーチャル空間「デジタルツイン」をつくるために、実際に現地に足を運んでスキャンを行うなど、建物の図面や写真などのデータを集める必要があります。前回までは屋外エリアのみを対象にした実験でしたが、今回は屋内に入るようなエリアもあり、対象となるビルに協力いただく必要がありました。

また実験の期間中は、街中に機材やスタッフを配置したり、体験者や一般歩行者の安全を確保したりするために、さまざまな部門とのきめ細やかな連携が必要でした。目黒さんと竹内さんは、そうした連携の部分において「TMIPから大きな支援が受けられた」と話します。

目黒「今回、VRユーザーが受け取る情報量を増やすための試みとして、サイバー空間への360°映像のリアルタイム配信を行いました。そのための撮影機材を丸ビルの理想的な場所——多くの人で賑わうクリスマスツリーの目の前に置いていただいたんです。警備員の方への事前周知などもすべて対応していただきました」

竹内「丸の内仲通りの『Marunouchi Street Park』の開催に合わせる形で実施したのですが、ポップアップストアの図面をいただいたり、イベント開始直前の店内を撮影させていただいたりと、本当に細かな要望にも応えていただきました」

実証実験の様子。多くの人々が行き交う、年末の丸の内仲通りにて実施された

一方、ビルや商業施設との調整窓口を務めた三菱地所の小野田さんは、外部への協力を取り付ける上で、プロジェクトの説明に非常に苦労したといいます。

TMIP事務局(三菱地所) 小野田健太

小野田「XR分野は、実際に体験したことがないとイメージが湧きづらい。各現場の管理者に口頭で説明しても、『何となくはわかるけど、イベント中のエリアで良いロケーションを提供する価値があるの?』といった反応が大半でした。

丸の内でのGIBSONは新たに作るコンテンツですので、当然、自分自身も体験したことはありません。しかし、博報堂さん・MESONさんのビジョンを細部まで理解した上で説明しないと伝わらないと思い、竹内さんに何度もメールや電話で確認してすり合わせた上で、現場との調整を進めていきました」

また一連のGIBSONの集大成として、今回の体験にはリアルタイム映像配信によって今起きていることを共有するだけでなく、前日のイベントの様子を映像や写真で確認できたり、現地と遠隔地のアバターがハイタッチすると振動によって双方の存在感を感じられるようになったりなど、非常に多くの機能が盛り込まれました。その結果、『あっちを治したらこっちで新しい症状が出る』という具合に、デバッグには相当の工数がかかったそうです。

竹内「実際につくってみなければわからない不具合や性能の問題がどんどんでてきました。たとえば、360°映像を見られるようにしたら、それまでは普通にやれていた音声通信ができなくなったり。

そうしたバグを一つずつつぶしていく作業は、非常に大変でした。開発終盤は、つくったものが丸の内の通信環境下で問題なく動くのか、事前にセットしたコンテンツがちゃんと想定された位置に表示されているのか。実際のロケーションでの動作を確認するために、毎週のように丸の内に行き、検証していました」

機能改善は直前まで続きましたが、その甲斐あってテーマである「臨場感の生成」についても一定の手応えが得られたといいます。TMIPとしては、エリアや実施期間の点で、最大規模の事例の一つになりました。

改めて、今回の実証実験がスムーズに運び、大きな成果を得られた要因は何だったのでしょうか?

TMIP事務局のメンバーとして今回のプロジェクトを担当した檀野さんは、「長年の取り組みによって構築された2社の関係性と、丸の内という特異なエリアのコラボレーションが、今回の成果につながった」と語ります。

檀野「大企業とスタートアップが協業しようと思った場合、ともすると上下関係や受発注関係のような関係性に陥ってしまうことも多いのですが、MESONと博報堂DYホールディングスはフラットで理想的な関係を構築できています。イノベーションを創出するためには、ビジョンを共有しながら両者が一体となってものをつくっていく姿勢が必要不可欠なのだと、今回強く実感しました。

また、こうしたR&Dの取り組みは、社内に閉じてしまい、社会やユーザーから遠くなってしまうこともしばしば。しかし、将来的な社会実装を目指す上では、研究開発の段階から実社会からのフィードバックを受けながら進めていくことが重要です。今回の実証実験で、TIMPとしてそのような機会を提供することができたのは、非常によかったと思います」

TMIP事務局(デロイト トーマツ コンサルティング) 檀野正博

たしかに、公共空間や複数のビル・店舗に協力を要請し、屋内と屋外の区別なくエリア全体での実証実験ができる点は、やはりこのエリアに豊富なアセットを持つ三菱地所・プラットフォームとしてのTMIPならではの強みだったと言えるでしょう。

小野田「商業施設単体など、ある程度限られたエリアにおける実証実験は、他でも比較的やりやすいと思うのですが、仲通りのような公共空間も含めて、ここまで広いエリアを対象に実験できるロケーションは、そう多くはないと思います。

説明のプロセスで苦労はあったものの、ビルや仲通りのMarunouchi Street Parkとスピーディに調整を図れた点は、三菱地所とTMIPの強みを最も発揮できた部分でした」

また、今回TMIPと協働したからこそ得られた成果として、目黒さんと竹内さんは「さまざまなビジネスセクターを巻き込んだプロジェクトの経験」を挙げます。

目黒「今回の実証実験では、TMIPの方はもちろん、NPO法人大丸有エリアマネジメント協会をはじめとする、丸の内に関わっていらっしゃるさまざまなビジネスセクターの方を巻き込む形で実施できました。これはTMIPの枠組みを活用しなければ決して実現できなかったことであり、私たちにとって大きな飛躍になりました。

実験参加者もTMIP会員企業の中で募っていただき、これまでの実験より幅広い層の方に参加いただけました。丸の内という場所だけではなく、TMIPの持っているネットワークやアセットをフルに活用できたと思います」

竹内「リアルのロケーションイベントと連携する形の実証実験は今回が初めてであり、たとえば屋外から屋内のエリアに入っていくような体験など、本当に多くの新しい試みを盛り込めました。また、三菱地所さまと三菱電機さまにご協力いただき、ローカル5G通信の活用といったテーマも検証できました。

やりたいと思っていたことをすべて満たし、これまでのプロジェクトGIBSONの集大成となるような実験ができたんです。これは間違いなく、TMIPの皆さまに多くのご調整をいただいたおかげだと思っています」

今回得られた学びを活かし、社会実装に向けて今後も研究開発を進めていくという「GIBSON」。いますぐの実用化を目指すわけではないものの、今後も丸の内というロケーションを活かし、個別のユースケースに関する実証実験を進めていくそうです。

「今年はより多くの人に体験していただく機会を提供できそう」と目黒さん。GIBSONの次回の実証実験にも、ぜひご期待ください。