最先端のVR研究室で「無限階段」を登ってみた

　目の前には螺旋（らせん）階段があって、天空まで続いている。

　一歩一歩、段を踏みしめながら登っていく。

　無限に続くかのような螺旋の先にあるのは月。

　きっとこの階段は、あそこまでつながっている。

　ぼくがひたすら足を動かし続ければ、いつか届くだろう。

　とはいえ永遠に登り続けるのは、さすがに無理だ。

　足を止めて天を見上げると、巨大な月がぐるぐると回って見えた。

　目眩を感じ、足がぐらつき、ただ立っているだけで精一杯になる。

　あわてて階段を降りて地上に戻ろうとするが、今度は勝手が違う。うまく下れない。

　それでも、何段か下るとコツが分かって、ぼくは再び地上に立つことができた。

　ふっと一息ついて、もう一度、夜空を見る。そこには、軌道塔のような螺旋階段と頭にのしかかる巨大な月。

　この無限に思える階段を登りきる勇者がいずれ現れ、異世界への扉を解き放つ。そして、壮大な物語が始まる。

　そんな未来を予感する……。

　2017年8月末に、東京大学大学院情報理工学研究科の廣瀬・谷川・鳴海研究室を訪ねた時のこと。

　研究室の「3トップ」に名を連ねる鳴海拓志講師の案内で、いわゆるVR（ヴァーチャルリアリティ、人工現実感）の最先端の研究を特別に体験させてもらった。そのうちのひとつが「無限階段（Infinite Stairs）」だった。

月まで届く「無限階段」を体験中。このとき、PCのディスプレイに映っている映像が見えている。

　ぼくは、鳴海さんの名前と研究を、前の年（2016年）、ウェブのニュース記事で読んで知っていた。その時話題になっていたのは、「無限回廊（Unlimited Corridor）」だ。今、巷で流行中のHMD（ヘッドマウントディスプレイ）を頭部に装着するタイプのVRで、狭い空間でもあたかも無限に歩き続けられるように感じさせることができる仕組みだった。実際には直径5メートルほどの円柱型の壁に手を触れながら歩いているのだが、HMDに呈示する画像を工夫することで、意識の上ではまっすぐに感じるようにできるのだという。今のVRコンテンツは、移動の制約から、座って楽しむものが多く、せっかく視覚と聴覚は没入しているのに、体は動かせないのは不自由だ。その点を解決するための仕掛けだとぼくはその時は理解していた。

　今回、体験した「無限階段」は、その延長にある研究だ。

　HMDを着けて、実在しない階段を登っていく。実在しないのに、感覚としては登っており、それこそ体力が続くならば月にまで行けそうだった。

　一方、HMDを外してみると、目の前にあるのは、床の上に放射状につけられた突起だけだ。ここをぐるぐる歩いていたわけで、まったく上昇していたわけではない。それなのに、ぼくは、一歩一歩、踏みしめて登っていると感じていた。

　HMDのヘッドセットを通じての映像や音響とはまったく違う仕掛けで、「登る」という運動の感覚が、まぎれもない本物として頭の中にくっきりと立ち現れた。

　鳴海さんが簡単に仕掛けを紹介してくれた。

「階段のエッジにあたるところだけ、ちょっと突起をつけておくと、それを踏んだときに本当に階段があるように感じて、上昇したり下降したりする感覚を作ることができるんです。人間の感覚って、圧倒的に視覚・聴覚優位だとされていますけど、感覚間の相互作用を利用してこういったことができます。クロスモーダル、といいます。今のところ、登るほうはうまくいっていますが、下る方は人によっては下っているように感じられない人もいるので、それを解決しようとしています」

　鳴海さんの研究にとって本質的なキーワードのひとつが出てきた。

　クロスモーダルという、なにやら難しい言葉である。はたしてどんな意味なのだろう。

東京大学大学院情報理工学研究科で講師を務める鳴海拓志さん。さまざまな賞の受賞歴を誇る第一線のVR研究者だ。

「モーダルというのは、1つの感覚のことを指しています。以前は、視覚とか聴覚とか、それぞれ独立していると考えられていたんですけど、クロスモーダルというのは、複数の感覚への刺激を同時に出せば、実は単純に足すだけじゃなくて、相乗効果みたいなのが起こるという考え方です。私が学生の頃に出始めていて、自分でもまず視覚と匂いの研究をやりました。匂いって、すごく曖昧で、見た目に引きずられると以前から言われていたので、じゃあ、リンゴの匂いを出しながら例えばブドウの絵を見せたら、『これ、ブドウの匂いですね』というふうになるんじゃないかと考えました。それがうまく行ったので、同じ原理で、味も変化させられるかなというふうに進んで、『Unlimited Corridor』も『Infinite Stairs』も、その流れの中にあります」

　実際に存在しない廊下や階段をあたかも実在するかのように感じさせる魔法は、視覚に加えて、手で触れる感覚（円柱の階段）や足先の感触（床の上の突起）だった。複数の感覚の相互作用の結果、無限回廊を歩き続けたり、天空への階段を登り続ける体験ができるようになった。

　ぼくはそれを異世界ファンタジー的な世界へと広がっていくエンタテインメント性の高いものと受け取ったわけだが、それだけではない射程を持っている。クロスモーダルの研究というのは、鳴海さんの言葉によれば「感覚を作る」研究であり、そもそも人間の感覚ってどういうものなんだろうという根源的な問いにもつながりそうだ。

　考えただけでもくらくらするほど深淵で重厚な研究テーマが眼前に広がっているように思う。

　ただし、鳴海さんの研究テーマは、「クロスモーダル」だけではない。

「クロスモーダルが、感覚を作る研究だとして、もう1つの研究は情動というか、気持ちを作るとか、人の心について扱うようなものです。この2つが、今の私の個人的な関心の中心ですね。それに加えて、研究室としては、デジタルミュージアムと呼んでいるプロジェクトだとか、あとはライフログといって、人の行動を蓄積して未来を予測するプロジェクトをやっています」

　クロスモーダルの研究は、「感覚を作る」もの。それと同時に鳴海さんは、「情動・気持ちを作る」研究も手がけているという。

　それはどういうことなのだろう。

　一例として体験させてもらったのは、2013年に開発した「扇情的な鏡」という仕掛けだ。

　見た目は小ぶりの三面鏡だが、中央の鏡は実はモニタだ。カメラに映った自分の顔を、左右反転した鏡像にして呈示してくれる。だから、鏡を覗いているのと感覚的には変わらない。

　ただし、ちょっとだけ細工がほどこされている。自分で操作できるスライダーがあって、それを左右に動かすと映し出される表情が変わる。例えば、左にスライドさせると、口角があがり、頬もあがる。つまり、鏡に映る自分が笑っている状態になる。

「扇情的な鏡」を体験中。中央はモニタの映像で、少し細工がほどこされている。左の普通の鏡と比べると細工の様子がわかる。

　決して、大きな変化ではないのだが、それでも、笑っている自分を見ると本当に自分が笑っているような気分になって、愉快になってくる。心がリフトアップされるかんじ。

　逆に、スライダーを右に動かすと眉がちょっと動いて悲しげな表情になる。それだけで、ちょっと頭の中も曇ってくる。

「映っている自分の表情が変わると感情が変わってしまう。笑顔の自分を見るとどんどん楽しくなってしまうし、悲しい顔を見るとどんどん悲しくなってしまうんです。こういうのを身体化情動といいます。これまで、心拍を聞かせるとドキドキするですとか、緊張感やドキドキする感覚を作るっていう研究はあったんですけど、それって、おばけ屋敷で怖いときにも、好きな人といて楽しいときにも、鼓動は速くなりますよね？　だから心拍を速く感じさせるだけではどの感情が起こるかは決まらないんです。それに対して、表情という身体反応は、特定の感情と強く結びついています。だから表情をうまく使ってあげると、狙ったとおりの感情を作ることができる。それも、楽しいとか悲しいとか、基本的な感情を狙って作ることができると分かったのは、結構大きいと思ってます」

「楽しい」「悲しい」という感情を「作る」ことができたとして、それはどんなふうに実験で測定できるのだろうか。ふと疑問に思って、その点を伺った。

「一番ベーシックな実験では、モニタにカメラで取得した今の自分の顔が映っている状態で、その周りに次々に現れる丸いターゲットをクリックしていくタスクを出しました。21人の実験協力者に、モニタの自分の表情が常に少し笑顔になるとき、少し悲しい顔になるとき、そのままのとき、3回ずつこのタスクをやってもらいます。タスクの直後に感情の状態を測るためのアンケートに回答してもらうと、笑顔に見えていたときにはタスクが終わったあとにポジティブになっていて、悲しい顔に見えていたときにはネガティブになっているということがわかりました。それで、表情に応じて狙った感情状態を誘発することができていたと結論付けたんです」

　丸いターゲットをクリックするのは、ある意味「ダミー」のタスクで、その時、一緒に見えている自分の表情がどう影響するかを測定している。その際に使った、感情を測るアンケートというのは、日本語版PANAS（Positive and Negative Affect Schedule）といって、心理学の世界ではよく使われている気分尺度だそうだ。

　さて、「感覚を作る」クロスモーダルの研究と、「情動・感情を作る」身体化情動の研究は、いずれも刺激的だ。少々、違った方向性ではあるが、いずれも心の奥深くにかかわる部分があって、「人間ってこういうものなのか！」という発見がある。と同時に、様々な実用も想定できる。

　鳴海さんに、じっくり伺っていこう。

VR研究の最前線で、鳴海さんは何を目指し、どんな研究をしているのか。じっくり伺っていこう。

つづく

（このコラムは、ナショナル ジオグラフィック日本版サイトに掲載した記事を再掲載したものです）