鳴海さんの研究にとって本質的なキーワードのひとつが出てきた。

　クロスモーダルという、なにやら難しい言葉である。はたしてどんな意味なのだろう。

東京大学大学院情報理工学研究科で講師を務める鳴海拓志さん。さまざまな賞の受賞歴を誇る第一線のVR研究者だ。
東京大学大学院情報理工学研究科で講師を務める鳴海拓志さん。さまざまな賞の受賞歴を誇る第一線のVR研究者だ。

「モーダルというのは、1つの感覚のことを指しています。以前は、視覚とか聴覚とか、それぞれ独立していると考えられていたんですけど、クロスモーダルというのは、複数の感覚への刺激を同時に出せば、実は単純に足すだけじゃなくて、相乗効果みたいなのが起こるという考え方です。私が学生の頃に出始めていて、自分でもまず視覚と匂いの研究をやりました。匂いって、すごく曖昧で、見た目に引きずられると以前から言われていたので、じゃあ、リンゴの匂いを出しながら例えばブドウの絵を見せたら、『これ、ブドウの匂いですね』というふうになるんじゃないかと考えました。それがうまく行ったので、同じ原理で、味も変化させられるかなというふうに進んで、『Unlimited Corridor』も『Infinite Stairs』も、その流れの中にあります」

　実際に存在しない廊下や階段をあたかも実在するかのように感じさせる魔法は、視覚に加えて、手で触れる感覚（円柱の階段）や足先の感触（床の上の突起）だった。複数の感覚の相互作用の結果、無限回廊を歩き続けたり、天空への階段を登り続ける体験ができるようになった。

　ぼくはそれを異世界ファンタジー的な世界へと広がっていくエンタテインメント性の高いものと受け取ったわけだが、それだけではない射程を持っている。クロスモーダルの研究というのは、鳴海さんの言葉によれば「感覚を作る」研究であり、そもそも人間の感覚ってどういうものなんだろうという根源的な問いにもつながりそうだ。

　考えただけでもくらくらするほど深淵で重厚な研究テーマが眼前に広がっているように思う。

　ただし、鳴海さんの研究テーマは、「クロスモーダル」だけではない。

「クロスモーダルが、感覚を作る研究だとして、もう1つの研究は情動というか、気持ちを作るとか、人の心について扱うようなものです。この2つが、今の私の個人的な関心の中心ですね。それに加えて、研究室としては、デジタルミュージアムと呼んでいるプロジェクトだとか、あとはライフログといって、人の行動を蓄積して未来を予測するプロジェクトをやっています」

　クロスモーダルの研究は、「感覚を作る」もの。それと同時に鳴海さんは、「情動・気持ちを作る」研究も手がけているという。

　それはどういうことなのだろう。

　一例として体験させてもらったのは、2013年に開発した「扇情的な鏡」という仕掛けだ。