「本人らしい顔」のCGが難しいこれだけの理由

　早稲田大学先進理工学部の森島繁生教授は、応用物理学の方法を用いて「顔」というテーマにいどむ研究者だ。もちろん研究室自体は、「顔」のことばかり手がけているわけではなく、「画像や音の研究を通じて、人々に感動や幸福をもたらす技術を世に送り出す」ことを目標にして、手広く展開している。その中で、「顔のCG」は、根幹をなすプロジェクトの一つに位置づけられている。

　現在の目標として、超精細な3DCGの女子高生Sayaに匹敵するクオリティの顔のCGを、実在の人物について手軽に自動生成できるようにする技術の開発を掲げている。

　これは、そのまま、本人らしさをどうコピーするかという課題でもあると思うのだが、その「らしさ」にもいろいろな要素があって、一筋縄にはいかない。

　まずは、とっかかりとして顔の経年変化について。

　ぼくらは多少年齡が離れた同一人物の写真を見ても、それが同じ人だと見破ることができる。それは、やはり「本人らしさ」がどこかに保存されているからだろう。

「2011年から2016年頃にかけてやった研究では、任意の年齢の人物の顔の過去や未来の顔を予測するということに挑戦しました。これ、まだ動きはなくて静的な特徴ですけど、いかに個性を維持するかという点にかかわっています。使っている手法は、パッチタイリングといって、既存の数百人分の顔画像を小さい画像の部品に分けてやって、それらをある評価基準に従って並べ替えることで、もともとの画像に近い印象で別の顔をつくる手法です。この場合、例えば本人は20代だけれど、45歳の人のデータだけから本人そっくりの絵をつくれば、それは45歳の本人だよねっていう発想です」

　たしかに20代の人の写真から、順当に20年ほど年齢を重ねたように見える写真が生成されていた。

　もっとも、本当に生成された絵が、本人の45歳の姿に近いかどうかは、これから20年待たないと検証できない。そこで、45歳ではなく、20代のデータベースで、同じことをしてみたところ、ちゃんと現在の本人そっくりな画像になった。とすれば、きっと25年後の予想もよいマッチングだと保証できそうだ。

20代の女性での経年変化シミュレーション。中央が本物の写真で、左が10代のシミュレーション。右が検証のため、あえて同年代のシミュレーションをしてみた例。（提供：森島繁生）

　実は、この研究は科学警察研究所（および大阪大学）との共同研究で、行方不明人の現在の姿を知りたいという動機で行われたものだ。実際に、その用途には大いに役立ちそうだと思われる。

　2015年には、まさにそのテーマ、「古い写真からその人の現在の顔を画像合成する」ことを課題にした国際学会でのコンペがあり、森島さんのチームは、海外の多くの経年変化画像合成アプリと競って1位を獲得した。個人の特徴を抽出するという意味で、その時点でとても優れたものだったということだ。

顔の「本人らしさ」はどこにある？

　では、これらの研究を通じて、その人の「本人らしさ」はどこに出てくるということになったのだろう。

「その人ごとに、特徴になるポイントっていうのがきっとあるんですが、それを人ごとにやっていたら、ルールとしては一般性がなくなってしまいます。だから僕たちがやったのは、特定の人だけじゃなくて一般的に適用できるルールでして、一番の大きな要素は、目と鼻と口、です。これを見てください。ポール・マッカートニーの画像ですが──」

　森島さんは、言葉の通り、ポール・マッカートニーの写真を画面に出して、指差した。

「これ、ポール・マッカートニーの目と鼻と口は変えてなくて、肌の質感だけ、前アメリカ大統領のバラク・オバマのテクスチャーを入れてるんです。皮膚を他人に入れかえても、目と鼻と口だけ維持すれば、個性って結構維持できるんじゃないかなっていう前提がここにあって、さっきのパッチタイリングの時も、そういった特徴を維持するような評価尺度で画像を選んできているんです」

　目と鼻と口の形や位置関係などが一致すれば、その人らしさが維持できるというのは、聞かされれば当たり前かもしれない。ぼくとしては、もっと細かな「個性のキモ」を抽出できる方法があるのかと思っていたのだが、意外にも目・鼻・口でだいたいのカタがつくというのである。

「顔認証」はiPhoneXでも話題になった。

　そこで、思ったのだが、最近、スマホで普及してきた顔認証も、こういった特徴を見ているのだろうか。

「基本的にそうですけど、一応3次元計測をしてるんですよ。画像1枚じゃなくて、レンズを2つ使って立体形状を撮っています。ただ、自分がその端末を使ってる分には、自分は常に通るから問題はないですけど、必ず他人をリジェクトしてくれるかはちょっと疑わしいとこもあって。それこそ、今、静的な特徴しか見てないから、例えば本人そっくりの石膏像を作って色付けすれば、多分通っちゃうと思うんですよね。もっと精度を上げたいなら、例えば、ニヤッとしたときの個性などをどうやって分離するかですね。それができると、双子でも真似できない、本人、その人しか絶対使えないものができると思うんですけど、そこはまた次の課題です。動的な、動きとしての個性をどう識別するのか」

　やはり、静止している局面での「らしさ」と、動きの「らしさ」とは、別の話なのだという。そして、現時点では、静的な「らしさ」はともかく、動的な「らしさ」は抽出するのも難しい。その一方で、2次元と3次元の間の敷居は、意外と低いというのが印象的だった。スマホの顔認証は、すでに3Dなのである！

　こういったことを考えると、SayaレベルのリアルなCGを自動生成するという時、やはり難関は、動きの中での本人らしさをどう抽出するかだと分かる。

　また、それがうまく行けば、その動きを十分に再現できるほど精密で自然な描画を、高速に処理できるCGの技術が必要になってくる。これもまた、実は大きなチャレンジである。

　よりよい顔CGのために、森島さんたちが開発してきたものの中で、実に応用物理学科的な例を、ひとつ教えていただいた。

早稲田大学先進理工学部応用物理学科でCG技術を研究する森島繁生さん。

「顔のCGでは、皮膚の質感というのが大事なんです。従来のゲーム等では、ランバートモデルという単純で高速な計算法が使われていました。でも、それだとちょっと皮膚っぽくなくなってしまうんです。実際の皮膚は、少し赤みが染み出したようなかんじになるんですが、それを出すには、いったん皮膚の内側にまで透過して入った光が、そこで散乱して別のところから出てくる、表面下散乱という現象を計算しなければなりません。忠実に計算するとものすごく時間かかるし、リアルタイムで実行できないので、それをどうやって高速に行うかという手法を開発しました」

　よくゲームなどで表現される3Dのリアルな顔で、形とはしてリアルなのだけれど、なにか冷たい感じがする、まるで樹脂でできた人形のように感じる造作というのがなかっただろうか。原因の一つは陰影の付け方の問題で、森島さんたちは皮膚の下で散乱してからまた表に出てくる光を高速シミュレーションする方法を開発して解決した。

「高速で動かせればゲームエンジンに組み込めるので、ゲーム会社のゲームタイトルにも採用されています。例えば、コーエーさんの『真・三國無双6』という作品では、出てくるキャラすべて、すぐやられちゃうような雑魚キャラまで含めて、ぜんぶ、この方法で顔の陰影を計算しているんです。最後までプレイするとエンドクレジットに僕と当時学生だった久保尋之さん（その後奈良先端大学院大学助教）の名前が出てきます」

　さきほどのパッチタイリングが警察との共同研究で実用化を目指したように、こちらはゲームでの実用を目指した。現実に活かせる応用が前提の「応用物理学」の中の研究室であって、また「人々に感動や幸福をもたらす技術を世に送り出す」というモチベーションを忠実になぞった結果だ。

「うちの学生には、研究成果を机上の空論に終わらせず、実用化までをゴールとするように言っています。論文を投稿して終わりじゃなくて、アプリケーションを実装して特許出願したり、企業への売り込みをして実用化したり、一連のプロセスを経験する学生も多いんです」

　森島さんはさらりと言ったけれど、それが、ぼくがこの研究室で最初に出会った光景、つまり、夕方遅い時間に、粛々とそれぞれの作業に打ち込む学生さんたちの姿と呼応するのだろうと想像できた。これについてはまたあらためて。

　ここで「顔」とは離れるけれど、「ゲームエンジン」の話が出てきたところで、さらに「応用物理学的」な話をしておこう。

「うちの学生だった斉藤隼介くん（現在USC在学）が、UCLAに交換留学にいった時に、少し関わってきた研究なので、僕らの直接の成果とはちょっと違うんですが、『アナと雪の女王』のシーンで使われている雪のモデリングです。雪のモデルを物理シミュレーションでつくって、パラメーター調整することで、サラサラ感とか湿雪みたいな感じもいろいろ表現できます。これを作ってしまうと、もうあとはシミュレーションですから、雪の動きは自動的に決まると。雪のシーンをアニメでつくるというと、本来はいちいち手作業なんですけど、これは計算で求まるので、もうキャラクターを動かしさえすれば、雪の挙動はついてきます」

サラサラの雪も湿った雪も、自動で表現できるとは！

　計算機の中に物理世界を再現した上で、CG化して表現するのは、3Dゲームではごく当たり前のことで、それらを開発するのは、コンテンツのクリエイターではなく、物理学の素養を持ったサイエンティストとエンジニアだ。つまり、大づかみに言って「応用物理学の領分」と呼ぶにふさわしい。

　そして、その「応用物理学」のアプローチの先に、SayaクラスのCGを自動生成するという目論見は以前にも書いた。

　でも、そこに至るまでには、別の達成がさまざまあって、それぞれ、人の顔の「本人らしさ」の抽出やら、肌の質感の表現やらさまざまな方面から「山」を登っている印象だ。

　そして、そんな中で、ひときわ大きな成果をもたらしたのが、「フューチャーキャストシステム」だという。

　これは、2005年に愛知県で開催された愛・地球博の三井・東芝館の映像アトラクションで使われていた映像システムで、森島研が中心になって開発した技術がベースとなっている。博覧会が終了したあとも、長崎のハウステンボスに移設され、2017年まで公開されていたので体験した人も多いはずだ。

「映画を見に来たお客さんが、主人公に自分の姿を重ねるっていうのは、よくやることだと思うんですけど、実際に自分がそこに出て、自分が活躍するシーンを客観的に見れたらおもしろいよねと、ずっと思ってたんですよ。最初のアイデアは、20世紀の最後、1998年ぐらいの研究から始まっていて、2005年の愛・地球博で、一応、実現した後、今も、研究が進んでいます。これは、SayaクラスのCGの自動生成と並ぶ、僕のもうひとつの夢でもあるんです」

　映画の中に、自分自身が登場するという「フューチャーキャストシステム」。これはどんなものなのだろう。

つづく

（このコラムは、ナショナル ジオグラフィック日本版サイトに掲載した記事を再掲載したものです）