もっとも、現在のXbox OneにはKinectが標準搭載されなくなり、Googleも2017年8月末に深度カメラを使わないAR技術である「ARCore」を発表している。MicrosoftやGoogleは、深度カメラを持て余した格好だ。両社としてはAppleのお手並み拝見と言った心境だろう。

　Googleは深度カメラを汎用的なARに使おうとしたが、Appleはまずは深度カメラを限定的な用途に使用する。そもそもTrueDepthカメラシステムは背面ではなくディスプレイ側に搭載しているので、ユーザーの顔しか撮影のしようが無いのが実情でもある。

AR技術をアニメーション絵文字に使用

　最大の用途は顔認証だが、それ以外のアプリケーションもある。その一つが「Animoji（日本語名称はアニ文字）」だ。TrueDepthカメラシステムでキャプチャしたユーザーの表情を絵文字の表情にリアルタイムに反映させ、アニメーションの絵文字を作成する（写真3）。一種のARである。このほか自撮りの際のライティングも、深度が分かるためより細かく調整されるようになる。

写真3●AR機能を使ったアニ文字
出所：米Apple
[画像のクリックで拡大表示]

　サードパーティのアプリケーションからTrueDepthカメラシステムを利用することも可能だ。新製品発表会では米Snapのフォトメッセージングサービス「Snapchat」のスマホアプリで、そうしたデモを実施した。Snapchatのスマホアプリには元々、ユーザーの顔にCGで化粧したりマスクをつけたりするAR機能が備わっている。深度が分かることで、化粧やマスクの視覚効果がよりリアルになることを示した。

AIユニットでは競合に先行

　スマホのSoCにAI専用ユニットを搭載し、実際にそれを活用するという点では、Appleのニューラルエンジンは競合他社をリードした。

　スマホ用SoCでAppleと激しく争う米Qualcommも、ハイエンドSoCの「Snapdragon 835」を2017年1月に発表した際、同SoCが内蔵するDSP（Digital Signal Processor）である「Hexagon 682 DSP」が、ディープラーニングのアクセラレータとして活用できると主張していた。

　ディープラーニングの処理の実態は、行列のかけ算（乗算）の結果を足し算（加算）する「積和演算」である。DSPは行列の積和演算に特化したプロセッサであり、ディープラーニングの処理に向いているのは確かだ。しかしまだ、DSPのパワーを活かすようなソフトウエアが間に合っていないのが実情だ。

　Googleも現在、「Android」でディープラーニングの処理をDSPで実行できるようにするため「TensorFlow Lite」というソフトウエアを開発しているが、まだ実現していない。ハードウエアとソフトウエアの両方を開発するAppleが、競合に先んじたと言えそうだ。

CPU、GPU、画像処理エンジン、AIユニットを設計したApple

　Appleは以前から、英ARMから命令セットのライセンスだけ受けて、CPUコアのマイクロアーキテクチャは独自に設計していた。それが今回のA11 Bionicからは、CPUだけでなくGPU（Graphics Processing Unit）やISP（Image Signal Processor、画像処理プロセッサ）、ビデオエンコーダーにもApple独自の設計を採用している。

　さらにニューラルネットワークの処理に特化した独自AIユニットも開発したのだから、半導体メーカーとしてのAppleの実力は、かなり高いレベルに到達したと言えそうだ。

　現時点でニューラルエンジンが利用されるのは、TrueDepthカメラシステムが関連する処理だけのもようだが、iPhoneのような販売台数の多いスマホにAI専用回路が搭載されるようになったという事実は大きい。

　機械学習の処理は長らく、スマホではなくクラウドで実行するのが一般的だった。クラウドで実行してきた機械学習のワークロードがスマホというエッジに移行するという大きなトレンドの第一歩になるだろう。