楽器にもDX　AIやIoTで「誰でも演奏者」に

　右腕でガッツポーズすると「ド」、腕を少し下げると「レ」の音が出る──。手で触れたり息を吹き込んだりすることなく演奏できるこの「楽器」は、NECが開発した「ANDCHESTRA（アンドケストラ）」。バイオリンとトランペットの2種類あり、同社が培ってきたAI（人工知能）の技術が生かされている。

　バイオリンの演奏を可能にするのが「姿勢推定技術」と呼ぶ技術だ。楽器に取り付けたカメラで読み取った演奏者の画像から、肩や肘、腰などの関節点を検出。人の身体を特定し、演奏者の姿勢を推定する仕組みになっている。

　ドレミファソラシドの8音それぞれに割り振られたポーズと、演奏者の姿勢が合致すればバイオリンの音色が奏でられる。服装によって関節点が読み取りづらい場合もあるが、姿勢を取ってから0コンマ数秒後には音が鳴る。

　トランペットには「遠隔視線推定技術」が使われる。こちらは演奏者の視線の動きを読み取り、画面上に円状で並んだドレミファソラシドそれぞれに視線が合えば演奏できる。

楽器演奏のハードル下げる

　記者も体験したところ、意外と難しい。意図せず目を見開いたり、変な表情になったりしながら、数分かけて何とかトランペットを演奏できた。2020年3月の完成以降、コロナ禍でなかなかお披露目の機会に恵まれてこなかったが、体験者からは「楽しい」「夢中になれる」と好評。思うように音が出ず熱中する子どもも少なくないそうだ。

　「音楽に挑戦したいけどハードルが高いと感じている人、障害を抱える人らをアシストしたい」。そんな思いからアンドケストラの開発が始まった。金融関連の不正取引監視や健康診断のデータ分析など様々な場面で使われているAI技術群「NEC the WISE」を駆使し、構想から1年ほどで完成させた。