多くの人が一度は憧れる楽器演奏。コロナ禍で在宅時間が増えたこともあり、挑戦する人も増えているという。初心者や体の不自由な人にはハードルが高いが、デジタルの力により障壁を取り除こうとしている。上級者やプロの満足度を高める技術も生まれ、「誰でも楽しめる」時代が近づいている。

姿勢や視線の「推定技術」を使って演奏する
●NEC「ANDCHESTRA(アンドケストラ)」の仕組み
<span class="fontSizeL">姿勢や視線の「推定技術」を使って演奏する</span><br /><span class="fontSizeS">●NEC「ANDCHESTRA(アンドケストラ)」の仕組み</span>
バイオリン(左)とトランペットの2種類が ある。演奏できるとかっこいいが、初心者にはハードルの高い楽器を選んだ
<span class="fontBold">バイオリンはガッツポーズで「ド」、少し腕を下げると「レ」など特定の姿勢をとると音が出せる。センサーで肘などの関節点を検出する「姿勢推定技術」を使う</span>
バイオリンはガッツポーズで「ド」、少し腕を下げると「レ」など特定の姿勢をとると音が出せる。センサーで肘などの関節点を検出する「姿勢推定技術」を使う

 右腕でガッツポーズすると「ド」、腕を少し下げると「レ」の音が出る──。手で触れたり息を吹き込んだりすることなく演奏できるこの「楽器」は、NECが開発した「ANDCHESTRA(アンドケストラ)」。バイオリンとトランペットの2種類あり、同社が培ってきたAI(人工知能)の技術が生かされている。

 バイオリンの演奏を可能にするのが「姿勢推定技術」と呼ぶ技術だ。楽器に取り付けたカメラで読み取った演奏者の画像から、肩や肘、腰などの関節点を検出。人の身体を特定し、演奏者の姿勢を推定する仕組みになっている。

<span class="fontBold">トランペットでは「遠隔視線推定技術」を使う。画面上の「ドレミファソラシド」に視線を合わせると音を奏でられる</span>
トランペットでは「遠隔視線推定技術」を使う。画面上の「ドレミファソラシド」に視線を合わせると音を奏でられる

 ドレミファソラシドの8音それぞれに割り振られたポーズと、演奏者の姿勢が合致すればバイオリンの音色が奏でられる。服装によって関節点が読み取りづらい場合もあるが、姿勢を取ってから0コンマ数秒後には音が鳴る。

 トランペットには「遠隔視線推定技術」が使われる。こちらは演奏者の視線の動きを読み取り、画面上に円状で並んだドレミファソラシドそれぞれに視線が合えば演奏できる。

楽器演奏のハードル下げる

 記者も体験したところ、意外と難しい。意図せず目を見開いたり、変な表情になったりしながら、数分かけて何とかトランペットを演奏できた。2020年3月の完成以降、コロナ禍でなかなかお披露目の機会に恵まれてこなかったが、体験者からは「楽しい」「夢中になれる」と好評。思うように音が出ず熱中する子どもも少なくないそうだ。

 「音楽に挑戦したいけどハードルが高いと感じている人、障害を抱える人らをアシストしたい」。そんな思いからアンドケストラの開発が始まった。金融関連の不正取引監視や健康診断のデータ分析など様々な場面で使われているAI技術群「NEC the WISE」を駆使し、構想から1年ほどで完成させた。

続きを読む 2/3 メロディーに合わせ自動で伴奏

この記事は会員登録で続きをご覧いただけます

残り2926文字 / 全文4054文字

日経ビジネス電子版有料会員になると…

人気コラムなどすべてのコンテンツが読み放題

オリジナル動画が見放題、ウェビナー参加し放題

日経ビジネス最新号、10年分のバックナンバーが読み放題

この記事はシリーズ「テックトレンド」に収容されています。WATCHすると、トップページやマイページで新たな記事の配信が確認できるほか、スマートフォン向けアプリでも記事更新の通知を受け取ることができます。