視線やポーズで演奏する楽器”ANDCHESTRA”

チーム名(法人名)

日本電気株式会社

メイン SDGsゴール

  サブ SDGsゴール 

NECは、AIの力で"出来ないを出来るに変える"体験を目指し、簡単な動作で、子供から大人まで誰でも演奏が可能なインクルーシブなAI楽器を新たに開発しました。そしてAI楽器を使って演奏する多様なオーケストラ「ANDCHESTRA(アンドケストラ)」に挑戦します。

ANDCHESTRAとは、ORCHESTRA(オーケストラ)の"OR(どちらか)"を"AND(どちらも)"に変え、特別な才能を持つ選ばれた誰か(or)ではなく、誰でも(and)参加できるオーケストラです。
ANDCHESTRAは楽器の演奏経験が無い人、演奏に苦手意識を持つ人でも簡単に演奏できることを目指しています。
人の姿勢を推定するNECのAI技術「姿勢推定技術」と視線を捉えるAI技術「遠隔視線推定技術」の2つのAIを使って「ANDCHESTRA VIOLIN(アンドケストラ ヴァイオリン)」「ANDCHESTRA TRUMPET(アンドケストラ トランペット)」の2つの楽器を開発しました。

"ANDCHESTRA VIOLIN"は、人の姿勢を推定するAI技術"姿勢推定技術"を使用し、あらかじめ定義したポーズをとると、バイオリンの音を鳴らすAI楽器です。姿勢推定技術とは全身を捉えづらい混雑環境下や、離れた場所から撮影した低解像度の映像でも、高精度かつ高速に人の姿勢を推定できる、NEC独自のAI技術です。(1)肩や肘、腰等の関節点を検出して人の身体を特定し、(2)関節点の中点をもとに各人の姿勢を推定する二段階のアプローチにより、低解像度でも安定し、また混雑環境においても、誤検知を抑制して人物の姿勢を高精度に推定することが可能となりました。
従来の(1)(2)のどちらかのアプローチで姿勢を検出する技術では、混雑環境や低解像度の映像分析において人物の検出精度が下がる、重なりあった人同士の関節を誤検出や検出速度が低下するなどの課題がありました。NECはこの2段階アプローチを高速に処理する分析エンジンを開発し、高精度と高速を両立させています。
【お問合せ番号:0019】

お問い合わせ

事務局

info@yumeshimakikou.com