NTTコンピュータ＆データサイエンス研究所は16日、音声音響処理・画像映像処理・自然言語処理を人間のように統合的に扱うAI「MediaGnosis」を用いたマルチモーダルWebアプリケーションを公式サイトで公開した。
NTTのAI「MediaGnosis」では、音声音響、画像映像、自然言語処理などを統合的に扱える。各入力モーダルと出力対象(数値・ベクトル・ラベル・テキスト等)の両者にそれぞれ機能間で同様の役割を担う情報処理機構を設置。少ないデータ量で「学習」し、各機能を同時に駆動する「推論」を可能にするなど複数器官からの情報を一度に処理する"人"のような情報処理を行う。公開されたマルチモーダルWebアプリケーションは、ブラウザ(PC版 Google Chrome最新版)でアクセスしWebカメラとマイクを用いて試せるもので表情や声から年齢や性別、感情、テキストなど複数の推論を出力する。なお1回の使用は最大3分、カメラ・マイクで取得したデータは即時破棄される。
関連記事
