リアルタイムARグラフィックシステム『instrack』が誕生 AI技術を用いて生放送・生配信でのAR演出が可能に

 株式会社セップと株式会社Qonceptは、音楽ライブ映像向けのリアルタイムARグラ
フィックシステム『instrack(インストラック)』を開発したことを発表した。

 各種『instrack』は、カメラ映像内のAR演出に利用可能な各種情報(楽器の座標(※1)、人物の関節の座標、推定床面の座標、人物領域のマスク画像)を、AI技術を用いてリアルタイムに検出・解析する(※2)。

 取得したデータを用いることで、各種CGソフトウェア上で様々なAR演出を生放送・生配信で付与することが可能(※3)。画像解析はラップトップPC(MacBook)のみで行うため、既存のシステムにも手軽に導入できる。

※1 プレスリリース時はギターヘッドのみ。他楽器への対応は現在開発中
※2 M2チップ搭載MacBook Air使用時、入力解像度1920×1080px・入力フレームレート30fpsで1Fr以内に処理
※3 出力映像プロトコルは米国NewTek社のNDI®を使用

■演出例

AI技術 ✕ 音楽ライブ映像「instrack(インストラック)」リアルタイムARグラフィックシステム

作曲AIは音楽家の仕事を奪わず、“地位”を向上させるーーagehasprings・玉井健二とPARTY・梶原洋平が語り合う「AIと創作」

音楽とAIについては、近年でさまざまな技術的進歩が起こっている。  とはいえ、それはテクノロジードリブンのものも多く、実用面や…

関連記事