ソニーセミコンダクタソリューションズ株式会社が提供するスマートフォン向けアプリ「ToF AR Lab」に、スマートフォンのカメラだけでVTuberのようにアバターを動かせる「Humanoid Hand」機能がリリースされた。

　「ToF AR Lab」は、スマートフォンのカメラを使って画面に映し出された現実風景に、バーチャルの視覚情報を重ねて表示できるスマートフォン向けのアプリケーションで、今年6月に同社から一般公開された開発キット「ToF AR」を用いて自社開発された。

　今回の機能アップデートにより、カメラで写した人間の動きのデータが取り込まれ、予め用意された3Dの仮想キャラクター（アバター）の動きに反映される。これにより、アプリケーション対応機種を持っていれば、誰でも簡単にVTuberを体験することができる革新的なツールだ。

　従来のVTuber用のアプリケーションでは、細かい動きの再現が難しいという課題があったが、「ToF AR Lab」では、光を照射しその反射光を検出するまでの時間差を利用して、距離情報を取得できるToFという技術を搭載したカメラなどで取得した被写体の深度（奥行き）情報を利用することで、手や指の細かな動きまでをアバターに反映し、よりスムーズで違和感のない体験を可能にしているという。

　「ToF AR Lab」はVTuberという体験に加え、深度情報を元に周辺環境を画面上で三次元化するメッシュ処理機能を用いて画面上に3Dの仮想空間（メタバース）を作り出す「SandBoxRoom」や、まるで水の中にいるようなバーチャル体験ができる「IceWater」、現実風景における壁や床などを手や足で触れる動作により、バーチャルな蝶を飛ばすことができる「Kirigami」などの機能も体験することができる。

■関連リンク
ダウンロードページ
iOS用（App Store）：https://apps.apple.com/us/app/tof-ar-lab/id1613821588
Android OS用（Google Play）：https://play.google.com/store/apps/details?id=jp.co.sonysemicon.tofar.lab

以下URLにて、2022年10月11日に拡張リリース予定https://play.google.com/store/apps/details?id=jp.co.sonysemicon.tofar.lab

iOS用／Android OS用それぞれの対応機種：https://developer.sony.com/develop/tof-ar/development-guides/docs/ToF_AR_User_Manual_ja.html#_list_of_sdk_compatible_devices