AIが壊す言語の壁 「動画の翻訳」は配信者や映画業界の新たな“武器”となるか
VRアーティストのせきぐちあいみ氏がX（旧：Twitter）に投稿した動画が話題だ。動画の中でせきぐち氏は非常に流ちょうな英語を話しているが、これはAIによって編集されたものだといい、元となった動画ではせきぐち氏は日本語で話している。口元の動きやせきぐち氏の声も自然に再現されており、AIによる生成物だとは思えないクオリティだ。
AIによって英語で喋る私…!
I'm speaking English with the help of AI!なーんか口元に違和感あるなと思ったら、これ音声だけじゃ無くリップシンクするよう口の動きも合わせてくれるんですね😳
違和感といっても多分本人だからわかるレベルですね…!!@from2001vr @HeyGen_Official… pic.twitter.com/SO0ECYPuiB— Aimi Sekiguchi🌐ايمي (@sekiguchiaimi) September 13, 2023
以前より何度か取り上げているが、こうしたAIによる“声”の精製技術はその精度を日々向上しており、心ない人々による悪用の事例も増えている。しかし今回紹介する事例はAI音声の活用について新たな可能性を感じさせるポジティブな利用例だといえる。当たり前だが技術自体に罪はなく、それを良い行いに使うのか悪い行いに使うのかは人間に委ねられており、良いニュースも悪いニュースもコインの表裏だ。
AIによる"ニセモノの声"が氾濫 日本やハリウッドの俳優たちが表明する危機感
TVアニメ『名探偵コナン』の主人公、江戸川コナン風の声で人気曲を歌う動画が注目を集めている。動画のタイトルには「AIに歌わせてみ…
「AI翻訳動画」の制作に使われたのは「HeyGen」というWEBサービスが提供する「Video Translate」という機能だ。HeyGenはAIによる動画生成を得意としており、こうした「翻訳動画」を作ることの他にも、人やアバターの静止画をもとにして、写っている人物が自然に話しているような動画を生成したり、特定のトピックに応じた動画用のスクリプト（台本）を生成したりといったことができる。
前述の動画は「日本語から英語への自然な翻訳」「せきぐち氏の声を模した英語音声の付与」「発音に応じた自然な口の動きの再現」を組み合わせた動画であり、こうした作業をAIによって実現していること、そしてそれをとても簡単に利用できることに驚く。ユーザーは動画をHeyGenにドラッグするだけで、対応する言語へと翻訳できる。紹介した「Video Trancelate」は現在有料会員のみが使える機能だが、興味のあるユーザーはぜひ試してみてほしい。
こうした技術はYouTuberやTikTokerといった動画クリエイターたちの可能性を大きく広げる可能性がある。自分がこれまで作ってきた日本語のコンテンツを、小さな労力で世界中に届けられるかもしれないからだ。逆に言えば、これまで字幕で楽しんでいた海外のコンテンツも、これからはもっと手軽に自分の母語で楽しめるようになるかもしれない。
AIに限らず、かつては導入に専門知識や高価なハードウェアを必要とした数々の技術が、昨今は多くの人々に楽しまれている。導入も以前より簡単になり、製品も安価になった。興味のある技術について調べて活用するハードルは以前よりもぐっと下がっており、とくに明確な壁だった「言語の壁」を超えるアプローチが数々生まれている状況には筆者自身、ワクワクしている。今回紹介したサービスは英語のサービスだが、AI翻訳を片手に読めば導入も比較的簡単なはずだ。「HeyGen」にはすでに日本でも活用が盛んに論じられているChatGPT用のプラグインなどもあるようなので、気になったユーザーはぜひ使ってみてはいかがだろうか。
また、こうした技術はプロの映像の世界でも脚光を浴びている。映画の世界でこれを活かそうと考えているのが英国の企業「Flawless」だ。Flawlessでは多言語に吹き替えられた映画にリップシンクを付与できる「TrueSync」というサービスを提供しており、映画のクオリティを下げること無く、様々な言語へと対応させることができるという。
ほかにも撮影した素材を元に、画面に映る俳優のセリフを変更する「AI Reshoot」や、1つのカットをもとに複数の演技を生成する「DeepEditor」など、Flawlessは映画撮影に最適化されたいくつかのAIソリューションを提供している。CEOのスコット・マン氏には映画監督のキャリアもあり、公式WEBサイトでは「私たちは、映画制作者が意図したとおりにストーリーを伝えられるよう、Flawlessを開発しました」と語っている。
スコット・マン氏が監督し、日本でも今年2月に公開された映画『Fall』では、実際にFlawlessの技術が使われており、制作陣のインタビューによれば、撮影時に収録されたセリフをAI技術によってあとから変更することで、レーティングをR指定にすることなく公開できたという。再撮影でレーティングへの対応を行った場合は数百万ドルの費用がかかる可能性もあったといい、これはAIによる新しいアプローチが映画の世界で有効に活用されている事例の1つだと言える。
AI技術によって人を模す試みはすでに様々な世界で実用化されている。今回は映像の世界におけるエキサイティングな事例を取り上げたが、引き続き多様な業界の最新状況を注視しながら面白い事例を伝えていきたい。
