近年、仕事や趣味など、何をするにしても”AI”が関わってくるようになった。車の運転から医療、YouTubeのオススメ機能など、最早私たちはAIと関わらずに生活することなど不可能である。その分野は芸術にも及び、AIが小説を書いてくれる『AIのべりすと』や絵を描いてくれる『MidjourneyAI』、『Stable Diffusion』といったインターネット上に公開されている技術も複数ある。

　今回はそんな”AI×芸術”というジャンルの中から、”AI×ピアノ”に着目したい。実はピアノと機械に関する研究は新しいものではなく、私たちが考えているよりずっと長く研究がされていたそうだ。”AI×ピアノ”というジャンルで開発されている技術をいくつか紹介したい。

　1つ目に紹介する技術は、海外の大学、ワシントン大学の研究チームが開発した『Audeo』というツールを紹介する。『Audeo』は簡単に説明すると、ピアノを弾いている映像から音楽を再現する技術だ。具体的にはピアノを演奏している映像を鍵盤の上から撮影し、どの鍵盤がどのタイミングで押されているのかを解析するアルゴリズムだという。ピアノを演奏している映像さえ用意すれば良いため、ピアノの演奏音は不要である。そのため「演奏音が無い状態から演奏音を作り出すAI」とも言えるだろう。一度解析した映像からは、ピアノ以外の音にも変えることができるのだそうだ。ギターやバイオリンといった弦楽器やトランペットといった管楽器の音で出力することもできるのだという。

　またYAMAHAによって開発された『Duet with YOO』というピアノがある。この技術は一言でいうと”人間とAIの連弾”を可能にした技術である。人がピアノを弾くと、その演奏に合わせてピアノに搭載されているAIが連弾してくれる、といったものだ。この技術の凄い点は、人の演奏をパターンに当てはめて連弾している訳ではなく、リアルタイムで解析し、連弾しているという点だ。そのため演奏者の癖や意図したニュアンスを汲み取って連弾することができるという。

　皆さんは「耳コピ」をしてみたいと考えたことはあるだろうか。耳コピとは曲を聞いて、その情報からメロディや伴奏を組み立てて楽器で演奏する、という人間が訓練によって習得できる技術である。ピアノ系YouTuberである「ハラミちゃん」などの動画を見てみると、とても簡単そうに見えてしまうが、実際はそう上手くはいかないだろう。耳コピに挑戦されたことのある方ならその難しさに共感してくれるはずだ。

　京大の研究チームは、「耳コピ」の技術を実際に使えるレベルで、AIによる再現を可能にした。常に複数の音が重なり合ったピアノの楽譜の楽譜を耳コピするためには、それぞれの音の高さとリズムの複雑さの組み合わせを認識する必要があり、この能力をコンピューターで再現することは長年の課題であったという。しかし京大の研究チームは、コンピュータの耳コピの精度を格段に上昇させ、精度の高い耳コピを完成させたのだ。次のURL（https://audio2score.github.io/index-ja.html）に実際にそのAIを使って耳コピをした結果が載っているため、是非ご覧いただきたい。筆者自身、想像していたよりも正確な精度で採譜されていることに驚いた。URLの記事にも記載があったが、このAIがどんどん進化し、人間が耳コピをする必要が無くなれば、楽譜を販売している会社などを脅かす存在になるだろう。