OpenAIの対抗馬となるか？　イスラエルのスタートアップ・AI21 Labsの奮闘

　まるで人間が書いたかのような文章を生成したり、小説の一節を与えて目的の作家風の文章を生成したりと、自然言語処理領域に革命をもたらしたOpenAIの「GPT-3」モデル。OpenAIと言えば、最近では話すだけでプログラムコードを自動生成可能な「OpenAI Codex」のβ版を発表したばかりだ。そんな先進的な自然言語処理モデルである「GPT-3」を凌駕するモデルが話題となっている。

　OpenAIの対抗馬として浮上したのがイスラエルのスタートアップAI21 Labsだ。同社は「GPT-3」モデルよりも大規模な自然言語処理モデル「Jurassic-1 Jumbo」モデルを公開した。

　AI21 Labsは2017年、AI関連の講義を展開する「Udacity」のセバスチアン・スラン氏を顧問に迎えるかたちで、モービルアイCEOを含む起業家やスタンフォード大学のロボット工学者らによって設立された新進気鋭のスタートアップであり、テルアビブに拠点を構える。機械とは人間にとって思考面でのパートナーであると捉える同社はすでに、文脈や意味を理解しながら文章をリライト可能な「Wordtune」を公開しているが、「Jurassic-1 Jumbo」モデルは「Wordtune」に続く自然言語処理系プラットフォームだ。いずれにせよ、人間の読み書きをスムーズにするために開発されたものであることには変わらない。

　「Jurassic-1 Jumbo」モデルと「GPT-3」モデルとでは、訓練用データに基づく学習において必要不可欠な要素であるパラメータ量が異なる。ちなみに、訓練用データセットには英語で記載されたウェブサイト（ウィキペディア、スタック・エクスチェンジ、オープン・サブタイトルズを含む）から収集した合計3000億トークンが含まれ、「Jurassic-1 Jumbo」モデルは1780億個のパラメータを使用。OpenAIの「GPT-3」と比較すると30億個多い計算になる。また、「GPT-3」モデルに登録されている語彙項目が5万個であるのに対し、「Jurassic-1 Jumbo」モデルでは25万個にも及ぶ。

　さらに、「Jurassic-1 Jumbo」モデルは語の多義性を考慮した初の自然言語処理モデルとしても注目が集まっている。例えば「Empire State Building（エンパイア・ステート・ビル）」のような固有表現に関して、本来の意味である「アメリカのニューヨーク州マンハッタン区に聳え立つ超高層ビル」のみならず、その固有表現に包含され得るさまざまな概念的意味に着目。その結果、「Once in a while I like to visit New York City（たまにはニューヨークシティを訪れたい）」という文に対し、「Once in a while」「I」「like to visit」「New York City」といったように、人間と同様に区切りを入れながら認識できるようになっている。一方、「GPT-3」モデルでは「Once」「in」「a」「while」「I」「like」「to」「visit」「New」「York」「City」といった合計11トークンから成る文として表示されていた点を踏まえると、飛躍的な進歩が窺われる。