ChatGPTで生成された文章を見抜くことはできる？　Amazon不正レビューや教育現場の課題から考える

　ChatGPTをはじめとした対話型の文章生成AIが普及したことで、「それをどう見分けるか」が課題となっている。

　AmazonのレビューにAI生成と思われる不正レビューが大量投稿されたことが話題になったり、教育現場で課題などにAI生成の回答をそのまま使う不正が横行することが懸念されたりと、対策が求められる状況も出てきた。

　判定ツールを使った見分け方やその精度、教育機関の対応などから、AI生成テキストとのつきあい方について考える。

「AI生成物を判定するツール」で、ある程度の判別は可能

　AIによって生成されたテキストを判定するツールは、すでにいくつか登場している。ChatGPTの開発元であるOpenAIによる「AI Text Classifier」も、そのひとつだ。

　このツールでは、1000字以上のテキストを入力することで、「AIによって生成された可能性が高い」「AIによって生成された可能性がある」「AI によって生成されたかどうか不明」「AIによって生成された可能性は低い」「AIによって生成された可能性は低い」のいずれかのラベルが付けられる。

　試しに、ChatGPTで生成した「ChatGPTのメリットとデメリット」について書いた日本語のテキストの判定を行ってみた。サイトの説明には英語以外の言語だと精度が低くなると記載されていたものの、しっかりと「AIによって生成された可能性が高い」と判定された。

　ただし、最初に生成されたテキストは言い回しにぎこちない箇所があったり、同じ語尾が続いていたりと、AI生成のテキストを見慣れている人であれば、すぐにAI生成だと気づける程度のものだった。

　そこで、生成されたテキストに対してChatGPTに「自然な文体になるように書き直して」と指示をしたものを判定したもので再度判定を行ってみたが、こちらも同様に「AIによって生成された可能性が高い」との結果になった。

　さらに、文章が不自然で固い箇所を部分的に手動で修正したものを使って試してみたが、こちらもAI生成の可能性が高いという正しい判定が下された。

ツールの判定結果を過信するのはNG

　この結果を見て、「AI生成の文章かどうかは、判定ツールを使って見分ければいい」と考える人もいるかもしれないが、過信は禁物だ。ツールの判断が必ずしも正しいとは限らず、人間の書いた文章を「AIによる生成物」と誤判定してしまう可能性もあるためだ。

　AI Text Classifierのリリース時に公開された情報によると、英語のテキストを使った評価では、AIが書いたテキストの26％を、「AIが書いた可能性がある」と正しく識別する一方で、人間が書いたテキストの9％を「AIが書いた」と誤って識別したという。

　公式サイトに掲載された注意事項でも、「主要な判断材料としてではなく、テキストの出所を判断する他の方法を補完するためのもの」として使う必要があると明記されている。

　また、そもそもこのツールでは1000字以下のテキストは判定できないため、レビューのような短いテキストを見分ける目的で使うことはできない。