OpenAI がリリースした AI Text Classifier：書いたのは ChatGPT なのか？ 人間なのか？

OpenAI releases tool to detect AI-written text

2023/01/31 BleepingComputer — OpenAI が新たに公開したのは、ChatGPT のような人工知能ツールが生成したコンテンツを検出するための、AI Text Classifier である。OpenAI のブログポストには、「この AI Text Classifier は、テキストの各パートが、ChatGPT のような AI により生成された可能性を予測する、微調整された GPT モデル」と記されている。

読書感想文や小論文の執筆、さらにはプログラミング課題の仕上げといった、学生の宿題をこなす人気の ChatGPT が、多数の大学や学区で禁止したことを受け、OpenAI が公開したのが、このツールとなる。

Business Insider によると、ChatGPT はニューヨーク／シアトル／ロサンゼルス／ボルチモアの K-12 公立学区で禁止されており、フランスとインドの大学のコンピューターでも、このプラットフォームは禁止されている。

BleepingComputer は、OpenAI の新しい AI Text Classifier をテストしたが、かなり曖昧なことが分かった。

OpenAI の AI Text Classifier で、私たちコンテンツをテストしたことろ、書いたのは人間であると正しく判断された。 

しかし、ChatGPT や You.com などの AI チャットボットが生成したコンテンツを分析したケースでは、書いたのは AI なのか人間なのかという判定は、かなり困難だった。

教育関係者に対して OpenAI が警告しているのは、「宿題におけるカンニングをチェックするために、この新しい AI Text Classifier が使用されるかもしれないが、不正を判断するための唯一の証拠として使用してはいけない。私たちの AI Text Classifier は完全に信頼できるものではない」というものだ。

OpenAI は、「英語のテキストのチャレンジセットを用いた評価で、我々の AI Text Classifier は、AI で書かれたテキストの 26％ (真陽性) に対して、AI で書かれた可能性が高いと正しく識別する一方で、人間が書いたテキストに対して、AI で書かれたものと誤ってラベル付けすることが 9％ (偽陽性) あった。我々の AI Text Classifier の信頼性は、入力テキストの長さが長くなるにつれて向上する」と述べている。

AI Text Classifier の精度は、時間が経過し、さらなるデータで訓練されるにつれて向上すると思われる。しかし、今のところ、AI が生成したコンテンツを検出するための、信頼できるツールにはなり得ない。

いろんなところで注目を浴びている ChatGPT ですが、どちらかというと悪用の方が、話題になっているようです。そこで OpenAI としても、なんらかの対応が必要になったようであり、この AI Text Classifier が登場したのだと思います。ただ、AI Text Classifier による識別が上手くいくなら、その分だけ ChatGPT の性能を否定することになるので、なかなか悩ましいところですね。よろしければ、以下の記事も、ご参照ください。

2023/01/28：ChatGPT でセキュリティを強化
2023/01/25：ChatGPT がもたらす Prompt エンジニアリング
2023/01/24：ChatGPT 問題： AI を騙して悪用するのは簡単だ
2023/01/18：マルウェア開発：継続的な変異により検出が困難になる
2023/01/13：人工知能の倫理をバイパスするロシアのハッカーたち
2023/01/06：フィッシング／BEC／マルウェア開発に利用できる？