「ChatGPT」は高精度な文章を出力できる対話型チャットAIで、その精度は人間が書いた文章かChatGPTが書いた文章かを人間が見分けることは困難なレベル。しかし、ChatGPTのようなチャットAIが出力するテキストにはAIならではの特徴があるということで、スタンフォード大学がChatGPTのようなチャットAIの作った文章を検出する「DetectGPT」を開発しています。

DetectGPT
https://ericmitchell.ai/detectgpt/

Stanford introduces DetectGPT to help educators fight back against ChatGPT generated papers - Neowin
https://www.neowin.net/news/stanford-introduces-detectgpt-to-help-educators-fight-back-against-chatgpt-generated-papers/

高精度である一方、意味のない内容をそれっぽく書くという欠点もあるChatGPTへの対応に学問の世界は悩まされており、学術誌ScienceはチャットAIを論文の著者として認めないというポリシー改定を実施しています。

一方、論文内の盗用や剽窃、コピー＆ペーストを検出するサービスを提供しているTurnitinがChatGPTで書かれたテキストを検出するツールの開発を進めていることがわかっています。

ChatGPTで書かれたテキストの検出ツールを盗用・剽窃検出サービスのTurnitinが開発中 - GIGAZINE

スタンフォード大学のエリック・ミッチェル氏らが開発している「DetectGPT」も、Turnitinが開発しているのと同様のチャットAI生成テキスト検出ツールです。

大規模言語モデルからサンプリングしたテキストは、モデルの対数確率関数の負の曲率領域を占める傾向があるため、「DetectGPT」ではこれを活用して、ある文章が特定の大規模言語モデルから作られたかどうかを判断するための新しい曲率ベースの基準を定義します。

個別の分類子のトレーニングや、実際の文章や生成された文章のデータセットの収集、生成されたテキストへの明示的な透かしは必要なく、対象のモデルによって計算された対数確率と、別の事前に学習された言語モデルのパッセージによるランダム摂動のみが使用されるとのこと。

テストでは、他の検出方法よりも優れた識別力を発揮しているとのことで、自然言語処理AIモデル・GPT-NeoX-20Bで生成されたフェイクニュース記事の検出が、ベースラインの0.81AUROCから0.95AUROCに改善したと報告されています。

コードやデータは近日公開予定だとのことです。