ChatGPTは公式検出ツールを削除、AIテキストを識別できないことを認める

出典：「Qubit」（ID：QbitAI）、著者：Mengchen

OpenAI は何の発表もなく、AI テキスト検出ツール を静かに閉じ、ページを直接 404 に閉じました。

これに対する正式な返答はなく、半年前にリリースされたこのツールのブログページに隠された短い説明が誰かによって発見されるまでに数日かかりました。

...AI 検出器は 精度が低いため利用できなくなりました... 私たちはより効率的なテキスト検出技術に取り組んでおり、音声および視覚的な検出技術の開発に取り組んでいます。

多くのネチズンは、CloseAIOpenAIが発表を行わずに製品を強制終了する行為に不満を抱いています。

しかし、AI検知器そのものをオフにすることに賛成する人、特に学生グループは多い。

これが効果があると信じている教師が多すぎて、不当な扱いを受けた多数の生徒が AI でカンニングをし、魔女狩りと化しています。

正解率は推測とほぼ同じ

この公式テストツールの精度はどの程度低いのでしょうか?

OpenAI 自体によって提供されるデータは、AI が生成したテキストの 26% と、人間が書いたテキストの不正な 9% のみを正確に識別できます。

1月に初めて公開されたとき、ネチズンは「推測に近い」と総括した。

また、市販されているさまざまな検出ツールは、聖書や合衆国憲法などの歴史文書がAIによって書かれた可能性があると判断してしまうという実験を行った人もいますが、これらの内容を書けない歴史上の人物はタイムトラベラーですよね？

しかし、さまざまな検出方法を使用して生徒の作業をチェックしようとする教師は依然としてたくさんいます。

最も有名なケースの 1 つは、テキサス A&M 大学の教授が、クラスの半分が遅刻者であると判断するところでした。

最近の傾向は、教師が生徒にオンライン ドキュメントに課題を書き、編集記録を確認するよう求めることですが、賢い生徒はそれを回避する方法を見つけることもできます。

最後に、教育の分野では、膨大な課題やコースレポートは歴史となり、クローズドブック試験や口頭試験が主流になるのではないかと示唆する人もいます。

現在の検出方法は回避できる

ネットユーザーらは、OpenAIが生成ツールと検出ツールを同時に開発するのは矛盾していると指摘した。

一方がうまくいっている場合、もう一方はうまくいっていないため、利益相反が発生する可能性があります。

ただし、サードパーティが開発した検出方法は信頼できません。

「ChatGPT の宿敵」として知られる最も古いものは、プリンストン大学の学部生エドワード ティアンによって開発された GPTZero です。これは、記事が AI によって生成されたかどうかを測定するために、複雑さと文の長さの変化を利用します。

当時、GPTZero プロジェクトは教育者向けに特別に作成されており、教師はテストのためにクラス全員の宿題をそれに投入することができました。

しかし、作者は7月に学生の不正行為を検出する方向性を断念したことを認めており、GPTZeroの次期バージョンではテキストがAIによって生成されたかどうかは検出されなくなり、最も人間らしい部分が強調表示される予定だという。

多くの注目を集めているもう 1 つの検出方法は、メリーランド大学によって開発された 透かし手法です。この手法では、テキスト生成時にマークを隠し、統計的手法を使用してマークを識別するために大規模なモデルが必要です。

しかし、これを回避する方法も非常に簡単で、たとえば、統計的特徴を破壊できる単純な同義語置換ツールを開発した人がいます。

なぜこれを区別しなければならないのかと疑問に思う人もいます。

数字が人間によって計算されるのか、コンピューターによって完成されるのかと同じように、長い間誰も気にしていませんでした。

講演者の原稿が自分で書いたのか秘書が書いたのか誰も気にしないのでしょうか？

AIを題材とした人間行動研究

AI と人間のコンテンツを区別できないことは、悪いことばかりではないようです。

研究を加速するために、人間の被験者の代わりにAIを使用する心理学実験はすでに行われています。

Cell サブジャーナルの記事では、よく設計された実験シナリオでは、ChatGPT の応答が人間の参加者の約 95% の応答と相関していると指摘しました。

また、機械の被験者は疲れないため、科学者は前例のないスピードでデータを収集し、人間の行動に関する理論を検証することができます。

サイエンス本誌に掲載された最近の意見記事の中で、ウォータールー大学の心理学教授イーゴリ・グロスマン氏は次のように考えています。

「AI は社会科学研究にとって大きな変革をもたらす可能性があります。社会科学研究では、慎重なバイアス管理とデータ忠実度が鍵となります。」

### 参考リンク

[1]

[2]

[3]

[4]

[5]

[6]