AI Text ClassifierでChatGPTで生成した文章を見抜く
2023-12-14
azblob://2023/12/13/eyecatch/2023-12-24-textclassifier-ai-000.png

AI Text ClassifierでChatGPTで生成した文章を見抜く


ずっとイベントのレポートをかいていたのでBlogっぽい内容ではなかった、というか自分自身Blogというものを書く機会がないのでなかなか内容や、語り口をどうするかが、むずかしいなぁと思っています。最近、私はイベントの告知画像などを作成しています(*’▽’)今回はAI技術をつかったサイトで便利なものとネタ系のものを紹介していきたいと思います。

私は卒論の文章がうまくまとまらなくて文章の構成案を出してもらったのでもしかしてChatGPTが全部書いてくれるんじゃない!!??!?!??!?!と思いましたが

結局卒論は引用元や、参考資料をはっきりさせないといけないので、ダメだなと思い自分で書ききりました;つД`)当たり前のことだけど。。。。。

今回はAI Text Classifierを使用して文章生成をしたのがAIだとばれるのか?ばれないのか??精度はどうなのか?調べていきたいと思います。

卒論をChatGPTで書いた人はひやひやしてそうですが、まずAI Text Classifierについて説明していこうと思います。

AI Text Classifierとは


AI Text Classifierは、AIが生成した文章であるかを判定することができるツールとなっています。

ChatGPTの開発元であるOpenAIが提供するツールであり、完全無料で回数制限はありません。

サイトを開くとテキストを入力する箇所が出てきます。ここに文字を入力することによって文章がAIによって生成されたものか判別してもらえます。

評価基準は?


以下の通りの五段階評価となっています。

likelyAIで生成された可能性が高い
possiblyAIで生成された可能性がある
unclear if it is不明
unlikelyAIで生成された可能性が低い
veryunlikelyAIで生成された可能性が非常に低い

実際に使ってみた


OpenAIの公式には

  • 1000文字以上でないと判定できない
  • AI Text Classifierは、主に大人英語でトレーニングされているので英語以外だと判定の精度が落ちる
  • 26%のAIが書いたテキスト(真の陽性)を「おそらくAIが書いた(likely)」と正しく識別し、一方で、人間が書いたテキストを誤ってAIが書いたと9%の確率でラベル付けしています(偽の陽性)

とのこと。


   ∧_∧   / ̄ ̄ ̄ ̄
 ( ´・ω・) < ショボーン
 ( つ旦と)  \____
 と_)_)
 

まず、AIに「猫の起源について教えて」とお願いしてみました。

生成された回答はこんな感じ↓


猫の起源は、およそ1万年前にさかのぼります。猫は、北アフリカと西アジアの地域に生息していたアフリカヤマネコ(学名:Felis silvestris lybica)という野生のネコ科動物から進化しました。この地域は、現在のエジプトやトルコ、イランなどの国々に相当します。猫が人間と共存し始めるのは、農業が発展し始めた新石器時代(約1万年前)にさかのぼります。人々が農業を始めると、穀物や食料が集められ、それに伴いネズミやその他の小動物が集まりました。これが猫を引き寄せ、猫はネズミを捕まえることで人間にとって有益な存在となりました。その結果、人間と猫の共生関係が始まりました。エジプトでは、約4,000年前から猫が家畜化され、家庭で飼われるようになりました。古代エジプトでは、猫は神聖な動物とされ、バスト神という猫の姿をした女神が信仰されていました。その後、猫はフェニキア人やギリシャ人、ローマ人などによってヨーロッパやアジアに広まり、世界中で飼育されるようになりました。現在、猫は世界中で愛されるペットとして、さまざまな品種が存在し、多くの家庭で飼われています。


上の文章はAIが作ってくれたものですので5段階評価では「likely」が出ることでしょう


 しばらく待ちます。

3分待ちましたが変わらず。せっかちなのですぐ生成できないのならもういいよ。

「「「「「「「「「英語にするから」」」」」」」」」

ということで英語に翻訳してとAIにお願いしてみました。

すぐ結果出ました(^^♪でも、100%AIが書いているのに2%しかAIが書いたと認識されていないですね。

AIに日本語で生成させて英語に翻訳しても精度が上がることはないようです。

参考になるという感じですね!

おまけ


人物分析AI|株式会社ユーザーローカル (userlocal.jp)

こちらのサイトは個人的によく使っています。ちょっとした話のネタにもなるし面白い。

例えば文章から感情を認識すると。

こちらは日本語のみに対応しているみたいですね。

面白い結果に

続いて表情認識に自分をかけてみました。

男性★WWWWWWWWWWWWWWWWWW


       *'``・* 。
       |     `*。
      ,。∩      *    もうどうにでもな~れ
     + (´・ω・`) *。+゚
     `*。 ヽ、  つ *゚*
      `・+。*・' ゚⊃ +゚
      ☆   ∪~ 。*゚
       `・+。*・ ゚
 

こんな感じで面白いサイトがいっぱいあるので暇つぶし・小ネタとして使ってみてくださいね♪