AIチェッカーの仕組み — 何を見てAI率を出しているのか

軸1：予測しやすさ（パープレキシティ）

言語モデルは、ある文脈の次に来る語を確率で予測します。AIが生成した文章は、モデル自身が「最も確率の高い語」を選び続けた結果なので、別のモデルから見ても予測しやすい並びになります。この予測しやすさの指標がパープレキシティで、低いほどAIらしいと判定されます。

人が書いた文章は、固有名詞、言い回しの癖、話題の飛躍などで予測しにくい語が混ざり、パープレキシティが高くなります。ただし、挨拶文や定型の報告書のように誰が書いても同じになる文章は、人が書いても予測しやすく、ここで誤判定の種が生まれます。

軸2：文のばらつき（バースティネス）

もうひとつの軸は、文の長さと複雑さのばらつきです。人は短い文の次に長い文を置いたり、急に体言止めを使ったりしますが、AIは均一な長さと構造の文を並べる傾向があります。このばらつきをバースティネスと呼び、低いほどAIらしいと判定されます。

現在の検出器は、この2軸に加えて、特定の語の出現パターンや文末表現の分布など数十〜数百の特徴を学習したモデルで総合判定します。当サイトの判定エンジンも、日本語のESとレポートを中心に学習した分類モデルで、文単位のスコアを文書全体の文脈で補正して出しています。

日本語で誤判定が起きやすい理由

英語で設計された検出器を日本語に当てると、です・ます調の均質な文末と敬語の定型が「予測しやすい並び」として評価され、人が書いた文章でも高く出ます。「貴社」「〜させていただきます」「〜と考えております」が繰り返されるESは、その典型です。

さらに日本語は、文の区切りが英語ほど明確ではなく、読点で長くつながる文が多いため、文の長さの計測自体がぶれます。検出器によって文の分け方が違えば、同じ文章でも数値が変わるのはこのためです。

対策は、日本語の文章だけで学習したモデルを使うか、少なくとも日本語の定型文を「人が書いたもの」として学習データに含めているツールを選ぶことです。当サイトが就活ESとレポートに絞っているのも、この誤判定を減らすためです。

精度の限界：公表されている数字

検出の不確実性は、開発元自身が認めています。OpenAIは2023年7月、自社のAI文章検出ツールを「精度が低い」として公開停止しました。教育機関向けに広く使われるTurnitinも、文書単位で1%未満、文単位では約4%の誤検出率があると公表しています。

つまり、100本のレポートを判定すれば、人が書いたものが1本前後はAI扱いされる計算です。この前提があるため、海外の大学の多くは検出結果を「対話の出発点」として扱い、それだけで処分を決めない運用を取っています。

仕組みから導かれる正しい読み方

全体のAI率より、文単位でどこが高いかを見てください。高い文は、予測しやすい並びか、長さが均一な区間です。そこに自分の体験、固有名詞、数字を足して文の形をばらすと、数値は下がり、文章も具体的になります。

逆に、AIが書いた文章を同義語の置き換えだけで通そうとしても、文の構造とばらつきは変わらないため、仕組み上ほとんど効果がありません。AI率は、文章の中身を自分のものにしたかどうかを映す鏡として使うのが、最も実用的です。

• 400字未満では統計が安定せず、一文の影響で数値が大きく動きます。
• 引用や法律文のように予測しやすい部分は、切り分けて判定すると自分の文章の評価が正確になります。
• 複数のツールで結果が割れたら、日本語の学習データが多いツールの表示を優先してください。