AIは、引用した数字を書き換えることがあるのか。私が作ったAI記事のチェックツール「うらとり」の開発中に、AIが記事の「48.6%」を「49.6%」と引用し直した例を、1件だけ確認しました。どのくらいの頻度で起きるのかは、私には分かりません。この記事では、何が起きたのか、どう見つけて防いだのか、その途中で分かったAIの設定の話（結果の揺れと、出力の途中切れ）を、測った数字つきで書きます。
何が起きたのか。「48.6%」が「49.6%」になった
うらとりの開発中に、実際の記事を判定させたところ、AIが返した引用の中の数字が、記事の本文と1桁ちがっていました。記事には「48.6%」と書いてあり、AIが「ここに問題があります」と示した引用は「49.6%」でした。
うらとりは、貼り付けた記事をAIに渡して、「出典を添えたほうがよい箇所」などを探してもらうツールです。AIには、指摘した箇所を、記事の中から引用して示すように頼んでいます。その引用の数字が、原文と合っていませんでした。
| 項目 | 内容 |
|---|---|
| 記事 | 当サイトのITパスポート試験ガイド |
| 記事に書いてあった数字 | 合格率 48.6%（令和7年度・応募307,266人、受験271,352人、合格132,012人。当サイトの記事に書いた値で、原典は、その記事の中に載せています） |
| AIが返した引用 | 49.6% |
| 確認した日 | 2026年9月11日（うらとりの開発中） |
| 使っていたAI | OpenAI社の gpt-4o-mini |
記事の数字のほうは、正しい値を書いてありました。間違えたのは、AIが引用として返すときです。
これは「AIが数字を間違える」と言い切れる話なのか
言い切れません。私が確認できたのは、うらとりの判定で、gpt-4o-miniが、引用の数字を1件だけ書き換えた、という事実です。
次のことは、分かっていません。
- どのくらいの頻度で起きるのか。私は、頻度を数えていません。
- ほかのAIでも起きるのか。
- AIに記事を書かせるときにも、同じことが起きるのか。今回の例は、「記事から引用してください」と頼んだ場面の話です。
この記事を読んで、「AIは数字をよく間違える」と受け取らないでください。私が言えるのは、「引用を頼んだとき、数字が変わって返ってくることがあった。だから、確かめる仕組みを入れた」ということまでです。
なぜ、引用の書き換えが、チェックツールでは特に問題になるのか
裏取りのためのツールが、原文にない数字を示してしまうと、誤りを直すどころか、新しい誤りを持ち込むことになるからです。
たとえば、ツールが「49.6%という数字に出典がありません」と表示したとします。書き手は、自分の記事の中から「49.6%」を探します。見つかりません。記事には「48.6%」と書いてあるからです。ここで、書き手は混乱します。ツールを信じて、記事の数字を直してしまうかもしれません。
ツールが出す指摘は、書き手が信じて動く材料です。だから、指摘の中の引用が、記事に実在することは、最低限の約束です。
どうやって防いだのか。引用が、本文に実在するかを、文字で照合する
AIが返した引用が、貼り付けた記事の本文に、そのままの文字で存在するかを、プログラムで照合します。存在しなければ、その指摘は、表示にも、点数にも入れません。
仕組みは単純です。
- AIが、指摘と、その根拠になる引用を返します。
- プログラムが、引用の文字列を、記事の本文から探します。
- 見つかれば、その指摘を表示します。
- 見つからなければ、その指摘を捨てます。捨てた件数は、画面に「本文と一致しないAIの引用 ◯件は除外」と表示します。
この照合が対象にしているのは、AIが返す引用だけです。「ここに問題があります」という判断そのものが正しいかどうかは、照合していません。あくまで、「存在しない文字を、存在するかのように見せない」ための仕組みです。
この仕組みで、防げないこと
- 引用は本文にあるのに、AIの判断が間違っている場合。たとえば、すでに出典が書いてある文を、出典なしと指摘してしまう場合です。これは、別の除外のルールを足して、減らしてきました。
- 本文自体の数字が間違っている場合。記事の数字が原典と合っているかは、書き手が原典で確かめるしかありません。
AIの判定は、なぜ、同じ記事でも揺れるのか
AIの答えの「ランダムさ」を決める設定（温度）が、高めに固定されていたからです。私が使っていたサーバーは、温度を、0.85という高い値に固定していました。
温度は、0に近いほど、同じ入力に同じ答えを返しやすくなり、大きいほど、答えが散らばります。判定のように、同じ記事には同じ結果を返してほしい場面では、温度は低いほうが向いています。
2026年9月24日に、同じ質問を6回続けて送り、答えがそろうかを測りました。質問は、「『あ』から始まる日本語の名詞を1つだけ、JSONで返してください」です。
| 設定 | 6回の答え | 同じ答えが出た回数 |
|---|---|---|
| 温度0.85（固定・1回目の測定） | あさ、あさ、あさ、あさ、雨、あか | 最多の答えで4回 |
| 温度0.85（固定・2回目の測定） | あさ、あさ、雨、ある、アサガオ、アメリカ | 最多の答えで2回 |
| 温度0.2（うらとり専用に変更） | あさ、あさ、あさ、あさ、あさ、あさ | 6回すべて |
温度を下げると、6回とも同じ答えになりました。ただし、これは「答えが安定する」ことを示しただけです。答えが正しいかどうかは、別の話です。
実際の記事で、温度を下げると、判定はどう変わったか
実際に書いた記事4本を、旧設定（温度0.85）と新設定（温度0.2）で判定して、比べました。新設定は、各記事を3回ずつ判定しています。
- 新設定で、同じ記事を3回判定したときの指摘の数の差は、どの記事でも最大1件でした。点数の差は、最大5点（指摘1件ぶん）でした。
- 以前、旧設定で、ITパスポートの記事を3回判定したときは、指摘が3件、4件、6件と揺れた記録があります（2026年9月11日・開発記録）。
- わざと問題を入れた短い文章では、新設定の3回とも、同じ結果（30点・指摘10件）でした。旧設定では、指摘は9件でした。
- 旧設定では出なかった指摘（裏取りの指摘）が、新設定で1件出た回が、2本の記事で、合わせて3回ありました。これが誤検出かどうかは、記事ごとには確かめていません。
4本という数は、多くありません。この結果で、精度が上がったと言い切るつもりはありません。同じ記事の結果の揺れが小さくなったことは、数字で確認できました。
出力が途中で切れると、何が起きるのか
AIの返答が、途中で切れて、プログラムが読める形にならなくなります。実際に、途中で切れることを、実験で確かめました。
実験は、「"a001"から"a400"まで、400個の文字列を、JSONの配列で順番に返してください」と頼む方法です。
| 設定 | 結果 |
|---|---|
| 出力の上限800（サーバーの既定） | a266あたりで途中切れ。JSONとして読めない |
| 出力の上限2800（うらとり専用に変更） | 400件すべて返り、JSONとして読めた |
うらとりの画面は、AIに、最大2800トークンの返答を頼んでいました。しかし、サーバーの側が、上限を800に切り詰めていました。判定の結果が長くなると、末尾が切れて、読めなくなります。
以前、うらとりで「AIの出力が崩れて、判定に失敗する」ことがありました。その一部は、この途中切れが原因だった可能性があります。ただ、私は、その失敗を、すべてこの原因と確かめ切れていません。
開発中に見つけた、AIの扱いの落とし穴は、ほかにもあったのか
ありました。数字の引用のほかに、開発の記録から、4つを書きます。どれも、うらとりの判定に、実際に出た問題です。頻度ではなく、「こういうことが起きた」という記録として読んでください。
「最大3件」と頼むと、3件を埋めに来た
判定の指示に「各観点は、最大3件まで」と書いたところ、AIが、3件をノルマのように埋めてきました。実際の記事で、3件、3件、3件と並び、点数は52点になりました。
直し方は、指示のほうを書き換えることでした。「件数のノルマはありません。0件でかまいません」と書きます。件数の上限は、AIには伝えず、プログラム側で切ることにしました。AIに「多くても3件」と言うと、3件を目標にしてしまうためです。
結果は100点なのに、講評だけ「出典が足りない」と言っていた
ある記事で、全観点が「問題なし」、100点と出たのに、全体の講評だけが「出典を添えるべき箇所がありました」と書いていました。
原因は、順番でした。AIの返答には、指摘の一覧と、講評の文章が、一緒に入っています。プログラムは、その返答を受け取ったあとで、誤検出を除外して、指摘を減らします。指摘は0件になったのに、AIの講評は、除外する前の内容のまま、残ってしまったのです。
対策として、最終的な指摘が0件のときは、AIの講評を使わずに、「全ての観点で問題は見当たりませんでした」という決まった文に、差し替えました。ただし、この対策は、0件のときだけです。指摘が1件以上あるときの講評と、個別の指摘の細かい食い違いは、完全には直せていません。
会社名の一部を、機関名と取り違え、存在しない出典を書いた
直し方の欄に、「JAPANの公式発表を添えてください」と書かれたことがありました。「JAPAN」という機関は、存在しません。記事に出てきた会社名の中の英単語を、プログラムが、出典になりそうな機関名として拾い、それをAIに渡していました。AIは、それをそのまま信じて、存在しない出典を、直し方に書いたのです。
これは、AIだけの問題ではなく、私のプログラムの問題でもありました。対策として、機関名として拾う言葉を、「省」「庁」「協会」「機構」「研究所」「センター」「大学」など、出典らしい語尾を持つものだけに、絞りました。英単語だけを、機関名として拾うことは、やめました。
AIが示した出典は、実在するかを、自分で検索して確認してください。
出力が、同じ文字の繰り返しで壊れた
観点を増やしたときに、AIの返答が、途中から、同じ文字列を延々と繰り返して、読めなくなる失敗が、目立つようになりました。単純な入力で、8回のうち4回、失敗しました。
壊れる前の部分（各観点の指摘の一覧）は、正しく書けていることが多かったので、壊れた返答から、その部分だけを取り出す処理を足しました。それでも取り出せなければ、最大2回まで、やり直します。この失敗の一部は、先ほどの、出力の途中切れが原因だった可能性があります。
この4つに共通するのは、AIの答えを、そのまま信じず、プログラムで確かめてから使う、という考え方です。うらとりは、この確かめる部分を、少しずつ足して、育ててきました。
自分のブログで、今日からできる確認は何か
AIに数字を扱わせた記事は、次の順番で、確かめてください。難しい道具は、要りません。
| やること | やり方 |
|---|---|
| 数字を、原典で確かめる | 記事の数字を1つずつ、官公庁や協会などの、元の資料で確認します。要約サイトだけに頼りません |
| AIの引用を、本文で検索する | AIが「この文にこう書いてある」と示した引用を、自分の記事の中で、検索します。見つからない引用は、そのまま信じません |
| 同じ質問を、複数回する | 重要な数字は、AIに2〜3回聞いて、答えがそろうかを見ます。そろわなければ、AIに頼らず原典に戻ります |
| 出典を、本文に書く | 数字の直後に、機関名と資料名、年を書きます。あとから自分で確かめるときの手がかりになります |
うらとりは、この確認の一部を、自動で行うツールです。貼り付けた記事の、出典のない数字、断定の強い表現、法的に気になる表現などを、まとめて探して、直し方も添えます。詳しくは、AIで書いた記事の公開前チェックのページに書きました。
Googleは、AIで書いた記事を、どう扱っているのか
Googleのスパムポリシーは、作成方法（AIかどうか）を問わず、ユーザーにとっての価値を加えない大量生成を、問題にしています。
Googleの「スパムに関するポリシー」には、次のように書いてあります（最終更新日 2026年9月2日、私が2026年9月24日に確認しました）。
大量生成されたコンテンツの不正使用とは、ユーザーをサポートすることではなく、検索ランキングの操作を主な目的として大量のページを生成することを指します。この不正行為は通常、ユーザーにとってほとんどまたはまったく価値がなく、独自性のないコンテンツをその作成方法は問わず、大量に作成することに特化しています。
例として、「生成 AI ツールまたはその他の同様のツールを使用して、ユーザーにとっての価値を付加することなく大量のページを生成すること」が挙げられています。
この定義が見ているのは、AIを使ったかどうかではなく、価値を加えない大量生成かどうかです。ただし、価値を加えずに、大量にAIで作ることは、例として、はっきり挙げられています。数字が間違っていたり、引用が実在しなかったりする記事は、「ユーザーにとっての価値」を損ないます。だから、公開前の確認は、書き手の責任として、外せません。
AIによる概要（検索結果に出るAIの要約）について、Googleは別のページで、次のように書いています（最終更新日 2025年12月31日）。
AI による概要や AI モードにコンテンツが表示されるための追加の要件はなく、別途特別な最適化を行う必要もありません。
基本の検索のやり方（SEO）が、そのまま大切だ、ということです。
このツールで、確かめられないこと
うらとりは、AIによる一次判定です。次のことは、確かめられません。
- 記事の内容が、事実として正しいこと。
- 法律に違反していないこと。法的な表現は、気になる箇所を示すだけで、法的な助言ではありません。
- AIの判定が、いつも同じ結果になること。温度を下げて揺れを小さくしましたが、なくなったわけではありません。
- すべての種類の記事で、同じように働くこと。試した記事の数は、多くありません。
最終的な確認は、書き手が、原典で行ってください。
まとめ：AIの引用は、書き手が本文で確かめる
AIは、引用した数字を、書き換えることがありました。私が確認できたのは、うらとりの判定で、gpt-4o-miniが、記事の48.6%を、49.6%と返した1件です。頻度は分かりません。
そのため、うらとりには、AIが返した引用が、本文に実在するかを、文字で照合する仕組みを入れました。あわせて、結果が揺れる原因だった温度の設定と、出力を途中で切っていた上限を、うらとり専用に直しました。
AIを使って記事を書く人は、AIの答えを信じる前に、数字は原典で、引用は本文で、確かめる。それが、基本になる確認です。
うらとりは、1日3回まで無料で使えます。記事を貼り付けて、判定を試したい方は、うらとりを開いてください。
参考にした資料
- Google 検索セントラル「スパムに関するポリシー」（最終更新日 2026年9月2日）
- Google 検索セントラル「AI 機能とウェブサイト」（最終更新日 2025年12月31日）
- 当サイトのITパスポート試験ガイド（引用の例に使った記事）
- うらとりの開発記録と、2026年9月24日に行った測定（温度と出力の上限）
関連記事：Googleが問題にしているのは、AIで書くことなのか。「価値を加えない大量生成」を原文で読む
（当サイトは個人が運営する情報サイトです。この記事の測定は、私が、うらとりの開発の中で行ったもので、他のAIや他の条件で同じ結果になるとは限りません。）
コメント