【無料AI比較⑦】AIは数字を正確に写せる?328マスの統計表で試したら、間違い方に共通点があった

AI比較してみた

このシリーズについて(30秒で)

本業+副業で毎日AIを使う私が、「〜の場面なら、どの無料AIがいい?」を、実際に同じものを投げて正直に比べるシリーズです。今回は「数字の書き写し」。会社の資料でたくさん書き写す作業ありますよね?面倒でAIに書き写してもらいたいと思いませんか。そこで今回は、1文字も間違えられない作業を、4つのAIに頼みました。

結論を先に言うと、4つとも正直、強かったです。だから、差が出るまで問題を難しくしていきました

【今回の前提・注意】※先に読んでください

・すべて無料版のデフォルト設定で、2026年8月に一度試した結果です。答えは毎回ゆらぎます。
・私はいくつかのAIに課金しているため、無料版の検証はすべて、課金していない別アカウントに切り替えて行っています。
・題材に企業の決算書を使いますが、この記事は投資の判断を目的としたものではありません
・このブログはClaudeを使って書いています。そして今回、Claudeも間違えました。そのまま書きます。

今回やったこと:3段階でレベルを上げました

簡単なところから始めて、差が出るまで上げていきました。レベル1,2では、会社の資料と同程度の数字が記載されている決算書を、レベル3では、更に難易度を上げた統計表を使用して検証しました。

  • レベル1 … 決算書に4つ質問する
  • レベル2 … 決算書の数字を全部書き写す(約60マス)
  • レベル3 … 統計表の数字を全部書き写す(328マス

レベル1:決算書に4つ質問(結果:全員正解)

使ったのは、2026年6月期 決算短信(メルカリ)の1ページ目です。公開されている資料なので、あとから答え合わせができます。

※メルカリは以前、メルカリの記事を書いたという単純な理由で選びました。

聞いたのはこの4つです。

1. 売上収益・営業利益・当期利益の金額と、前期増減率を書き写して
2. 経常利益はいくらですか
3. 税引前利益はいくらですか
4. マイナス(△)が付いている項目をすべて挙げて

2番が仕掛けです。 この資料には「経常利益」という項目が、そもそもありません(会計のルールが違うためです)。つまり正解は「ありません」。もし数字を答えたら、それは作り話です。

結果(レベル1)

4つとも全問正解経常利益についても、全部が正しく「ない」と答えました
ぽんた
ぽんた

ないものを「ない」って言えるの、地味にすごいことだよね🦝

レベル2:決算書の数字を全部書き写す(約60マス)

質問では差が出なかったので、量を増やしました。同じ1ページを渡して、

「載っている数字を1つ残らず書き写して」

と頼みます。

結果(レベル2)

ここで1つだけ間違いが出ました。

本来の記入

Copilotの回答

  • 正解 … 2025年6月期の当期利益は 26,178
  • Copilot … 26,114

この26,114という数字は、隣の列にある「親会社の所有者に帰属する当期利益」の値でした。隣から持ってきてしまったわけです。

下2桁が違うだけで、%の欄は正しく写せています。桁も違いません。だから見ても気づけません

Copilotだけ、隣の列の値を間違えて記入し、Copilot以外の残りのAI達は、すべて間違いなく書き写すことができました。

レベル3:統計表を全部書き写す(328マス)

ここからが本番です。難易度をさらに上げるために、使用したのは総務省統計局の消費者物価指数、「第4表 財・サービス分類指数(全国)」。41行×8列=328マスあります。

この表には、仕掛けが4つあります。

  • 同じ名前の項目が2回出てくる(「外食」「家事関連サービス」「医療・福祉関連サービス」「教育関連サービス」)
  • 8列すべて同じ数字の行が2つ並んでいる(「他の農水畜産物」と「米類」)
  • 「総合」の行に空欄が3つある
  • ウエイトの欄が「-」の行が4つある

特に「外食」は、公共サービスの中(ウエイト25・指数21.4)一般サービスの中(ウエイト434・指数123.6)で、まったく別物です。取り違えたら、意味が正反対になります。

先ほど同様、スクリーンショットでページを渡して、

この表の数字を、1つ残らず書き写してください。
・表や形のまま、省略せずに
・「ー」や空欄も、そのまま写してください

と頼みました。

結果(レベル3)

ChatGPT328マス、全問正解
Gemini328マス、全問正解
Claude1か所間違い
Copilot … 数字は全部正解。ただし別の取り違えが2つ

Claudeの間違い
「他のサービス」の行で、2026年6月の前年同月比を 1.2 → 1.6 と書きました。この数字のすぐ隣に「0.16」があります。

Copilotの取り違え①:空欄を「-」で埋めた
「総合」の行の空欄3か所を、「-」で埋めました。この表では「-」(該当なし)と「空欄」は別のものなので、区別がつかなくなりました。

おもしろいのは、質問には「3欄が空欄です」と正しく答えていることです。分かっているのに、表では区別しなかったわけですね。

Copilotの取り違え②:項目名を間違えた
「生鮮商品」を 「生鮮食品」 と書きました。すぐ上に「生鮮食品を除く財」という項目があります

発見①:間違い方が、全部「そっくりさん」でした

これが今回いちばんの収穫です。3つの間違いを並べると、全部同じ形をしていました。

  • Copilot(レベル2)… 隣の列の、よく似た数字と入れ替わった
  • Claude(レベル3)… すぐ隣にあった「0.16」と混ざったように見える
  • Copilot(レベル3)… すぐ上にあった「生鮮食品を除く財」に引っぱられたように見える

桁が1つ多いとか、まったく無関係な数字が出てくるといった間違いは、1つもありませんでした

つまり——

  • AIの間違いは、そばにある「そっくりさん」と入れ替わる形で起きる

だからそれらしく見えます。だから見ても気づきにくい

ぽんた
ぽんた

桁が違えばすぐ分かるのにね。そっくりだから見逃しちゃう🦝

発見②:数字が全部合っていても、安心はできません

Copilotは328マスの数字を1つも間違えませんでした。それなのに項目名を取り違えています

つまり「数字を照合したから大丈夫」では足りない場合があるということです。行の名前も一緒に確かめる必要がありそうです。

発見③:「空欄」と「-」は、別のものです

この表では、

  • 「-」 … 該当するものがない
  • 空欄 … その欄には数字を入れない

という別々の意味でした。Copilotはこれをどちらも「-」にしてしまいました。元の資料を見ないと、どっちだったのか分かりません。

結論:普通の使い方なら、ある程度任せて大丈夫そうです

3段階やってみて、こう感じました。

  • 60マスくらいまでほぼ完璧。4つのうち3つは無傷でした
  • 300マスを超えると … AIによっては混ざり始めます

普段の仕事で、300マスの表を一度に写させる場面は、あまり多くないのではないでしょうか。だとすれば心配しすぎなくていいと思います。

そのうえで、今回いちばん無傷だったのはChatGPTとGeminiでした。ただし1回の結果なので、次も同じとは限りません

コツはこれだけ、ひと言足すだけです

今回の間違いは、全部「量が増えたとき」に起きました。だったら、量を減らせばいいだけです

表全体ではなく、必要な行だけ抜き出してください。

欲しい数字が3行なら、3行だけ頼む。それだけで、そっくりさんと入れ替わる場所が減ります。

ぽんた
ぽんた

全部やらせないのがコツ。欲張らないほうが正確だよ🦝

おまけ:読み込ませ方でも、結果は変わる可能性はある

実は私、以前に同じようなことをして、AIに数字を間違えられたことがあります。そのときはスマホの画面を撮って読ませていました。今回はパソコンでスクリーンショットをしています。

検証していないので断言はできませんが、次のような撮り方をすると、精度が下がる可能性があるようです。精度が求められる場合は、下記にも注意したほうがいいかもしれません。

・横長の表を、縦長のスマホ画面に無理やり収める … 全体を入れようとすると文字が小さくなり、精度が下がる可能性あり。
スクロールしながら何枚かに分けて撮る … つなぎ目で行がズレたり、重なったりすることがあるため、精度が下がる可能性あり。
上下の固定バーや広告が重なった状態で撮る … 表の一部が隠れるため、精度が下がる可能性あり。

どれも実際に検証はできていません。ただ、きれいに全体が写っているスクリーンショットの方が良さそう、というのは言えると思います。

大事な注意

AIが写した数字は、必ず元の資料と照らし合わせてください。間違いは「それらしい」形で紛れ込みます
数字だけでなく、項目名も確認してください
・この記事は投資の判断を目的としたものではありません。企業や統計の数字を使う場合は、必ず公式資料をご確認ください
・これは無料版デフォルトでの一例です。答えは毎回ゆらぎます

さいごに、

AIで数字を一気に書き写すことは大変便利です。ですが、元の資料と違っていても気づかない可能性があるため、必ず元の資料と見比べることが大切です。

次回予告

次回は未定です。「AIに翻訳させるなら?」「AIにExcelの関数を聞くなら?」あたりを考えています。お楽しみに🦝

コメント

タイトルとURLをコピーしました