AIを全部「賢いモデル」で使う人へ｜5作業中4つは軽量版で同点

AIに頼むとき、毎回いちばん賢いモデルを選んでいませんか？

同じ5つの事務作業を、軽量モデル・中位モデル・上位モデルに5回ずつ解かせました（合計15回）。問い合わせの振り分け、期日と金額の抜き出し、表の集計、条件つきの書き直しの4つは、軽量モデルもほぼ満点で、上位モデルとの差はミス2個だけでした。

差がはっきり出たのは1つだけです。「ちょうど120字で書いて」と頼むと、軽量モデルは5回とも外しました。出てきたのは124字〜212字です。それなのに、5回とも「120字です」と答えていました。今日は、この結果から「軽いモデルに任せていい作業」と「任せてはいけない作業」の分け方を紹介します。

きっかけ：軽量モデルの値段が10分の1になった

10月7日、Anthropicが小型モデル「Claude Haiku 5.5」を公開しました。料金は入力100万トークンあたり0.10ドル、出力0.50ドルです。前の世代のHaiku 4.5は1ドルと5ドルだったので、10分の1に下がりました。トークンの数え方が少し変わる分を差し引いても、平均で約75％安くなると同社は説明しています。

参考: SiliconANGLE「Anthropic releases Claude Haiku 5.5 small model and halves Sonnet 5.5 cache read prices」

発表で強調されていたのは、大量の要約や分類、上位モデルから細かい作業を任される「下請け役」です。つまり作る側も「全部を賢いモデルでやる必要はない」と考えています。

これは企業だけの話ではありません。ChatGPTにもGeminiにもClaudeにも、たいてい「速い・軽い版」と「よく考える版」があります。個人が軽い版を選んで得をするのは、お金より待ち時間です。軽い版なら数秒で返ってくる作業に、毎回数十秒待っているかもしれません。

ただ、「何なら軽い版で足りるのか」を数字で確かめた話はあまり見かけません。私は8月に「全部を1つのモデルに投げるのをやめる4分類」という記事を書きましたが、あれは考え方の整理で、実測ではありませんでした。今日はその実測編です。

実験：事務の5作業を、3つのモデルに5回ずつ

使ったのは、私が毎日の作業で使っているClaude Codeから呼べる3つのモデルです。

軽量モデル：Claude Haiku 4.5（今回発表された5.5の1つ前）
中位モデル：Claude Sonnet
上位モデル：Claude Opus

3つとも、同じ指示文を1回ずつ新しい状態で渡しました。計算ツールや検索は使わせず、頭の中だけで答えさせています（記録を見て、15回とも保存以外の道具を使っていないことを確かめました）。採点は私が書いたPythonスクリプトで、正解と機械的に照らし合わせました。

5つの作業は、どれも事務でよくあるものにしました。

①問い合わせの振り分け：20件を「返品・交換」「配送」「請求・支払い」「ログイン・アカウント」「その他」に分ける。「パスワード再設定のメールが届きません」（配送ではなくアカウント）のような引っかけを入れた
②期日と金額の抜き出し：8件の文から、期日と税込金額を取り出す。「税抜12,000円に消費税10％、来週の金曜まで」「キャンセル料は代金の20％、期限はあさって」のように、計算や日付の読み替えが要るものを混ぜた
③表の集計：12店舗の売上の合計・15万円以上の店舗数・平均
④字数ぴったり：「年末年始の営業日のお知らせ」を句読点込みでちょうど120字で書き、字数も申告する
⑤条件つきの書き直し：100字以内・「です」「ます」禁止・箇条書きちょうど3行・「締切」をちょうど1回・漢数字禁止・最後の行は「以上。」の6条件

結果：4つは同点。分かれ目は「数える作業」だけだった

5回分を合計した結果です。

①振り分け（20件×5回＝100問）
　軽量 99問正解／中位 100／上位 100
②抜き出し（8件×5回＝40問）
　軽量 39問正解／中位 40／上位 40
③集計（3問×5回＝15問）
　軽量 15問正解／中位 15／上位 15
④120字ぴったり（5回）
　軽量 0回／中位 5回／上位 5回
⑤6条件の書き直し（5回）
　軽量 5回とも全条件クリア／中位 5回／上位 5回

軽量モデルのミスは、①②で1個ずつでした。

振り分けで「退会したいのですが、ポイントはどうなりますか」を「その他」にした（正解はアカウント）
抜き出しで「来週の金曜まで」を10月17日にした（今日を10月9日金曜と伝えていたので、正解は10月16日。17日は土曜）

どちらも、人間でも一瞬迷いそうな箇所です。表の集計は、12個の数字を足す計算でも3つのモデルが15回すべて正解しました（合計1,505,100円・平均125,425円）。

一方で、④の「ちょうど120字」だけは、軽量モデルが5回中5回外しました。 実際の字数は124字、128字、144字、185字、212字です。212字の回は、ほぼ倍の長さでした。そして5回とも、自分で「120字」と申告していました。

中位と上位は、10回すべてぴったり120字でした。申告も120字で、ずれはゼロです。

図にすると、こうなります。

【軽量モデルで足りた作業】
　振り分け　→　99／100
　抜き出し　→　39／40
　集計　→　15／15
　条件つき書き直し　→　5／5
【軽量モデルが崩れた作業】
　ちょうど○字　→　0／5（しかも全部「120字です」と申告）

なぜ「字数」だけで差が開いたのか

振り分けや抜き出しは、文を読んで「どれに当たるか」を選ぶ作業です。答えの候補が決まっていて、1件ずつ確かめられます。軽量モデルでも十分に得意な形です。

字数は違います。AIは文章を1文字ずつではなく、「トークン」というかたまりで扱っています。日本語では、1トークンが1文字のときもあれば、2〜3文字のときもあります。だからAIは、自分が書いた文の字数をそもそも数えにくいのです。

上位モデルは、書きながら区切りごとに数え直して調整できたのだと思います。軽量モデルは「120字くらいの、それらしい長さの文」を書き、字数は指示の数字をそのまま申告していました。

この弱点は以前の実験でも見ています。9月に「400字で」と頼んだ実験では、申告した字数が6回中5回ずれていました。今回わかったのは、モデルを軽くすると、このずれが一気に大きくなるということです。ずれは中位・上位で0字、軽量では最大92字でした。

ここで大事なのは、数字が合っていなくても、自信満々に「120字です」と返ってくる点です。見た目では気づけません。

軽い版に任せていい作業、ダメな作業の分け方

結果から、次のように分けるのがよいと考えています。

【軽い版で十分】

決まった選択肢に分ける（問い合わせ、メール、アンケートの自由記述など）
文から日付や金額を取り出す
数字の少ない表の合計や件数
「この条件を守って書き直して」のように、ルールがはっきりした書き直し

【賢い版か、機械のチェックが必要】

ちょうど○字、○文字以内など、字数に縛りがある文章
AIが自分で数えた数字（字数、行数、件数など）の申告
「来週の金曜」「あさって」など、日付の読み替えが絡む締切（軽い版でも1回だけずれた）

判断の目安は「答えを1件ずつ確かめられるか」です。確かめられる作業なら、軽い版が外しても気づけます。字数のように、出てきた文を見ても合っているか判断できない作業は、賢い版に回すか、数えるのを機械に任せます。

そのまま使える依頼文も置いておきます。軽い版に字数つきの文章を頼むときは、字数の申告をやめさせて、文字カウンターで確かめる前提にするのが安全です。

「年末年始の営業日のお知らせ」を、120字前後で書いてください。
・字数は自分で数えて申告しなくてよいです（こちらで文字カウンターで数えます）
・105〜120字に収まるよう、短めに書いてください
・削りやすいように、1文を短く区切ってください

ポイントは2つあります。1つ目は、AIに「ちょうど」を守らせるのをやめて、少し短めの幅で頼むことです。足りなければ1文足すだけで済みます。2つ目は、AIの「120字です」を信じない仕組みにすることです。最後の数え直しは、文字カウンターで1秒です。

つまずきやすいところ：「軽い版で十分」を全部に広げない

今回の結果を見て「もう全部軽い版でいい」と考えるのは早すぎます。気をつけたい点が3つあります。

1つ目は、今回の作業がどれも短いことです。問い合わせは20件、表は12行でした。何百件もの振り分けや、何十ページもの資料では、軽い版のほうが先に崩れるかもしれません。量を増やすときは、最初の50件くらいを自分で確かめてから任せてください。

2つ目は、ミスの数が少なくても、ゼロではないことです。軽い版は4つの作業の合計160問中2問を間違えました。率にすると約1.3％です。100件の請求データなら1件くらい、日付がずれた行が混ざる計算です。お金と締切に関わるものは、最後に人が見る1回を残してください。

3つ目は、今回試したのが発表されたばかりのHaiku 5.5ではなく、1つ前のHaiku 4.5だということです。新しい版では字数の弱点が改善しているかもしれません。逆に言えば、どの版でも「AIが自分で数えた数字」は確かめる、という習慣は変えないほうが安全です。

なお、待ち時間も記録しましたが、今回の環境では15回を同時に動かしたため、軽い版のほうが遅いという結果になりました。速さの比較としては信頼できないので、今回は結論から外しています。

今日・今週・30日でやること

今日

いつも使っているAIで、「速い版」と「賢い版」がどれなのかを確認してください。名前は各社違いますが、たいてい選択画面に並んでいます。

今週

いつもの作業を1つ選び、両方の版に同じ頼み方で投げてみてください。問い合わせの仕分けやメールの要点抜き出しなど、答え合わせができる作業がおすすめです。差がなければ、その作業は軽い版に固定します。

30日

「軽い版でいい作業」「賢い版にする作業」「機械で数える作業」の3つに、自分の作業を書き分けた表を作ってください。迷ったときに見るだけで、毎回の選び直しがなくなります。

図にすると、こうです。

作業が来た
　├─ 選択肢から選ぶ・取り出す　→　軽い版
　├─ 字数・件数などを「数える」　→　賢い版＋文字カウンター
　└─ お金・締切が絡む　→　どちらでも、最後に人が1回見る

まとめ

要点

事務の5作業のうち4つは、軽量モデルでも上位モデルとほぼ同点でした（160問中ミス2個）。差が出たのは「ちょうど120字」だけで、軽量モデルは5回とも外し、5回とも「120字です」と申告しました。

今日の小さな一歩

今から、AIに字数つきで頼んでいる文章を1つ思い出して、その出力を文字カウンターに貼ってみてください。申告と実際がずれていないか、1分で確かめられます。

筆者の視点

私は毎日AIで記事や動画を作っていますが、「賢いモデルなら安心」と全部を上位に投げていた時期がありました。実際に数えてみると、賢さが効くのはごく一部の作業でした。大事なのはモデル選びの正解を覚えることではなく、AIの答えのうち「自分で確かめられない部分」を見分けることです。軽い版を使いこなす鍵は、軽い版を信じることではなく、どこを確かめるかを決めておくことです。

「とりあえず一番いいモデルを選んでいる」。そんな方は多いのではないでしょうか。役に立ったら♡やブックマークで教えてもらえるとうれしいです。AIに頼む前に知っておきたい実測を毎日書いています。

なお、今回の条件は、Claude Codeから呼んだHaiku 4.5・Sonnet・Opusの3モデル、同じ指示文を各5回、ツールなしです。ほかのAIや、もっと量の多い作業では結果が変わるかもしれません。

この記事は note にも掲載しています(初出: note版 2026-10-09)。