AIに「どっちがいい」と聞く人へ｜50回中20回、順番だけで答えが逆になった

「週1回30分と、隔週1回60分。チームの定例、どっちがいい？」

AIに聞いたら、こう返ってきました。

B: 隔週1回・60分。理由：頻度は適度で内容を深く議論できる時間がある。

納得して、そのまま決めようとしました。念のため、選択肢を書く順番だけ入れ替えて、同じAIにもう一度聞きました。

B: 週1回・30分。理由：頻度を高めることでチームの連携を強化し、短期的な目標の達成を促進できるためです。

逆になりました。質問も、選択肢の中身も、1文字も変えていません。変えたのは、どちらを上の行に書いたかだけです。しかもAIは、どちらのときも、もっともらしい理由を1文で添えてきます。

今日、手元のPCで動くAIに、正解のない二択を5種類、並び順を入れ替えながら100回聞きました。順番を変えても結論が同じだったのは50組中30組。残りの20組（40%）は、並べ替えただけで答えが逆になりました。

そして、いちばん効きそうに見えた対策——「どちらとも言えない、も選んでいい」と1行足すこと——は、一致率を60%から2%まで落としました。

■① 5つの二択を、並び順だけ変えて100回聞いた

条件はこうです。

使ったモデル：qwen2.5（7B）。ノートPCで動く、無料の公開モデルです
質問：正解のない日常の二択を5つ（副業／定例の形式／資料の作り方／英語の勉強法／引っ越し先）
並び順：同じ2択を「A→B」と「B→A」の両方で聞く
回数：各並び順で10回ずつ（温度0.7。乱数の種は正順・逆順で同じ値をそろえました）
答えさせ方：「AかBの記号だけで答えてください」——ふだんの聞き方そのままです

測ったのは1つだけ。並び順を入れ替えても、同じ選択肢を選ぶか。

選択肢の中身は1文字も変わっていないので、ここがズレたら、その結論は中身ではなく「置き場所」で決まっていたことになります。

【聞き方】                       【判定】
A: 週1回・30分     → AIの答え ┐
B: 隔週1回・60分              ├→ 同じ選択肢なら … 一致（中身で決めた）
                              │
A: 隔週1回・60分   → AIの答え ┘   ちがう選択肢なら … 反転（順番で決まった）
B: 週1回・30分

結果は一致30組／反転20組。4割は、聞き方の都合で決まっていました。

今日できること：直近でAIに二択を相談した会話を1つ開いて、選択肢を上下入れ替えて送り直してみてください。作業時間は30秒です。

■② 「AIは先に書いたほうを選ぶ」——これは外れでした

この手の話は「AIには先頭を選ぶクセがある」と説明されがちです。私もそう予想していました。

100回分の記号を数えると、こうなりました。

Aと答えた（＝先に書いたほう）  48回
Bと答えた（＝後に書いたほう）  52回
                       ─────────
                       ほぼ 50 : 50

全体で見ると、先頭が有利でも不利でもありませんでした。 「AIは上に書いたほうを選ぶから、大事なほうを下に書こう」といった対策は、少なくともこの結果からは支持できません。

ここが厄介なところです。全体の集計はきれいに割れているのに、1問ずつ見ると激しく偏っている。つまり「この回答は順番で決まったのか」は、答えの見た目からも、全体の統計からも判別できないということです。

■③ 5問のうち2問は、ほぼ完全に順番だけで決まっていた

質問ごとにばらして並べると、きれいに二分されました。

質問              正順で「選択肢1」  逆順で「選択肢1」   差
────────────────────────────────────────────────
副業（ブログ/動画編集）   10/10回        1/10回      90pt  ◀ ほぼ反転
定例（週1回/隔週1回）      0/10回       10/10回     100pt  ◀ 完全に反転
資料（構成先/1枚ずつ）    10/10回       10/10回       0pt    不動
英語（単語帳/ドラマ）      0/10回        0/10回       0pt    不動
引っ越し（1K/1LDK）        9/10回       10/10回      10pt    ほぼ不動

3問はびくともせず、2問は並べ替えるだけで結論がひっくり返りました。 そして反転した2問（副業・定例）と、不動だった3問（資料・英語・引っ越し）を、質問文から事前に見分ける手がかりは見つけられませんでした。どれも同じくらい「好みの問題」に見えます。

強いて言えば、反転した2つはどちらを選んでも大きく損はしない、優劣の差が小さい二択でした。差が小さいほど、順番のような中身と関係ない要素が最後のひと押しになる——という説明はできます。ただしこれは5問での観察なので、法則として受け取らないでください。

実務上の教訓はもっと単純です。「これは迷う二択だな」と自分が感じた質問ほど、AIの答えも順番で揺れていると思っておく。迷わない質問なら、そもそもAIに聞いていません。

■④ 「どちらとも言えない」を足したら、60%→2%になった

ここからが、今日いちばん予想を外した部分です。

二択を迫るから無理やり選ぶのだろう、と考えました。なら逃げ道を作ればいい。そう思って、条件を1行だけ変えて、同じ100回をやり直しました。

【変更前】A・B の記号だけで答えてください。
【変更後】A・B・C（どちらとも言えない）の記号だけで答えてください。

結果です。

                     一致した組     Aと答えた   Bと答えた   Cと答えた
──────────────────────────────────────────────────────
二択（A/B）        30/50 = 60%      48回       52回        −
三択（A/B/C）       1/50 =  2%       0回       83回       17回

一致率は60%から2%へ落ちました。しかも100回中、Aと答えた回は1回もありません。 逃げ道を用意したら、逃げるどころか「常に下の行を選ぶ」状態になってしまった、という結果です。

なぜこうなったのかは、私の手元のデータからは断定できません。分かるのは、選択肢の設計をいじると、順番への依存はむしろ強まりうるということです。プロンプト側の工夫で偏りを消そうとすると、消えたかどうかを測らないまま「対策した気」になる危険があります。

■⑤ 30秒で終わる確認：入れ替えて、2回聞く

プロンプトの工夫で偏りを消すのは、上のとおり当てになりませんでした。代わりに、偏っているかどうかをその場で見つける手順にします。やることは1つだけです。

1. いつもどおり二択を聞く            … 10秒
2. A と B を入れ替えて、もう一度聞く … 10秒
3. 2回の結論を見比べる               … 10秒

   一致した  → 中身で決まっている。採用してよい
   ちがった  → 順番で決まっていた。AIの結論は捨てて、材料だけ使う

大事なのは3の後半です。答えが割れたときに「じゃあ3回目を聞いて多数決」をしないでください。 割れた時点で、そのAIはその二択に答えを持っていません。持っていない相手に回数を増やしても、出てくるのは票数だけです。

割れたときに使えるのは、結論ではなく材料のほうです。そのまま貼れる形にしておきます。

さきほどの二択について、結論は出さないでください。
かわりに、次の形で材料だけ出してください。

1. Aを選んだ場合に、3か月後に後悔しうる点を3つ
2. Bを選んだ場合に、3か月後に後悔しうる点を3つ
3. AとBの差がいちばん大きく出るのは、どんな条件のときか

結論を出させない、と最初に釘を刺すのがポイントです。この形なら、どちらを上に書いても出てくるのは「Aの欠点」と「Bの欠点」で、並び順で中身が入れ替わりません。選ぶのは自分の仕事に戻ります。

もう1つ、順番の問題を構造からなくす方法もあります。2つを並べて見せず、1つずつ別々に評価させることです。「案1について、通らない理由を3つ」「案2について、通らない理由を3つ」と2回に分けて聞けば、比較の場に順番が存在しません。手間は2倍ですが、重い決定——採用、外注先、契約——ならこちらを使う価値があります。

■⑥ この結果をどこまで一般化してよいか

正直に書いておきます。今日測ったのは7Bの小さなモデル1つだけです。ふだん使っている大きなモデルは、同じ質問でもっと安定しているかもしれません。「AIは4割まちがえる」と読み替えないでください。

それでも、この話を無視しないほうがいい理由が2つあります。

1つは、確かめるコストが極端に安いこと。選択肢を入れ替えてもう一度送るだけで、10秒です。自分がふだん使っているモデルで一度やれば、この記事の数字ではなく自分の数字が手に入ります。

もう1つは、揺れていても見た目で分からないこと。②で見たとおり、順番で決まった答えにも、ちゃんとした理由が1文添えられてきます。冒頭の定例の例がまさにそれで、「深く議論できる」と「連携を強化できる」は、どちらも読めば納得してしまう理由です。理由が書いてあることは、その結論が中身から出てきた証拠にはなりません。

■まとめ：AIに聞いた二択は、まだ半分しか聞けていない

並び順を入れ替えて100回聞いたら、50組中20組（40%）で結論が逆になった
「先に書いたほうが選ばれる」という俗説は、全体では48対52で支持できなかった
「どちらとも言えない」を足す対策は、一致率を**60%→2%**に落とした（Aは100回中0回）
できるのは、入れ替えてもう一度聞き、割れたら結論を捨てて材料だけ使うこと

今日AIに何か選んでもらった人は、その会話をもう一度開いて、AとBを入れ替えて送ってみてください。同じ答えが返ってきたら、その判断は信じていい。ちがう答えが返ってきたら——それは今日、あなたが順番で決めかけていた、ということです。

同じ場面、ありませんか。役に立ったら♡やブックマークをどうぞ。こういう実測ものを続けて置いていきます。