AIに「問題点を指摘して」と頼む人へ|誤りゼロでも平均9個出てきた
Toybox誤りゼロの会議案内メールにAIへ「問題点を指摘して」と6回頼むと、指摘は平均9.3個。「問題がなければ『問題なし』」と1文足すと6回中6回「問題なし」、誤り2つのメールでは6回中6回その2つだけを指摘した。30回の実測と、コピペで使えるチェック用の頼み方。
AIに誤字脱字を直させる人へ|5回中5回、数字の矛盾だけ素通りした
Toybox約400字の社内連絡に8か所の誤りを埋めて、頼み方を4通り×5回=20回試しました。誤字・脱字・重複は20回中20回見つかるのに、「0時〜6時で8時間」という数字の矛盾だけは素の頼み方で5回中0回。直す2行と、応答の速さで見抜く方法まで。
AIに「400字で」と頼む人へ|『400字です』は6回中5回ずれていた
ToyboxAIに字数指定で文章を書かせると何字になるかを36回実測。「400字で」は362〜458字、「以内」は平均316字、「数えて」と頼んだ自己申告は6回中5回ずれていた。確実に収める3手順とコピペ用の頼み方つき。
AI検出ツールの正解率は26%。疑いを晴らすのは文章ではない
ToyboxOpenAIは自社のAI検出器を「精度が低い」として終了した。正解率26%、人の文章の誤判定9%。検出器は中身ではなく「次の語の当てやすさ」を見ているため、型どおりに書ける人ほど疑われる。疑いを晴らす手札の作り方をまとめた。