AIにURLを貼る人へ｜12社中9社が拒否。それでも要約は返る
日本の主要ニュース12社のrobots.txtを実測したら、9社が「あなたが貼ったURLを取りに行くAI」まで名指しで拒否していた。拒否されていないサイトでもInstagramの可読テキストは9文字。届いたか30秒で確かめる3手を実測つきで。
ニュースのURLをAIに貼って、「要約して」と打つ。数秒で要約が返ってきて、なるほどと納得して閉じる。
その記事、AIは1文字も読めていないかもしれません。
今日、日本の主要ニュースサイト12社の robots.txt を実際に取得して調べました。結果は9社が、AIによる取得を全面的に拒否。しかも拒否されているのは「学習用のクローラ」だけではありません。あなたがURLを貼った、まさにその瞬間に取りに行くフェッチャーまで、名指しでブロックされていました。
それでもAIは、たいてい何か答えを返してきます。ここがいちばん危ないところです。
① URLを貼ったあと、裏で起きている4つの分岐
まず前提の整理です。AIにURLを渡したとき、結果は大きく4つに分かれます。
あなたがURLを貼る
│
▼
┌─────────────────────┐
│ AIがそのURLを取りに行く │
└─────────────────────┘
│
┌──────┬───┴───┬──────────┐
▼ ▼ ▼ ▼
①取れた ②robots ③取れたが ④そもそも
で拒否 中身が空 取りに行かない
│ │ │ │
▼ ▼ ▼ ▼
本物の ページが タイトルと タイトルと
本文で 届かない 枠だけ届く URLの文字列
答える │ │ だけで答える
└───────┴──────────┘
▼
┃ ここで「取れませんでした」と
┃ 言わずに答えると、
┃ それっぽい作り話になる
①だけが本来の姿です。そして実測すると、②と③が想像よりずっと多いことが分かりました。順に見ていきます。
② ニュース12社を調べたら、9社が「あなたのリンク」を拒否していた
robots.txt は、サイトが「どのロボットに、どこまで見せるか」を書いておくファイルです。主要なAI各社は、これを尊重すると表明しています。
日本の主要ニュース12社について、https://各サイト/robots.txt を取得し、Disallow: /（＝サイト全体を拒否）が指定されているユーザーエージェントを数えました。
サイト 全面拒否の数 うち「あなたが貼った時に動く」型
────────────────────────────────────────────────
読売新聞 66種 9種 ●
産経新聞 51種 7種 ●
日本経済新聞 43種 9種 ●
朝日新聞 35種 9種 ●
時事通信 32種 9種 ●
毎日新聞 31種 8種 ●
Yahoo!ニュース 30種 9種 ●
日刊工業新聞 24種 6種 ●
NHKニュース 13種 6種 ●
────────────────────────────────────────────────
東洋経済オンライン 0種 0種 ○
ITmedia 0種 0種 ○
ダイヤモンド・オンライン 0種 0種 ○
12社中9社。読売新聞にいたっては66種類のUAを全面拒否しています。
ここで大事なのが、右の列です。AIのボットには、性格の違う2種類があります。
- 学習用クローラ（
GPTBotClaudeBotCCBotなど）— モデルの学習データを集めて回るもの。あなたの操作とは無関係に動きます。 - ユーザー起動型フェッチャー（
ChatGPT-UserClaude-UserPerplexity-Userなど）— あなたがURLを貼った、その瞬間だけ動くもの。学習には使われません。
「学習に使われるのは嫌だ」という理由なら、前者だけを拒否すれば筋が通ります。ところが実測では、9社すべてが後者もブロックしていました。Yahoo!ニュースの robots.txt を開くと、30行のUAがずらりと並んだ末尾に Disallow: / が1行だけ置かれていて、その中に ChatGPT-User も Claude-User も Perplexity-User も入っています。
つまり、あなたが自分の意思で「この記事を読んで」と頼んでも、その記事は届かない。これが今日いちばんの発見でした。
逆に、東洋経済オンライン・ITmedia・ダイヤモンド・オンラインは全面拒否ゼロでした。「AIに読ませたい記事」を選ぶなら、この差は実務的に効いてきます。
③ 拒否されていなくても、中身は届かない
では、拒否していないサイトなら安心かというと、そうでもありません。第二の落とし穴は**「ページは取れたが、読めるテキストがほとんど無い」**というパターンです。
各ページを実際に取得して、「転送されたデータ量」と「タグを剥がしたあとに残る可読テキストの文字数」を測りました。
転送量 可読テキスト 比率
──────────────────────────────────────────────
Instagram の投稿 632KB 9字 0.001%
YouTube の動画ページ 1.3MB 182字 0.014%
X（旧Twitter）の投稿 174KB 740字 0.42%
Googleスプレッドシート 249KB 2,100字 0.82%
note の記事 333KB 6,354字 1.86%
GitHub のリポジトリ 376KB 11,224字 2.91%
Wikipedia の記事 917KB 78,288字 8.34%
Instagramの投稿ページは、632KBを転送して、読めるテキストが9文字でした。 その9文字が何だったかというと——
Instagram
これだけです。キャプションも、コメントも、投稿者名も、1文字もありません。
YouTubeも同様でした。1.3MBを転送して残った182文字の中身は、動画タイトルと、ページ下部のフッターリンクです。
Rick Astley - Never Gonna Give You Up (Official Video) (4K Remaster) - YouTube
概要 プレスルーム 著作権 お問い合わせ クリエイター向け 広告掲載 開発者向け
利用規約 プライバシー ポリシーとセキュリティ YouTube の仕組み 新機能を試してみる
2026 Google LLC
概要欄も、コメントも、字幕も、1文字も入っていません。 つまり「このYouTubeの動画を要約して」と頼んだとき、AIが手にしているのはタイトル1行と、フッターのメニューだけということが起こり得ます。
なぜこうなるかというと、これらのサイトは中身をJavaScriptで後から描画しているからです。ブラウザで見れば表示されますが、素朴に取得しただけのHTMLは「空の器」なのです。
なお、この実測はJavaScriptを実行しない素の取得での数字です。AI側がブラウザを動かして取得する製品もあるため、常にこの数字になるわけではありません。ただ「貼れば中身が届く」が前提にできないことは、これで十分わかります。
④ 本当の問題は、「読めなかった」と言ってくれないこと
ここまでは「届かないことがある」という話でした。それだけなら、エラーが出て終わりです。
問題は、中身が届かなくても、たいてい何かは返ってくることです。
AIの手元には、届かなかった場合でも材料が残っています。URLの文字列そのもの（/articles/2026/09/boj-rate-hike のようなパスには単語が入っています）、ページタイトル、そして学習済みの一般知識。これらを足すと、「日銀の利上げに関する記事のようですね」くらいの、それらしい文章はいくらでも書けてしまいます。
読み手からは、①（本文を読んで書いた要約）と④（URLの文字列から推測した要約）が、見た目でほとんど区別できません。どちらも自然な日本語で、それらしい見出しがついています。
つまずくのは決まってこの一点です。「要約が返ってきた＝読めた」と受け取ってしまう。 実際には、返ってきたことは読めた証拠になりません。
⑤ 30秒でできる3手
対策はシンプルです。順番に効きます。
手1：引用させる（コピペで使えます）
要約を頼むとき、要約の前に「本文の冒頭をそのまま引用させる」ようにします。推測では引用文は作れないので、届いたかどうかが一発で分かります。
このURLの本文から、冒頭50字をそのまま引用してください。
そのうえで要約してください。
本文を取得できなかった場合は、要約せずに
「取得できませんでした」とだけ答えてください。
推測やタイトルからの補完はしないでください。
URL：
引用が返ってこない、または引用がタイトルの繰り返しだったら、それは②〜④です。要約は捨ててください。
手2：本文を自分で渡す
いちばん確実で、いちばん速い方法です。記事をブラウザで開いて、⌘A（全選択）→ ⌘C（コピー）→ AIに貼る。それだけ。robots.txtも、JavaScriptも、ログイン壁も、全部関係なくなります。
余計なメニューまで入るのが気になるなら、Safariなら「リーダー表示」（⌘⇧R）、Chromeなら「読み取りモード」を先に押してからコピーすると本文だけになります。
手3：PDFにして添付する
有料記事やログインが必要なページ、スプレッドシートなど、コピーがうまくいかないものはブラウザの印刷（⌘P）から「PDFとして保存」して、そのファイルを添付します。YouTubeなら、概要欄や字幕のテキストを開いてコピーします。
【従来】URLを貼る → 届いたか分からない → それっぽい要約を信じる
【改善】URLを貼る → 引用させて確認 → 届いてなければ本文を貼る
▲
ここが30秒
⑥ 自分のよく読むサイトを、今すぐ確かめる
3分でできます。ブラウザのアドレス欄に、サイトのトップページのURL＋ /robots.txt と打って開いてください。
https://news.yahoo.co.jp/robots.txt
開いたら ⌘F で以下の3語を順に検索します。
ChatGPT-User
Claude-User
Perplexity-User
見つかった場合、その少し下に Disallow: / があるかを見ます。あれば、そのサイトの記事は、あなたが貼っても取りに行けません。手2（本文をコピペ）に切り替えてください。
まとめ：今日やること、今週やること
今日：よく使うAIに、いつも貼るニュースサイトのURLを1本貼って、手1の「冒頭50字を引用してから要約して」を試す。引用が返ってくるか見るだけで、自分の環境の実態が分かります。
今週：自分がよく読むサイト3つの robots.txt を確認して、「貼れば読めるサイト」と「本文をコピペすべきサイト」に仕分ける。一度やれば、あとは迷いません。
要約が返ってきたことは、読めた証拠にはなりません。確認は、引用1行で足ります。
同じように、AIの要約をそのまま信じて人に転送してしまったこと、ありませんか。役に立ったら♡やブックマークをどうぞ。
この記事は note にも掲載しています（初出: note版 2026-09-10）。