こんにちは、HOMELY制作チームです。先日の記事で、運用しているクリニックのサイトにAIのクローラーが25日間で7,082回来ていた、という話を書きました。あの記事を読んだ方から、同じ質問を続けていただいています。「それ、ブロックしたほうがいいんですか」。
HOMELYはAI活用を勧める側の会社です。だから「ブロックしないでください」と言うのが立場としては自然です。でも、正直な答えは「種類によります。そしてHOMELY自身、まだ何も止めていません」です。
今回は、AIクローラーを止めるべきかどうかを、ログの数字と、止める仕組みの歴史と、HOMELYが自社サイトで止めていない理由から書きます。
お急ぎの方は、この記事を約60秒で解説した動画をどうぞ。
1. 「AIに勝手に学習されるのは嫌だ」の半分正しいところ
通説：自社の文章がAIの学習に使われるのは損だ
苦労して書いた記事を、AIが読んで学習し、誰かの質問に答えるときに使う。その人は自社のサイトに来ない。この通説は半分正しいです。
実際、ログで一番多かったのは学習用のクローラーでした。8月の15日間で、Metaの学習クローラーが1,189回、AnthropicのClaudeBotが631回、OpenAIのGPTBotが451回。学習クローラーは、あなたのサイトを見に来ているのではなく、ウェブ全体を集める途中で通りかかっているだけです。通りかかった相手に、無料で全文を渡している、という見方は間違いではない。
でも、AIは1種類ではなく、止める相手を間違えると損をする
ここからが本題です。
前回の記事で書いたように、AI関連のボットは大きく3種類に分かれます。9月1日から10日までの10日間の数字と一緒に並べます。
| 種類 | 何をしに来るか | 10日間の到達 | 止めた場合に失うもの |
|---|---|---|---|
| 学習クローラー | AIの学習用にウェブ全体を集める | 933 | 将来のAIがあなたの会社を「知っている」可能性 |
| 検索の索引 | AI検索の検索結果を作る | 263 | AI検索であなたのサイトが出る機会 |
| 利用者の代理訪問 | 人がAIに質問した瞬間に、代わりにページを取りに来る | 223 | いま質問している人に、あなたの答えが届く機会 |
止めたい気持ちの対象は1行目です。でも、設定を雑にすると2行目と3行目まで止まる。Googleに載らないようにする設定と同じことを、AI検索に対してやってしまう。ここが一番の落とし穴です。
2. 1994年、「貼り紙」が発明された
少し歴史の話をします。
クローラーを止める仕組みは、robots.txt というサイト直下の小さなテキストファイルです。これを考えたのは1994年、オランダの技術者マーティン・コスターでした。当時の検索エンジンのクローラーが小さなサーバーに負荷をかけて落としてしまう問題があり、「ここは見ないでほしい」をサイト側から伝える約束事として生まれた。長く慣習として運用され、2022年になってようやく正式な標準（RFC 9309）になりました。
大事なのは、robots.txt は鍵ではなく貼り紙だということです。「関係者以外立入禁止」と玄関に貼るのと同じで、読んで守る相手にしか効かない。大手のクローラーは守ります。GoogleもOpenAIもAnthropicも、名前ごとに指定できると公式に説明しています。一方で、貼り紙を読まないクローラーもいる。ログに出ていたByteDanceのBytespiderは、robots.txt を無視するという報告が各所から出ています。
私たちはこれを「貼り紙」と「鍵」と呼び分けています。robots.txt は貼り紙。本当に入れたくないなら、サーバー側で遮断する鍵が要る。ただし鍵は、代理訪問のような「来てほしい相手」まで締め出します。
3. 貼り紙は、3種類に分けて書ける
ここが実務のポイントです。大手のAI提供元は、学習・索引・代理訪問で別々の名前を使っていて、貼り紙で個別に指定できます。
- OpenAI: 学習は GPTBot、検索の索引は OAI-SearchBot、代理訪問は ChatGPT-User
- Anthropic: 学習は ClaudeBot、索引は Claude-SearchBot、代理訪問は Claude-User
OpenAIもAnthropicも、学習用の名前を拒否しても、検索や代理訪問には影響しないと説明しています。つまり「学習には使わせたくないが、AI検索には出たいし、質問した人には答えを届けたい」は、貼り紙の書き方で実現できる。全部止めるか、全部許すかの二択ではありません。
逆に、貼り紙を全てのボットに一律で書いてしまうと、2行目・3行目まで止まります。ブロックを検討するとき、最初に確認するのは「誰を止めるのか」を名前で書けるかどうかです。
4. HOMELYが自社サイトで何も止めていない理由
ここまで読むと「学習だけ止めれば損しない」ように見えます。実際、HOMELYもそう考えました。それでもこのサイトの robots.txt は、いまも管理画面を除外しているだけで、AIの名前は1つも書いていません。理由は2つあります。
1つ目は、学習を止めた場合に何を失うかが、まだ誰にも分かっていないからです。学習クローラーに読まれた文章は、将来のAIが「HOMELYという会社は〇〇について書いていた」と知っている状態を作るかもしれない。それが問い合わせにつながるのか、まったく関係ないのか、現時点で確かめる手段がありません。分からないものを止めるより、ログを取りながら様子を見る、というのがいまの判断です。
2つ目は、止めた後に「本当に止まったか」を確認する仕組みが先に要るからです。貼り紙は守られるとは限らない。前回のログの仕組みは、そのための計測でもあります。止めてから来なくなったかを確認できて初めて、貼り紙が効いたと言えます。
つまり「止めない」と決めたのではなく、「止めるかどうかを決める材料を集めている」段階です。
5. HOMELYならどうするか
もしHOMELYがあなたの会社の担当者なら、ブロックの相談を受けたときに、次の順で進めます。
- まずログ。誰が何回来ているかを1か月記録する。来ていない相手を止める設定に意味はありません
- 止めるなら学習だけ、名前で。GPTBot・ClaudeBot・CCBot・Metaの学習クローラーなど、学習用の名前だけを貼り紙に書く。索引と代理訪問の名前は書かない
- 止めた翌月、ログで確認。貼り紙を読まない相手が残っていれば、そのときだけ鍵（サーバー側の遮断）を検討する
そして、記事に書いてある「答え」を、人にもAIにも届けたいなら、代理訪問と索引は止めないでください。前回の記事で書いた通り、質問した人の代わりに来ている司書を、玄関で追い返すことになります。
貼り紙は、書く相手を選べます。全員に向けて書かないでください。
AIクローラーの到達ログを1か月取り、止める相手を名前で決めます。
学習・索引・代理訪問の内訳を出し、止めてよいもの・止めてはいけないものを分けて、robots.txt の書き方までお渡しします。→ お問い合わせ
