ИИ-краулеры простыми словами: блокировать GPTBot или нет?

Вам сказали, что можно «заблокировать ИИ» на сайте, и звучит разумно. Зачем позволять какому-то боту вычерпывать ваши тексты и обучать модель, которая потом с вами же и конкурирует? Но за короткой фразой «заблокировать ИИ» прячется решение, которое легко оборачивается против вас. Одни ИИ-краулеры обучают модели. Другие — это то, как ChatGPT и Perplexity находят вас и цитируют, когда клиент ищет бизнес вроде вашего. Заблокируете не тех — не защитите сайт, а сотрёте его из ответов, которым люди теперь доверяют. Разберём, как их различать и выбирать осознанно.

Что такое ИИ-краулер и почему это важно?

ИИ-краулер — это программа, которая заходит на ваши страницы и читает их, ровно как поисковый робот Google делает уже много лет. Разница в том, что происходит дальше. Одни ИИ-краулеры копируют контент, чтобы помочь обучить модель. Другие заходят на страницы, чтобы ассистент мог процитировать вас в живом ответе, со ссылкой, в ту секунду, когда кто-то задаёт вопрос по вашей теме. Стучатся оба в одну дверь — маленький файл robots.txt, который говорит ботам, что им можно читать. Вся суть в том, чтобы понять эти две роли, потому что «разрешить» и «заблокировать» значат совершенно разное в зависимости от того, о каком краулере речь.

Чем обучающие краулеры отличаются от поисковых?

Именно это разделение и важно, и почти ни одна инструкция «как заблокировать ИИ» о нём не говорит. Если выстроить главные краулеры в ряд, они распадаются на два семейства с противоположными последствиями для вашей видимости.

Краулеры, которые обучают модели

Они собирают контент из сети, чтобы улучшить следующее поколение моделей. OpenAI пишет о своём обучающем краулере прямо: GPTBot читает контент, который может быть использован для обучения генеративных моделей, а запрет ему означает, что контент сайта не следует использовать в обучении (OpenAI). Блокировка таких краулеров держит ваши тексты вне будущего обучения. Но она не убирает вас из ответов, которые модели дают сегодня, — за это отвечает уже другой краулер.

• GPTBot (OpenAI) собирает контент, который может пойти на обучение моделей OpenAI.
• ClaudeBot (Anthropic) собирает веб-контент для обучения моделей Claude.
• Google-Extended управляет тем, можно ли использовать ваш контент для обучения будущих моделей Gemini и для «заземления» ответов. Это отдельный токен для robots.txt, и Google уточняет, что он «не влияет на включение сайта в Google Поиск и не является сигналом ранжирования» (Google).

Краулеры, которые формируют живые ответы ИИ

Они читают и цитируют ваши страницы, когда человек прямо сейчас задаёт вопрос ассистенту. OpenAI описывает свой поисковый краулер просто: OAI-SearchBot показывает сайты в результатах поиска внутри функций поиска ChatGPT (OpenAI). Perplexity говорит о своём боте то же самое: он «создан, чтобы показывать сайты и ссылаться на них в результатах поиска», и «не используется для сбора контента для обучающих моделей» (Perplexity). Заблокируете этих — можете выпасть из тех самых ИИ-результатов, которые ваши клиенты уже читают.

• OAI-SearchBot (OpenAI) показывает сайты и ставит на них ссылки в поиске ChatGPT.
• PerplexityBot (Perplexity) индексирует страницы, чтобы показывать их и ссылаться на них в ответах Perplexity, и не используется для обучения моделей.
• Claude-SearchBot (Anthropic) обходит сеть, чтобы улучшить качество поисковых результатов Claude (Anthropic).
• Googlebot по-прежнему стоит за Google Поиском и его AI Overviews. Заблокировать его — значит исчезнуть из самого Google.
• Пользовательские загрузчики (ChatGPT-User, Perplexity-User, Claude-User) заходят на одну страницу только тогда, когда человек сам об этом попросил ассистента. Это действие по вашей просьбе, а не массовый обход.

Если заблокировать ИИ-краулеры, стану ли я невидимым в ответах ИИ?

Если заблокировать поисковые краулеры — да. В этом и ловушка совета «заблокировать ИИ». Когда клиент просит ChatGPT или Perplexity порекомендовать сантехника, пекарню или бухгалтера рядом, эти сервисы опираются на свои поисковые краулеры, чтобы найти актуальные страницы и сослаться на них. Если OAI-SearchBot и PerplexityBot не могут прочитать ваш сайт, вас нет в списке. Perplexity уточняет: если запретить его боту, он всё ещё может показать домен и короткую фактическую сводку, но не станет использовать полный текст страницы, — и вы появляетесь бледнее, если вообще появляетесь.

А случается это по недосмотру, потому что большинство готовых сниппетов «заблокировать ИИ» из интернета вставляют длинный список, который запрещает всё со словом «AI» в названии, включая поисковые краулеры. Люди запускают его, чтобы держать контент вне обучения, и заодно тихо выключают свою видимость в ИИ-поиске. Это ровно противоположно тому, что нужно бизнесу, который пытается быть найденным.

Стоит ли блокировать GPTBot и обучающие краулеры?

Вот это — действительно вопрос выбора, а не правило безопасности, так что не слушайте тех, кто говорит «обязательно надо». Блокировка GPTBot, ClaudeBot и Google-Extended держит контент вне будущего обучения моделей. Отдаёте вы при этом немного: обучающие краулеры не то, что приносит цитирования в живых ответах. И выигрыш скромный: ваши публичные страницы и так публичны, а блокировка обучения не возвращает того, что модель уже усвоила.

Блокировать обучающие краулеры разумнее, если на страницах лежит по-настоящему оригинальный, трудно добытый материал, который вы не хотите бесплатно отдавать модели: подробные руководства, собственные исследования, большой массив текстов, который сам по себе и есть продукт. Google-Extended — наименее рискованный кандидат на блокировку, если вы так решили, ведь Google подтверждает, что он «не влияет на включение сайта в Google Поиск и не является сигналом ранжирования». Для типичного локального бизнеса, которому в первую очередь нужны клиенты, разрешить обучающие краулеры — вполне разумный вариант по умолчанию, и точно не то, из-за чего стоит терять сон.

Как управлять ИИ-краулерами через robots.txt?

Всё это живёт в одном текстовом файле по адресу вашсайт.com/robots.txt — том самом, что направляет поисковики уже десятилетиями. Вы пишете по одному короткому правилу на краулер: указываете user-agent и разрешён ли он. Если вы уже можете открыть вашсайт.com/robots.txt в браузере — файл у вас есть; если нет, его добавит платформа сайта или плагин. Это не то же самое, что файл llms.txt, который лишь подсказывает ИИ ваши лучшие страницы, но ничего не разрешает и не блокирует. Именно в robots.txt находятся настоящие переключатели.

Имена user-agent — самое важное, потому что правило действует только на то имя, которое вы написали. Сгруппируйте их по двум ролям:

• Обучающие краулеры, которые можно заблокировать по желанию: GPTBot, ClaudeBot, Google-Extended.
• Поисковые краулеры, которые обычно стоит разрешить: OAI-SearchBot, PerplexityBot, Claude-SearchBot.
• Googlebot, который почти никогда не стоит блокировать, ведь он питает Google Поиск и AI Overviews.

Две честные оговорки. robots.txt работает на доверии: солидные краулеры OpenAI, Anthropic и Google его уважают, но это просьба, а не замок, и отдельные краулеры уже ловили на том, что они его игнорируют. И осторожнее со случайной строкой «Disallow: /» под не тем заголовком — она может отсечь куда больше, чем вы хотели, включая Google. Если сомневаетесь, меняйте по одному правилу за раз и потом перепроверяйте файл в браузере.

Какой разумный порядок по умолчанию для малого бизнеса?

Держите просто. Если у вас нет особой причины прятать контент, дайте ИИ-миру читать тот сайт, который вы и так публикуете, и всерьёз думайте только о решении по обучению. Порядок по умолчанию, который подходит большинству малых бизнесов, выглядит так:

• Разрешите поисковые краулеры — OAI-SearchBot, PerplexityBot и Claude-SearchBot, — чтобы ассистенты могли вас находить и цитировать.
• Никогда не блокируйте Googlebot: этим одним движением вы выключаете Google Поиск и AI Overviews.
• Блокируйте GPTBot, ClaudeBot и Google-Extended только если держать контент вне обучения моделей для вас действительно принципиально.
• Откройте вашсайт.com/robots.txt и проверьте, что случайно не блокируете поисковые краулеры.

И помните: файл — рычаг поменьше. Попадёте ли вы в цитаты ИИ, гораздо сильнее зависит от того, есть ли у вас понятные страницы, которые прямо отвечают на вопросы клиентов, — а это и есть настоящая причина, почему ИИ не находит некоторые бизнесы. Стоит разобраться, как появляться в ИИ-поиске и попасть в рекомендации ChatGPT, прежде чем тратить полдня на настройку текстового файла. Если поддерживать эти страницы в актуальности — как раз то, до чего руки не доходят, этот пробел закрывает Laspi: его плагин для WordPress пишет статьи под SEO и ИИ-поиск на основе вашего реального бизнеса, так что сайт, который читают краулеры, остаётся понятным и свежим.

Итак: разрешать GPTBot или блокировать? Разрешайте, если нет весомой причины не делать этого, и что бы вы ни решили — держите поисковые краулеры желанными гостями. «Заблокировать ИИ» никогда не было одним решением. Их два, и только одно из них про защиту вашего контента. Второе — про то, чтобы остаться в ответах, которым ваши клиенты уже доверяют.