Robots.txt — это простой текстовый файл в корне сайта, который подсказывает поисковым системам, какие страницы можно сканировать, а какие — нет. Проще: он задаёт базовые правила индексации для поисковых роботов и помогает контролировать видимость сайта в поиске.
Что это такое
Файл robots.txt размещается по адресу example.com/robots.txt. В нём перечисляют директивы: кто (User-agent) и что (Allow, Disallow) может читать. Это не механизм блокировки контента как пароль, а договорённость: поисковые роботы обычно следуют этим указаниям, но некоторые сервера и боты могут их игнорировать.
Зачем нужно в маркетинге
В маркетинге robots.txt помогает управлять тем, какие страницы индексируются и попадают в поисковую выдачу. Это удобно, чтобы не показывать тестовые страницы, технические разделы, админку или дубли контента. Правильные правила индексации экономят бюджет на сканирование и повышают релевантность видимых страниц.
Как это работает на практике
Когда поисковый робот приходит на сайт, он сначала запрашивает robots.txt. Если файл есть, робот читает правила и затем уже сканирует разрешённые URL. Директива Sitemap указывает путь к карте сайта — это ускоряет обнаружение важного контента. Но помните: если вы хотите полностью скрыть страницу от поиска, используйте мета-тег noindex или защищайте её паролем; robots.txt лишь рекомендует не сканировать.
Простой пример
Файл robots.txt может выглядеть так:
- User-agent: * (правило для всех роботов)
- Disallow: /admin/ (не индексировать админский раздел)
- Allow: /public/ (разрешить публичный каталог)
- Sitemap: https://example.com/sitemap.xml
Этот набор говорит поисковым роботам не заходить в /admin/, но сканировать остальное и обратиться к карте сайта.
Ошибки и на что обратить внимание
- Случайно закрыли весь сайт (Disallow: /) — поисковики перестанут сканировать страницы.
- Оставили важные разделы закрытыми — трафик упадёт, а аналитика покажет исчезновение страниц из поиска.
- Доверяетесь robots.txt для защиты конфиденциальных данных — это опасно, файл видим всем.
- Некоторые боты игнорируют правила; также разная семантика директив у разных поисковиков.
Проверяйте robots.txt после изменений, тестируйте через инструменты типа Search Console, и комбинируйте правила индексации с мета-тегами и картой сайта. Тогда файл работает как простой контрольный инструмент для управления видимостью и сканированием сайта.
