robots.txt: какво е, как работи и честите грешки
Един ред грешка в robots.txt може да скрие целия сайт от Google.
Накратко
- robots.txt казва на ботовете кои части да обхождат и кои не.
- Файлът стои в корена на домейна и е публичен.
- Не пази страници от индексиране — за това е noindex.
- Управлява и достъпа на AI ботовете (GPTBot, PerplexityBot).
robots.txt е текстов файл в корена на сайта, който инструктира обхождащите ботове кои части могат и кои не бива да обхождат. Обяснение има и в речника. Правилно настроен, той пази краул бюджета; сбъркан — може тихо да скрие целия сайт.
Как работи
Ботът чете файла преди да обхожда. С User-agent посочвате за кой бот важи правилото, а с Disallow — какво да не обхожда. Allow прави изключения. Sitemap реда сочи към картата на сайта.
Чести грешки
- Disallow: / — блокира целия сайт (фатално).
- Блокиране на CSS/JS, което пречи на Google да рендира правилно.
- Разчитане на robots.txt да скрие страница от резултатите (не го прави).
- Блокиране на AI ботовете, когато искате AI видимост.
robots.txt и AI
Ако искате да ви цитира AI търсенето, дайте достъп на GPTBot, ClaudeBot, PerplexityBot и подобни, и добавете llms.txt. Блокирането им пречи да ви показват.
Често задавани въпроси
robots.txt скрива ли страница от Google?+
Не. Блокира обхождането, но URL-ът може пак да се появи в резултатите без описание. За реално скриване ползвайте noindex мета таг (и не блокирайте страницата, за да го види Google).
Всеки сайт ли има нужда от robots.txt?+
Полезно е да имате, дори прост, който позволява всичко и сочи sitemap-а. За по-големи сайтове става инструмент за управление на краула.
Автор
Антонио Планинцов
Соло дигитален и AI консултант с над 13 години опит. Изработвам уеб сайтове, правя SEO и изграждам AI решения за бизнеса. Повече за мен.
Искате сайт, който Google обхожда правилно?
Настройвам robots.txt, sitemap и достъп за AI ботовете — без случайно скриване.
Направи запитване
