блог об информационных технологиях: софт, железо, интернет, услуги, советы

Как полностью закрыть сайт от индексации (robot.txt)

Как полностью закрыть сайт от индексации (robot.txt)

Обычно сайты сначала создаются на локальных серверах и только при почти полной готовности переносятся на рабочий сервер в интернете. Но в некоторых случаях удобнее сайт сразу запустить в интернете. Например, чтобы проверить производительность сервера при использовании определенной CMS, компонентов и модулей. Или при совместной удаленной работе над сайтом. Так как сайт еще не готов, его желательно скрыть от поисковых систем. Существует несколько способов.

Можно запретить индексацию с помощью файла robot.txt или .htaccess. Мы используем самый простой способ. Находим в корне сайта файл robot.txt (если его нет, создаем его) и вписываем следующие строки:
User-agent: *
Disallow: /


Эти команды сообщат поисковым ботам, что на сайте для них нет информации для индексирования. Не забудьте только убрать эти строки, когда сайт будет готов.


Добавить комментарий

Защитный код
Обновить

Комментарии