блог об информационных технологиях: софт, железо, интернет, услуги, советы

Как полностью закрыть сайт от индексации (robot.txt)

Как полностью закрыть сайт от индексации (robot.txt)

Обычно сайты сначала создаются на локальных серверах и только при почти полной готовности переносятся на рабочий сервер в интернете. Но в некоторых случаях удобнее сайт сразу запустить в интернете. Например, чтобы проверить производительность сервера при использовании определенной CMS, компонентов и модулей. Или при совместной удаленной работе над сайтом. Так как сайт еще не готов, его желательно скрыть от поисковых систем. Существует несколько способов.

Можно запретить индексацию с помощью файла robot.txt или .htaccess. Мы используем самый простой способ. Находим в корне сайта файл robot.txt (если его нет, создаем его) и вписываем следующие строки:
User-agent: *
Disallow: /


Эти команды сообщат поисковым ботам, что на сайте для них нет информации для индексирования. Не забудьте только убрать эти строки, когда сайт будет готов.


Если моя статья вам помогла, вы можете отблагодарить меня денежкой

Добавить комментарий

Защитный код
Обновить

Комментарии