Обычно сайты сначала создаются на локальных серверах и только при почти полной готовности переносятся на рабочий сервер в интернете. Но в некоторых случаях удобнее сайт сразу запустить в интернете. Например, чтобы проверить производительность сервера при использовании определенной CMS, компонентов и модулей. Или при совместной удаленной работе над сайтом. Так как сайт еще не готов, его желательно скрыть от поисковых систем. Существует несколько способов.
Можно запретить индексацию с помощью файла robot.txt или .htaccess. Мы используем самый простой способ. Находим в корне сайта файл robot.txt (если его нет, создаем его) и вписываем следующие строки:
User-agent: *
Disallow: /
Эти команды сообщат поисковым ботам, что на сайте для них нет информации для индексирования. Не забудьте только убрать эти строки, когда сайт будет готов.