Как запретить поисковикам индексировать сайт

Хорошей практикой в разработке является наличие промежуточного сайта, на котором можно тестировать изменения, прежде чем перенести их на «живой» сайт. В таких случаях обычно создается домен третьего уровня, например staging.example.com. Распространенной ошибкой разработчика является разрешение роботам индексировать тестовые сайты, что может привести к склейке доменов или другим неприятным эффектам.

Избежать этого просто - необходимо запретить роботам индексировать тестовый сайт. Для этого в корне сайта создайте (если отсутствует) обычный текстовый файл с именем robots.txt и включите первыми строками файла инструкции, приведенные ниже:

User-agent: *
Disallow: /

Подробнее о robots.txt рассказывается в англоязычной статье About /robots.txt .

Для Drupal создан модуль RobotsTxt, позволяющий избежать ручного редактирования файла robots.txt. Кроме того он поддерживает мультисайтинг.