«Дисаллоу» является одной из основных файловых директив robots.txt. Она не разрешает поисковикам «обнаруживать» файлы, которые указаны непосредственно после нее.
Когда необходимо целиком выполнить отключение видимости веб-ресурса для поисковых систем, то в robots.txt необходимо указать Disallow: /.
Главная задача «Дисаллоу»
Главная задача «Дисаллоу», предназначенной для запрета, — это сберечь время, которое тратится в связи
