Многие считают что файл robots может управлять поисковыми ботами, так даже сами поисковые системы говорят, но как обычно, кто-нибудь и соврёт.

 

Например поисковая система Google игнорирует любые запреты:

  • robots.txt
  • <meta name='robots' content='noindex,nofollow' />
  • <a href='http://' rel='nofollow'></a>

Из мета тегов у меня работает только

  • <meta name='googlebot' content='noarchive'>

То есть запретить что-то индексировать гуглу очень сложно и если вы не хотите чтоб какой-то документ не был проиндексирован - не выкладывайте его в сеть.

Так же вы могли заметить что я упомянул тег rel="nofollow" - многие проводили эксперимент и у многих этот тег работал, но всё же большинство склонно полагать что тег просто указывает гуглу что ссылка не должна передавать вес и не более, а переходить по ссылке гугл будет по собственным соображениям (не забываем про любопытство и желание найти ГС).

Если бы все и всё работало как часы, то сразу бы загнулись такие форумы как сёрч и маулталк или превратились в курилку.

Кстати в этом году в Крыму ожидается большой наплыв туристов и снять жильё будет очень сложно (я это знаю так как сам из Симферополя), но всё же возможно - источник: http://travelrent.com/, который содержит множество информации о том как снять подходящий домик в частном секторе Ялты.