Многие считают что файл robots может управлять поисковыми ботами, так даже сами поисковые системы говорят, но как обычно, кто-нибудь и соврёт.
Например поисковая система Google игнорирует любые запреты:
- robots.txt
- <meta name=’robots’ content=’noindex,nofollow’ />
- <a href=’http://’ rel=’nofollow’></a>
Из мета тегов у меня работает только
- <meta name=’googlebot’ content=’noarchive’>
То есть запретить что-то индексировать гуглу очень сложно и если вы не хотите чтоб какой-то документ не был проиндексирован — не выкладывайте его в сеть.
Так же вы могли заметить что я упомянул тег rel=»nofollow» — многие проводили эксперимент и у многих этот тег работал, но всё же большинство склонно полагать что тег просто указывает гуглу что ссылка не должна передавать вес и не более, а переходить по ссылке гугл будет по собственным соображениям (не забываем про любопытство и желание найти ГС).
Если бы все и всё работало как часы, то сразу бы загнулись такие форумы как сёрч и маулталк или превратились в курилку.
Кстати в этом году в Крыму ожидается большой наплыв туристов и снять жильё будет очень сложно (я это знаю так как сам из Симферополя), но всё же возможно — источник: http://travelrent.com/, который содержит множество информации о том как снять подходящий домик в частном секторе Ялты.