Google: как это работает?
Dan Crow, директор индексаторского отдела google в докладе на очередном семинаре поведал миру о некоторых неизвестных моментах работы поисковика. Во-первых, Google стал понимать новые тэги:
- nosnippet - Google перестанет показывать сниппет (описание) вашей страницы в выдаче
- noarchive - система перестанет показывать кэш-версию сайта
- unavailable_after - позволит веб-мастеру сказать Google, когда конкретная страница будет более не доступна для индексации.
Кроме того, Dan рассказал, что такое supplemental results и как можно убрать оттуда различные URLы: по замыслу supplemental index - это индекс, в который попадают страницы с низким PageRank‘ом или те, которые редко обновляются. Эти страницы показываются в результатах поиска Google, только если в основном индексе не найдено достаточно релевантных вариантов. Есть хорошие новости: Google начинает сканировать supplemental index более часто, сводя на нет различие в скорости сканирования supplemental index и основного индекса. К тому же, чтобы вернуть ваши URLы в основной индекс, он посоветовал получить больше входящих ссылок.
Полная версия доклада на английском и перевод от egorych.

