SEO Поисковая Оптимизация От А до Я

Печать

SEO:Поисковая Оптимизация от А до Я => Разное. Расширенная оптимизация

seolib:Мы недавно выпустили свой SeoLib Toolbar Интересны Ваши отзывы Скачать обновленную его версию можно здесь http://blog.seolib.ru/seolib/obnovlennaya-versiya-seolib-toolbar-2-6-10.php

Подробнее, эту тему, вы можете почитать на следующей странице:http://www.seobuilding.ru/seo-

forum/seoservisy seo instrumenty i seo utility seo bary dlya brauzerov opera i firefox

Список поисковых ботов для User-agent в robots.txt

Автор:Сергей Кокшаров (Devaka)

Для запрета индексации вашего сайта или определенных разделов ресурса поисковыми ботами используется два метода:добавление мета тегов на страницу либо создание файла robots.txt. Часто вебмастера сталкиваются с вопросом о юзер-агенте ботов той или иной поисковой системы. Зная значения User-agent для поисковых ботов, можно запретить, либо наоборот, открыть доступ тому или иному боту, например следующими строками:

User-agent:* Disallow:/

User-agent:Mediapartners-Google Disallow:

Верхние строки запретят всем ботам индексировать контент, кроме бота AdSense (если на сайте показываются объявления AdSense).

Ниже приведен список наиболее часто встречаемых ботов, принадлежащих известным поисковым системам.

Поисковик URL User-agent

http://www.seobuilding.ru/seo-forum/index.php стр. 777 из 78 7  21.02.2011 http://www.seobuilding.ru/