SEO Поисковая Оптимизация От А до Я

SF.O- Ппигкпкая Оптимизация от А до Я => Блоги, форумы, движки

User-agent должна быть хотя бы одна директива Disallow (обычно ставят пустую, ничего не запрещающую):

1 User-agent:Yandex

2 Disallow:

3 Host:www.site.ru

либо

1 User-agent:Yandex

2 Disallow:

3 Host:site.ru

в зависимости от того что для вас оптимальнее.

Директива Sitemap указывает на местоположение карты сайта в формате .xml. В качестве параметра указывается путь к файлу, включая http://. Например:

1 Sitemap:http://site.ru/sitemap.xml

Назначение и синтаксис мета-тега Robots

Существует альтернативный способ сообщить роботам поисковиков о том, можно ли индексировать данную конкретную страницу или нет. Для этого внутри тега "HEAD" нужной страницы, прописывается МЕТА-тег "Robots" и так повторяется для всех страниц, к которым нужно применить то или иное правило индексации. Пример применения мета-тега:

В этом случае роботы всех поисковых систем должны будут забыть об индексации этой страницы (об это говорит noindex в мета-теге) и анализе размещенных на ней ссылок (об этом говорит nofollow) .

Существуют только две пары директив:[no]index и [no]follow. Index указывают, может ли робот индексировать страницу. Follow - может ли он следовать по ссылкам со страницы. Значения по умолчанию - "index" и "follow". Есть также укороченный вариант написания с использованием "all" и "none", которые обозначают активность всех директив или, соответственно, наоборот:all=index,follow и none=noindex,nofollow.

Для блога на WordPress вы сможете настроить мета-тег Robots, например, с помощью плагина All in One SEO Pack - Боремся с дублированием контента в блоге на WordPress, запрещая индексацию архивов тегов, категорий или временных архивов в плагине All in One SEO Pack

Ну все, с теорией покончено и пора переходить к практике, а именно, к составлению оптимальных файлов robots.txt для Joomla, SMF и WordPress. Но об этом уже во второй части статьи.

Вторая часть:

http://www.seobuilding.ru/seo-forum/index.php стр. 547 из 78 7 21.02.2011  http://www.seobuilding.ru/