И.Ашманов:"Продвижение сайта в поисковых системах" |
Страница 69 из 278 Мета-тег ROBOTS Мета-теги — это невидимая пользователю служебная информация о документе, находящаяся в самом начале HTML-страницы. Упрощенно структура кода страницы выглядит так: chtml> <heacl> титул страницы, мета-теги </head> <body> текст, изображения </body> </'html> Тег <html> — это главное обозначение типа страницы, означающее, что эта страница представляет собой HTML-документ. В теге <head> размещаются мета-теги, заголовок (тег <title>) страницы и другая служебная информация, не отображаемая в основном тексте страницы. В теге <body> размещается текст страницы и другая информация (например, картинки), которая отображается в браузере пользователя. Мета-тег <meta name=" robots " content="..." > служит специально для управления индексацией конкретной страницы. С помощью различных инструкций, указываемых в атрибуте content="...", можно запрещать или разрешать индексацию страницы и проход роботом по ссылкам на странице. Подробнее об использовании мета-тега ROBOTS читайте в рекомендациях на сайтах поисковых систем, ссылки на которые вы найдете в конце главы. Файл robots.txt Файл robots.txt предназначен для хранения инструкций по индексированию сайта поисковыми роботами. Этот файл располагается в корневой директории сайта и запрашивается каждый раз при обращении робота к сайту. Суть записей в этом файле проста — указываем кому и что запрещено индексировать на сайте. Инструкций для разрешения индексации в файле robots . txt не предусмотрено, поэтому отсутствие этого файла на сайте означает, что будут индексироваться все встречаемые роботом страницы. Вот простейший пример содержимого файла robots.txt: User-agent:Stac.kRambler Disallow:/cgi-bin/ Эти две строки означают, что поисковому роботу Рамблера запрещено индексировать любые файлы я директории cgi-bin. Так как эти инструкции предназначены только для робота Рамблера, значит, все остальные поисковики будут индексировать все, в том числе и директорию cgi-bin. Как видно в этом примере, с помощью файла robots . txt можно запретить индексацию целой группы страниц, а не только одной. В конце главы вы найдете дополнительные ссылки, по которым находятся подробные рекомендации по использованию файла robots . txt. 84 Г лава 11 |
Тут можно глянуть на обои аквариум бесплатно заходи и качай