Проверка файла robots.txt

Опубликованно: 02/10/2007 |Комментарии: 0 | Показы: 13,508 |

Большинство современных сайтов построено с помощью систем управления контентом или, проще говоря, "движков". Ключевой особенностью таких систем является то, что страницы такого сайта создаются динамически на основе шаблонов и информации из базы данных. Такой подход обеспечивает очень гибкое и удобное управление сайтом, но при этом сайт будет содержать различного рода служебные файлы. Например, php скрипты, конфигурационные файлы, файлы шаблонов. Эти файлы невидимы для обычного пользователя (если он использует только ссылки размещённые на самом сайте), но могут быть проиндексированы поисковыми роботами.

Индексация таких файлов крайне не желательна, т.к. они не содержат вообще никакой полезной информации (тексты статей, комментарии и т.п. обычно находятся в базе данных), а трафик потребляется.

Файл robots.txt содержит набор правил, которые позволяют закрыть любые служебные каталоги сайта для индексирования.

Подходить к созданию такого файла нужно очень внимательно, т.к. можно легко скрыть страницы с полезным контентом.

В первую очередь можно поискать готовый файл robots.txt для вашего движка (для wordpress я нашел штук 5 разных файлов). После этого, проверьте, что все ко всем каталогам со служебными файлами закрыт доступ.

Следующим этапом будет проверка синтаксиса файла. Её удобно выполнять с помощью службы Яндекса (http://www.yandex.ru/cgi-bin/test-robots).

Теперь самое главное. Нужно проверить, что все страницы нашего сайта доступны для роботов. Тут удобно использовать службу Google webmasters tools (https://www.google.com/webmasters/tools/siteoverview?hl=ru). Для её использования вам придётся создать аккаунт и подтвердить право собственности на сайт (для этого нужно разместить файл со специальным именем в корне сайта).

Советую почитать "Все о файле robots.txt" и статью "Как проверить файл robots.txt".

Вот и все. Успешного "сайтостроительства".

Источник статьи: http://www.rusarticles.com/internet-statya/proverka-fajla-robotstxt-224651.html

Обсудить статью

Несмотря на то, что максимально высоких результатов SEO-аудита вы сможете добиться, только прибегнув к сотрудничеству с профессионалами, вы и сами можете многому научиться, используя нижеописанное руководство, ссылки на внешние материалы и инструменты SEO, которые вы найдете во второй половине статьи. Для вашего удобства, все инструменты в статье кликабельные. В статье будут упоминаться инструменты Яндекса и Google, как самые главные и удобные инструменты для поискового продвижения.

От: MyAcademyl Маркетингl 20/08/2014 lПоказы: 16

В статье приводится сравнительный анализ программ для специалистов в области поисковой оптимизации, выполненных в виде расширений для браузеров. Рассматриваются как ведущие российские, так и зарубежные программы, описываются их функции и возможности.

От: MTvl Интернет> Интернет-маркетингl 04/09/2007 lПоказы: 672
Ferris Buller

Хочу напомнить всем своим читателям, что одним из пунктов кредо моего блога является самостоятельное продвижение сайта, т.е. все чего я добиваюсь, является результатом моего труда! Чего и вам желаю!

От: Ferris Bullerl Интернет> Блоггингl 27/07/2013 lПоказы: 27

Этот вопрос волнует каждого кто занимется SEO, продвижением, зарабатывает или пытается заработать в интернете. Надо признать тема действительно интересная. У самого опыт не маленький работы с сайтами, но каждый свой сайт, когда добавляю в адурилки (это такие сервисы поисковых систем, с помощью которых вебмастера «сообщают» поисковикам о своих сайтах), потом очень тщательно мониторю на предмет индексации.

От: Александр Дестроевl Интернет> Блоггингl 25/02/2014

Прежде всего, отмечу, что такие направления, как поисковая выдача и услуги хостинга, должны быть определяющими в выборе методик продвижения.

От: freeseoblogrul Интернетl 09/07/2013 lПоказы: 179

Что такое % маркетинговых затрат? Какие показатели влияют на % маркетинговых затрат? Средний процент маркетинговых затрат e-commerce от 10% до 50%. Cредний процент маркетинговых затрат в сфере услуг от 15% до 60% Средний процент маркетинговых затрат e-commerce, при котором магазин становится прибыльным от 10% до 22% Средний процент маркетинговых затрат в сфере услуг, при котором магазин становится прибыльным от 13% до 22%

От: Андрейl Интернетl 04/07/2013 lПоказы: 152

Процесс разработки сайта дело пусть и трудное, однако весьма интересное, а при правильном подходе еще выгодное.

От: rabotacmsrul Интернетl 02/07/2013 lПоказы: 83

Комплексное, практичное решение для ТСЖ и УК: не только разработка и обновление официального сайта, но и своевременное выкладывание данных на государственном портале. Обращайтесь: pravila.org – с услугой сопровождения сайта управляющей организации штрафы за нарушение законодательства о раскрытии информации теперь не страшны!

От: pravilal Интернетl 21/06/2013 lПоказы: 42

Экскурс в создание сайтов. В этой статье кратко будут рассмотрены основные типы интернет ресурсов встречающихся на просторах всеммирной паутины.

От: Александрl Интернетl 09/06/2013 lПоказы: 106

Современному пользователю сети Интернет, а тем более владельцу собственного сайта, странно задаваться подобными вопросами. Это все равно, что спросить: «Почему важно использовать комплексный подход при пошиве костюма, а не ограничиваться только лишь рукавом?».

От: Exiterral Интернетl 29/04/2013 lПоказы: 46

Создание качественного сайта, все равно что евро-ремонт в квартире: подбираете качественные и модные материалы, думаете, куда и как поставить, начинаете спорить и в итоге смотрите на результат.

От: Exiterral Интернетl 23/04/2013 lПоказы: 56

Интернет-ресурсы в рекламном бизнесе заняли основательные положения. Пропаганда товаров и услуг в интернете завоевала неслыханный размах и является одним из популярных и эффективных средств рекламы различной продукции и услуг

От: Андрейl Интернетl 19/04/2013 lПоказы: 84
Блок автора
Категории статей
Quantcast