Правильный Robots.txt Для Wordpress И Применение Мета Тега Robots

Опубликованно: 03/03/2013 |Комментарии: 0 | Показы: 70 |

Привет, друзья. Кое-кто в комментариях сегодня меня попросил написать пост про правильный robots.txt для WordPress. Я как-то даже смутился, потому что не представляю себе, как можно сделать robots неправильным. Наверное, все же можно, раз вы просите.

Это я к чему…

Я хочу вас познакомить сегодня с правильным robots.txt для WP с моей точки зрения.

А закрывать неугодные страницы мы будем моим любимым способом – при помощи метатегов.

Идеальный robots.txt для WordPress будет примерно такой:

User-Agent: * Disallow: /wp- Allow: /wp-content/uploads Host: site.ru Sitemap: http://site.ru/sitemap.xml

Ничего удивительного, если вы читали пост про DLE, там роботс вообще из 4-х строк.

Страницы, которые необходимо исключить из индекса, мы будем закрывать метатегом <meta name=»robots» content=»noindex»>.

Я не рекомендую использовать плагины, которые делают что-то подобное. То о чем я хочу рассказать – только хардкор, только PHP.Для реализации сегодняшних правок нам потребуется добавить всего одну функцию в файл functions.php нашей темы оформления.

Как обычно все гибко как конструктор – вы сам выбираете, что запретить от индексации, а что разрешить. Смотрим функцию:

/*** ДОБАВЛЯЕМ meta robots noindex,nofollow ДЛЯ СТРАНИЦ ***/ function my_meta_noindex () { if ( //is_archive() OR // Просмотр любых страниц архива - за месяц, за год, по категориям, по авторам, и т.д. //is_category() OR // Просмотр архива статей по категориям is_author() OR // Просмотр архива статей по авторам is_date() OR // Просмотр архива статей по любым датам //is_day() OR // Просмотр архива статей по дням //is_month() OR // Просмотр архива статей по месяцам //is_year() OR // Просмотр архива статей по годам is_tag() OR // Просмотр архива статей по тегам is_tax() OR // Просмотр архива статей по таксономии. Что это? //is_front_page() OR // Просмотр главной страницы сайта. То, что отображается на главной странице сайта http://site.ru/ См. в админке "Настройки" - "Чтение". Т.е. если в качестве главной выбрана статическая страница, то при просмотре главной страницы сайта и этой статической страницы, будет возвращено значение функции true. //is_home() OR // Главная страница блога. Та страница, на котороый выводятся последние записи блога. У меня, например это http://alaev.info/blog. См. в админке "Настройки" - "Чтение". Т.е. если в качестве страницы для вывода записей блога выбрана статическая страница, то при просмотре этой страницы, будет возвращено значение функции true. //is_singular() OR // Просмотр любых типов записей, включая одиночные посты, одиночные страницы, страницы прикрепленных файлов и т.д. //is_single() OR // Просмотр любого одиночного поста. Работает для любого типа постов, кроме страниц просмотра прикрепленных файлов и отдельных одиночных страниц //is_page() OR // Просмотр отдельной одиночной страницы (это то, что в разделе "Страницы" в админке) is_attachment() OR // Страницы просмотра прикрепленных файлов //is_paged() OR // Все и любые страницы пагинации is_search() // Страницы результатов поиска по сайту ) {echo "".'<meta name="robots" content="noindex,nofollow" />'."\n";} } add_action('wp_head', 'my_meta_noindex', 3); // добавляем свой noindex,nofollow в head

Рекомендую добавить все это дело в самое начало файла functions.php, но если хотите, можете добавить в любое место.

К каждой строке кода есть понятное описание. Некоторые строки закомментированы (двойной слеш перед строкой), а какие-то нет – я примерно прикинул, какой должен быть оптимальный вариант, и сразу настроил код таким образом.

Чтобы активировать какое-то правило достаточно удалить двойной слеш, а чтобы запретить правило, соответственно, двойной слеш надо добавить. Все просто и понятно, не так ли?

Некоторые правила можно комбинировать, например, если надо закрыть только страницы пагинации при просмотре архивов (категории, теги, авторы и т.д.), а основные страницы пагинации (например, http://site.ru/page/2 и т.д.) оставить доступными для роботов, то правило будет такое: 

( is_archive() && is_paged() ) OR

Чуть не забыл предупредить:
1. После закрытия страниц описанным выше способом, не забудьте удалить из robots.txt директивы, которые запрещают эти же страницы.
2. Некоторые плагины (например, All in One SEO, который установлен и у меня) тоже предлагают свои настройки индексации и добавляют мета-теги. Все это должно работать аналогичным путем. НО! Я рекомендую или отключить в плагине эти настройки, или не активировать их в моем коде. Мой способ гораздо более гибкий и настраиваемый, нежели плагины, потому выбор тут очевиден, не ошибитесь :)
3. Экспериментируйте, друзья, и найдите свой правильный robots.txt для WordPress! Но не забывайте проверять результаты своих экспериментов.

Ну все, дальше сами разберетесь :)

PS Все, что вы делаете по этой инструкции – вы делаете на свой страх и риск. И если вы вдруг полностью запретите индексацию сайта, то я тут не причем!

PPS По предыдущему опыту я вас предупреждаю — не смейте мне в комментариях выкладывать полностью содержание своего robots.txt и спрашивать правильный ли он и как дальше жить! Такие комменты я буду сразу удалять. Если хотите совета, то, в крайнем случае, давайте ссылку на ваш роботс.

Источник статьи: http://www.rusarticles.com/poisk-v-seti-statya/pravilnyj-robotstxt-dlya-wordpress-i-primenenie-meta-tega-robots-6484455.html

Обсудить статью

WordPress – один из самых полулярных инструментов для создания веб-сайтов, блогов. Сообщество WordPress предлагает огромный спектр бесплатных тем и плагинов для удобства и облегчения работы для людей, незнакомых с этим продуктом. Однако только установка WordPress не является достаточным средством для полноценной раскрутки вашего сайта или блога, ведь это целая наука и искусство которое постигается путём работы с огромным количеством плагинов WordPress. Представляю Вам список из 8 лучших плагинов

От: r1pleyl Интернет> Интернет-маркетингl 07/06/2011 lПоказы: 77

Один из самых важных файлов любого блога или сайта, файл roboys.txt. В данной статье рассматривается его создание на платформе blogger blogspot.

От: Danidarl Интернет> Блоггингl 07/09/2012 lПоказы: 132

Файл robots.txt содержит инструкции для поисковых роботов, в которые позволяют заблокировать индексацию части сайта. В статье рассказывается о способах проверки содержимого этого файла.

От: Стаценко Владимирl Интернетl 02/10/2007 lПоказы: 13,508

Несмотря на то, что максимально высоких результатов SEO-аудита вы сможете добиться, только прибегнув к сотрудничеству с профессионалами, вы и сами можете многому научиться, используя нижеописанное руководство, ссылки на внешние материалы и инструменты SEO, которые вы найдете во второй половине статьи. Для вашего удобства, все инструменты в статье кликабельные. В статье будут упоминаться инструменты Яндекса и Google, как самые главные и удобные инструменты для поискового продвижения.

От: MyAcademyl Маркетингl 20/08/2014 lПоказы: 16
Ferris Buller

Как правило, метки/теги это ключевые слова, которыми мы помечаем наши статьи для дополнительной навигации на сайте или блоге. Если метки открыты для индексации, то увеличивается внутренняя перелинковка. Облако меток на главной странице помогают поисковикам определить релевантность.

От: Ferris Bullerl Интернет> Блоггингl 11/10/2013
Алексей Кобзарев

Сегодня Вы узнаете как вести блог в интернете, об ошибках блоггеров и как вести свой блог правильно! Ошибках блоггеров, которые уже имеют свои сайты или блоги в интернете, это информация будет полезна блоггерам, которые только планируют создать интернет ресурс и зарабатывать на нем деньги!

От: Алексей Кобзаревl Интернет> Блоггингl 17/10/2013 lПоказы: 60
Ferris Buller

Хочу напомнить всем своим читателям, что одним из пунктов кредо моего блога является самостоятельное продвижение сайта, т.е. все чего я добиваюсь, является результатом моего труда! Чего и вам желаю!

От: Ferris Bullerl Интернет> Блоггингl 27/07/2013 lПоказы: 26
Ferris Buller

Как создать самостоятельно сайт за несколько дней, Вы узнает в этой статье.

От: Ferris Bullerl Интернет> Блоггингl 04/10/2013 lПоказы: 13
Геннадий Ольховский

Всех владельцев интернет ресурсов всегда затрагивал вопрос о дублирование контента на сайте, как влияет этот факт на оптимизацию проекта. Вот мы и рассмотрим этот вопрос.

От: Геннадий Ольховскийl Интернет> Блоггингl 25/07/2013
Пашка Павликов

Сегодня я хочу немного по рассуждать о таких двух и популярных поисковых системах, как Яндекс - Отечественная поисковая система и Google - более развитая за рубежом поисковая система. Обе системы по своему хорошо, но в последнее время у поисковой системы появились странные поисковые ходы... Специалисты Яндекса нам говорят, что они планируют сделать лучший поиск, но со стороны людей, все наоборот, поиск ужасен... ну да, выставили вэб мастера рекламу к себе на сайт, но они хотят на своем труде...

От: Пашка Павликовl Интернет> Поиск в сетиl 30/06/2013 lПоказы: 87
Ferris Buller

Здравствуйте уважаемые читатели. Возможно, вы заметили, справа в сайдбаре у меня появилось меню с виджетом Яндекса. Если вы на него нажмете, то добавите себе виджет моего блога на стартовую страницу Яндекса. Выглядеть это будет вот так: добавить виджет Сегодня я хочу вам рассказать, как создать себе аналогичный виджет своего блога и расскажу для чего он нужен.

От: Ferris Bullerl Интернет> Поиск в сетиl 24/06/2013 lПоказы: 181
Ferris Buller

Периодическая таблица SEO, факторы ранжирования. Здравствуйте уважаемые читатели, бороздя просторы интернета, я наткнулся на обновленную версию периодической таблицы SEO, которая впервые была анонсирована в 2010 году. Поэтому я и не хотел её выкладывать в блог, но на прошлой неделе вышло обновление.

От: Ferris Bullerl Интернет> Поиск в сетиl 23/06/2013 lПоказы: 89

Если раньше оптимизаторы продвигали сайты исключительно внешней ссылочной массой, не заостряя внимания на внутренней оптимизации и хорошем контенте, отвечающим всем необходимым требованиям, то теперь эта ситуация в корень изменилась. Без сомнения ссылки играют огромную роль в продвижении сайта, но закупка линков как таковая, перестала быть панацеей. ПС постоянно совершенствуются, как и совершенствуют свои алгоритмы, занижая значимость ссылок и их веса.

От: Русланl Интернет> Поиск в сетиl 03/06/2013 lПоказы: 83
Дмитрий

Для чего нужны каталоги сайтов? Чем они могут помочь рядовому пользователю интернета?

От: Дмитрийl Интернет> Поиск в сетиl 29/05/2013 lПоказы: 51

Политика Яндекса относительно включения страниц в поиск. А так же принципы общения с вебмастерами. Какие сайты Яндекс считает качественными.

От: Алекс Жукl Интернет> Поиск в сетиl 22/05/2013 lПоказы: 106

Для многих начинающих слово SEO выглядит очень страшно, но не так страшен черт, как его малюют, поэтому знать, как правильно начать продвижение и раскрутку собственного сайта просто необходимо.

От: Александраl Интернет> Поиск в сетиl 28/03/2013 lПоказы: 66

Сегодня мне принесли ноутбук с установленной ОС Windows xp и просьбой поменять её, так как пользователь поставил пароль на админа и забыл его . А ставить ос и весь софт уж очень долго (да мне просто лень) тогда я решил взломать пароль. Начал искать в интернете какие то тулзы и т.д. для взлома, нашел парочку но вот проблема нет болванки чтоб записать все это добро, а идти покупать лень да и флешку отдал другу.

От: rex13l Интернет> Поиск в сетиl 03/03/2013 lПоказы: 103

Сегодня мне принесли ноутбук с установленной ОС Windows xp и просьбой поменять её, так как пользователь поставил пароль на админа и забыл его . А ставить ос и весь софт уж очень долго (да мне просто лень) тогда я решил взломать пароль. Начал искать в интернете какие то тулзы и т.д. для взлома, нашел парочку но вот проблема нет болванки чтоб записать все это добро, а идти покупать лень да и флешку отдал другу.

От: rex13l Интернет> Поиск в сетиl 03/03/2013 lПоказы: 103
Блок автора
Категории статей
Quantcast