Правильный Robots.txt Для Wordpress И Применение Мета Тега Robots
Привет, друзья. Кое-кто в комментариях сегодня меня попросил написать пост про правильный robots.txt для WordPress. Я как-то даже смутился, потому что не представляю себе, как можно сделать robots неправильным. Наверное, все же можно, раз вы просите.
Это я к чему…
Я хочу вас познакомить сегодня с правильным robots.txt для WP с моей точки зрения.
А закрывать неугодные страницы мы будем моим любимым способом – при помощи метатегов.
Идеальный robots.txt для WordPress будет примерно такой:
User-Agent: * Disallow: /wp- Allow: /wp-content/uploads Host: site.ru Sitemap: http://site.ru/sitemap.xml
Ничего удивительного, если вы читали пост про DLE, там роботс вообще из 4-х строк.
Страницы, которые необходимо исключить из индекса, мы будем закрывать метатегом <meta name=»robots» content=»noindex»>.
Я не рекомендую использовать плагины, которые делают что-то подобное. То о чем я хочу рассказать – только хардкор, только PHP.Для реализации сегодняшних правок нам потребуется добавить всего одну функцию в файл functions.php нашей темы оформления.
Как обычно все гибко как конструктор – вы сам выбираете, что запретить от индексации, а что разрешить. Смотрим функцию:
/*** ДОБАВЛЯЕМ meta robots noindex,nofollow ДЛЯ СТРАНИЦ ***/ function my_meta_noindex () { if ( //is_archive() OR // Просмотр любых страниц архива - за месяц, за год, по категориям, по авторам, и т.д. //is_category() OR // Просмотр архива статей по категориям is_author() OR // Просмотр архива статей по авторам is_date() OR // Просмотр архива статей по любым датам //is_day() OR // Просмотр архива статей по дням //is_month() OR // Просмотр архива статей по месяцам //is_year() OR // Просмотр архива статей по годам is_tag() OR // Просмотр архива статей по тегам is_tax() OR // Просмотр архива статей по таксономии. Что это? //is_front_page() OR // Просмотр главной страницы сайта. То, что отображается на главной странице сайта http://site.ru/ См. в админке "Настройки" - "Чтение". Т.е. если в качестве главной выбрана статическая страница, то при просмотре главной страницы сайта и этой статической страницы, будет возвращено значение функции true. //is_home() OR // Главная страница блога. Та страница, на котороый выводятся последние записи блога. У меня, например это http://alaev.info/blog. См. в админке "Настройки" - "Чтение". Т.е. если в качестве страницы для вывода записей блога выбрана статическая страница, то при просмотре этой страницы, будет возвращено значение функции true. //is_singular() OR // Просмотр любых типов записей, включая одиночные посты, одиночные страницы, страницы прикрепленных файлов и т.д. //is_single() OR // Просмотр любого одиночного поста. Работает для любого типа постов, кроме страниц просмотра прикрепленных файлов и отдельных одиночных страниц //is_page() OR // Просмотр отдельной одиночной страницы (это то, что в разделе "Страницы" в админке) is_attachment() OR // Страницы просмотра прикрепленных файлов //is_paged() OR // Все и любые страницы пагинации is_search() // Страницы результатов поиска по сайту ) {echo "".'<meta name="robots" content="noindex,nofollow" />'."\n";} } add_action('wp_head', 'my_meta_noindex', 3); // добавляем свой noindex,nofollow в head
Рекомендую добавить все это дело в самое начало файла functions.php, но если хотите, можете добавить в любое место.
К каждой строке кода есть понятное описание. Некоторые строки закомментированы (двойной слеш перед строкой), а какие-то нет – я примерно прикинул, какой должен быть оптимальный вариант, и сразу настроил код таким образом.
Чтобы активировать какое-то правило достаточно удалить двойной слеш, а чтобы запретить правило, соответственно, двойной слеш надо добавить. Все просто и понятно, не так ли?
Некоторые правила можно комбинировать, например, если надо закрыть только страницы пагинации при просмотре архивов (категории, теги, авторы и т.д.), а основные страницы пагинации (например, http://site.ru/page/2 и т.д.) оставить доступными для роботов, то правило будет такое:
( is_archive() && is_paged() ) OR
Чуть не забыл предупредить:
1. После закрытия страниц описанным выше способом, не забудьте удалить из robots.txt директивы, которые запрещают эти же страницы.
2. Некоторые плагины (например, All in One SEO, который установлен и у меня) тоже предлагают свои настройки индексации и добавляют мета-теги. Все это должно работать аналогичным путем. НО! Я рекомендую или отключить в плагине эти настройки, или не активировать их в моем коде. Мой способ гораздо более гибкий и настраиваемый, нежели плагины, потому выбор тут очевиден, не ошибитесь
3. Экспериментируйте, друзья, и найдите свой правильный robots.txt для WordPress! Но не забывайте проверять результаты своих экспериментов.
Ну все, дальше сами разберетесь 
PS Все, что вы делаете по этой инструкции – вы делаете на свой страх и риск. И если вы вдруг полностью запретите индексацию сайта, то я тут не причем!
PPS По предыдущему опыту я вас предупреждаю — не смейте мне в комментариях выкладывать полностью содержание своего robots.txt и спрашивать правильный ли он и как дальше жить! Такие комменты я буду сразу удалять. Если хотите совета, то, в крайнем случае, давайте ссылку на ваш роботс.
Обсудить статью
WordPress – один из самых полулярных инструментов для создания веб-сайтов, блогов. Сообщество WordPress предлагает огромный спектр бесплатных тем и плагинов для удобства и облегчения работы для людей, незнакомых с этим продуктом. Однако только установка WordPress не является достаточным средством для полноценной раскрутки вашего сайта или блога, ведь это целая наука и искусство которое постигается путём работы с огромным количеством плагинов WordPress. Представляю Вам список из 8 лучших плагинов
Один из самых важных файлов любого блога или сайта, файл roboys.txt. В данной статье рассматривается его создание на платформе blogger blogspot.
Файл robots.txt содержит инструкции для поисковых роботов, в которые позволяют заблокировать индексацию части сайта. В статье рассказывается о способах проверки содержимого этого файла.
Несмотря на то, что максимально высоких результатов SEO-аудита вы сможете добиться, только прибегнув к сотрудничеству с профессионалами, вы и сами можете многому научиться, используя нижеописанное руководство, ссылки на внешние материалы и инструменты SEO, которые вы найдете во второй половине статьи. Для вашего удобства, все инструменты в статье кликабельные. В статье будут упоминаться инструменты Яндекса и Google, как самые главные и удобные инструменты для поискового продвижения.
Как правило, метки/теги это ключевые слова, которыми мы помечаем наши статьи для дополнительной навигации на сайте или блоге. Если метки открыты для индексации, то увеличивается внутренняя перелинковка. Облако меток на главной странице помогают поисковикам определить релевантность.
Сегодня Вы узнаете как вести блог в интернете, об ошибках блоггеров и как вести свой блог правильно! Ошибках блоггеров, которые уже имеют свои сайты или блоги в интернете, это информация будет полезна блоггерам, которые только планируют создать интернет ресурс и зарабатывать на нем деньги!
Хочу напомнить всем своим читателям, что одним из пунктов кредо моего блога является самостоятельное продвижение сайта, т.е. все чего я добиваюсь, является результатом моего труда! Чего и вам желаю!
Как создать самостоятельно сайт за несколько дней, Вы узнает в этой статье.
Всех владельцев интернет ресурсов всегда затрагивал вопрос о дублирование контента на сайте, как влияет этот факт на оптимизацию проекта. Вот мы и рассмотрим этот вопрос.
Сегодня я хочу немного по рассуждать о таких двух и популярных поисковых системах, как Яндекс - Отечественная поисковая система и Google - более развитая за рубежом поисковая система. Обе системы по своему хорошо, но в последнее время у поисковой системы появились странные поисковые ходы... Специалисты Яндекса нам говорят, что они планируют сделать лучший поиск, но со стороны людей, все наоборот, поиск ужасен... ну да, выставили вэб мастера рекламу к себе на сайт, но они хотят на своем труде...
Здравствуйте уважаемые читатели. Возможно, вы заметили, справа в сайдбаре у меня появилось меню с виджетом Яндекса. Если вы на него нажмете, то добавите себе виджет моего блога на стартовую страницу Яндекса. Выглядеть это будет вот так: добавить виджет Сегодня я хочу вам рассказать, как создать себе аналогичный виджет своего блога и расскажу для чего он нужен.
Периодическая таблица SEO, факторы ранжирования. Здравствуйте уважаемые читатели, бороздя просторы интернета, я наткнулся на обновленную версию периодической таблицы SEO, которая впервые была анонсирована в 2010 году. Поэтому я и не хотел её выкладывать в блог, но на прошлой неделе вышло обновление.
Если раньше оптимизаторы продвигали сайты исключительно внешней ссылочной массой, не заостряя внимания на внутренней оптимизации и хорошем контенте, отвечающим всем необходимым требованиям, то теперь эта ситуация в корень изменилась. Без сомнения ссылки играют огромную роль в продвижении сайта, но закупка линков как таковая, перестала быть панацеей. ПС постоянно совершенствуются, как и совершенствуют свои алгоритмы, занижая значимость ссылок и их веса.
Для чего нужны каталоги сайтов? Чем они могут помочь рядовому пользователю интернета?
Политика Яндекса относительно включения страниц в поиск. А так же принципы общения с вебмастерами. Какие сайты Яндекс считает качественными.
Для многих начинающих слово SEO выглядит очень страшно, но не так страшен черт, как его малюют, поэтому знать, как правильно начать продвижение и раскрутку собственного сайта просто необходимо.
Сегодня мне принесли ноутбук с установленной ОС Windows xp и просьбой поменять её, так как пользователь поставил пароль на админа и забыл его . А ставить ос и весь софт уж очень долго (да мне просто лень) тогда я решил взломать пароль. Начал искать в интернете какие то тулзы и т.д. для взлома, нашел парочку но вот проблема нет болванки чтоб записать все это добро, а идти покупать лень да и флешку отдал другу.
Сегодня мне принесли ноутбук с установленной ОС Windows xp и просьбой поменять её, так как пользователь поставил пароль на админа и забыл его . А ставить ос и весь софт уж очень долго (да мне просто лень) тогда я решил взломать пароль. Начал искать в интернете какие то тулзы и т.д. для взлома, нашел парочку но вот проблема нет болванки чтоб записать все это добро, а идти покупать лень да и флешку отдал другу.
