Создаем Оптимальный Файл Robots.txt Для Blogger

Опубликованно: 07/09/2012 |Комментарии: 0 | Показы: 80 |

    robot+копия+2.jpgМожно только порадоваться и погордиться последними нововведениями и работой ведущих специалистов платформы Blogger. Молодцы, ребята! Лично для меня большой радостью стала возможность работы со страницей 404, файлом robots.txt. Вы не представляете, как я завидовал блогерам, ведущих блоги на платформе WordPress? На этом не замысловатом барахлишке: ошибка 404, файл robots.txt - они уже, наверное, не одну собаку съели, а нам приходилось только облизываться)) Но, как говорится – дареному коню в зубы не смотрят, раз уж выбрал Blogger.

<!--more-->

Файл robots.txt – это обыкновенный текстовый документ с расширением txt, в котором прописаны инструкции для поисковиков: разрешить или запретить индексацию определенных частей блога - и который находится в корневой папке сайта по адресу http://ваш-домен.ру/robots.txt. 

Раньше добраться до этой папки не было никакой возможности. Теперь вы можете на свое усмотрение доработать, дополнить этот файл. По умолчанию у меня, например, файл robots.txt имел такую структуру: 

User-agent: Mediapartners-Google

Disallow:

User-agent::  *

Disallow:  /search

Allow:  /  

Sitemap: http://www.danidar.ru/feeds/posts/default?orderby=UPDATED 

Значение данных терминов:   User-agent: Mediapartners-Google - юзер агент поискового робота Adsense;

Disallow – запрет доступа робота к определенному каталогу блога. Определение Disallow по Яндексу: "Эта директива используется для запрета от индексирования отдельных разделов сайта. С ее помощью необходимо закрывать от индексирования технические и не представляющие ценности ни для пользователя, ни для поисковых систем страницы. К ним относятся страницы с результатами поиска по сайту, статистика посещаемости сайта, дубликаты страниц, разнообразные логи, сервисные страницы баз данных и т.д.":   User-agent: * - агент всех роботов;   Allow - разрешение доступа. 

Приведу пример такой структуры: 
User-agent: * 
Disallow: / - такая комбинация запретит доступ всех роботов ко всему содержимому блога. 


Директива Allow наоборот открывает доступ. 
Allow:/ - позволяет индексировать, например, карту блога (см.ниже).
Так же в файле robots.txt по умолчанию указан путь к карте блога – Sitemap. Это XML файл с информацией для поисковых машин о страницах сайта, которые подлежат индексации. Файл Sitemap облегчает поисковикам нахождения страниц. 


А так определяет Sitemap сам Яндекс: "Для удобства вебмастеров и поисковых систем был разработан специальный формат карты сайта — sitemap. Это список ссылок на внутренние страницы сайта, представляемый в формате XML. Этот формат поддерживает и Яндекс. В специальном разделе сервиса можно загрузить sitemap для вашего сайта. Это позволит влиять на приоритет обхода роботом некоторых страниц вашего сайта. Например, если какие-то страницы обновляются гораздо чаще, чем другие, следует указать эту информацию, чтобы робот Яндекса правильно планировал свою работу". 

Создаем оптимальный файл robots.txt для Blogger. 
Заходим в настройки, далее в настройки поиска и в строке "пользовательский файл robots.txt" нажимаем на "изменить". 

  Image+1+копия.jpg

Откроется другое окно с выбором использования, в котором ажимаем "да".

Image+2+копия.jpg

Откроется форма, которую можно заполнить слиста или скопировать заранее приготовленный в блокноте текст.


Image+3+копия.jpg

В итоге я, например, добавил в файл одну строку, исключающую архив из индексации и у меня получился, на мой взгляд, оптимальный файл robots.txt:

Image+4+копия.jpg  

Полностью файл выглядит так:

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Disallow: /*archive

Allow: /  

Sitemap: http://www.danidar.ru/feeds/posts/default?orderby=UPDATED 

Сохраняем изменения и чему-то радуемся))
Остальные пункты я оставил, как есть. Хотя, например, у блога Сергея Мазураша «Все гениальное просто» Sitemap выглядит иначе. Структура его файла robots.txt такова: 

User-agent: *

Disallow: /search

Allow: /  

Sitemap: http://vsegenialno.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500 

Может тоже убрать лишнее и изменить Sitemap? Надо будет у него спросить о том, какие произошли перемены в индексации с изменением Sitemap? 
Кстати, как изменить персонализированные теги robots для заголовков, можно почитать у него в статье "Как настроить теги robots для заголовков Blogger". 

И еще один показательный пример изменения файла robots.txt в блоге "Шпаргалка блоггера". Файл выглядит таким замысловатым образом:

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /

Disallow: /rpc_relay.html

Disallow: /p/soderzhanie.html

Disallow: /2010/09/s-nulya-do-znatoka-internet.html Disallow: /2012/02/soderzhanie1.html

Allow: /*.html$

Allow: /$

Allow: /feeds/posts/default?orderby=updated$

Sitemap: http://shpargalkablog.ru/feeds/posts/default?orderby=updated

Обо всем, что означает данная символика можно почитать в познавательной статье "Дублирование контента". 


В любом случае, сейчас появилась возможность вносить изменения в структуру сайта на платформе Blogger и это, повторюсь, очень и очень здорово!


Ваш Данидар

Источник статьи: http://www.rusarticles.com/blogging-statya/sozdaem-optimalnyj-fajl-robotstxt-dlya-blogger-6173313.html

Обсудить статью

Как создать сайт бесплатно? Помню, о первом своём сайте я задумался, когда мне было 14 лет. Я просто "бродил" по сети, и мне нравилось видеть хорошие сайты, я сам мечтал быть админом, управлять сайтом, делиться знаниями и всем прочим. Тогда меня интересовала игровая тематика. Так вот, тогда я и не знал, что существует множество бесплатных сервисов, где любой желающий может создать свой сайт/блог.

От: manofctl Интернет> Веб дизайнl 02/03/2014
Охота и Рыбалка

Наверное вас заинтриговал вопросец, творения личного web вебсайта. В том числе и более, вы твёрдо приняли решение, какую систему управления web-сайтом (CMS), вы будете применять на своём ресурсе.

От: Охота и Рыбалкаl Интернет> Блоггингl 10/07/2013 lПоказы: 167
Геннадий Ольховский

Вот мы и поговорим о дополнительных способах раскрутки сайта. Информация, предоставляемая некоторыми сайтами, настолько уникальна, что с ней желает ознакомиться большинство юзеров. В этом случае односторонние ссылки являются независимой оценкой качества этого сайта.

От: Геннадий Ольховскийl Интернет> Блоггингl 28/06/2013 lПоказы: 82

Пишите качественные статьи, но их никто не читает? Вам нужно начать оптимизировать статьи, и количество просмотров увеличится в первые несколько дней! Всего лишь за несколько минут я научу вас как правильно оптимизировать статьи с помощью ключевых слов. Эффект гарантирован!

От: Farhad Mahmudoffl Интернет> Блоггингl 28/06/2013 lПоказы: 69
Роман Борисов

Где лучше создать сайт или блог бесплатно ? Если вам нужно создать какой либо сайт, блог, форум и т. д. бесплатно и вы задумались над вопросом где и как лучше это сделать, ниже дана информация, которую необходимо знать.

От: Роман Борисовl Интернет> Блоггингl 16/06/2013 lПоказы: 163
Ferris Buller

Здравствуйте уважаемые читатели! Сегодня я хочу вам рассказать о написание качественного контента, самый важней элемент в продвижении сайта/блога. Вы можете, сколько угодно привлекать аудиторию со сторонних сервисов, но если ваш контент написан не грамотно и не интересно, то «выхлоп» с этих усилий минимален.

От: Ferris Bullerl Интернет> Блоггингl 11/06/2013 lПоказы: 56
Ferris Buller

Настал момент осветить этот пробел. Как вы наверняка замечали, при написании статьи, есть опция добавить медиа-файл. Это стандартный метод, но не самый удобный. Есть масса минусов его использования.

От: Ferris Bullerl Интернет> Блоггингl 10/06/2013 lПоказы: 35

На самом деле, своими руками сделать блог или сайт весьма легко. И не имеет значения, какого вы возраста, пола, статуса. Непременно найдутся пользователи, которых заинтересуют ваши записи. Как вы наверняка догадались, далее я рассмотрю советы по созданию блога. Большинство новичков сбивает с толку выбор хостинга. На бесплатной основе нам точно не подойдет, даже не буду рассказывать причину. Честность фирмы, т.е. цена и качество сервиса должны отвечать обещанным в рекламе параметрам.

От: chaica13l Интернет> Блоггингl 07/06/2013 lПоказы: 42
Ferris Buller

Понятие релевантность – в переводе с греческого облегчать, поднимать, в интернете — семантическое соответствие поискового запроса и поискового образа документа. Синоним понятию «релевантность» — «адекватность», то есть не только оценка степени соответствия, но и степени практической применимости результата, а также степени социальной применимости варианта решения задачи.

От: Ferris Bullerl Интернет> Блоггингl 21/05/2013 lПоказы: 59

Он сделал компьютеры персональными и положил интернет в наши карманы. Никто не сможет рассказать о нем, как он сам. Его неординарные высказывания и речи понятны даже тем людям, чья жизнь никак не связана с высокими технологиями - простым людям.

От: Danidarl Разноеl 02/03/2013 lПоказы: 11

Если немного пофантазировать, то такие правила, вернее, манеру жизни или поведения можно смело применить не только к фотографам, но и к музыкантам, художникам, некоторым категориям строителей и ко многим другим творческим профессиям, включая и властные структуры.

От: Danidarl Хобби и Увлечения> Фото и видеосъемкаl 02/03/2013 lПоказы: 31

Людвиг Мис вон дер Роэ (нем.Ludwig Mies van der Rohe, настоящее имя нем.Maria Ludwig Michael Mies – Мария Людвиг Михаель Мис; 27.03.1886 – 17.08.1969) – основоположник рационалистической архитектуры в Германии, ведущий архитектор США, проектировщик небоскребов.

От: Danidarl Культура> Архитектураl 02/03/2013 lПоказы: 77

Добрых джазовых секунд жизни! Эта словесная импровизация больше подойдёт тем, кто хоть немного знаком с искусством импровизации в музыке и в частности – гитаристам. Необязательно профессиональным, необязательно играющим и знающим нотную грамоту, но навсегда полюбившим гитару. Речь пойдёт о цыганском гитаристе-виртуозе прошлого века, о Джанго Рейнхардте. Чем он отличается от других, не менее «крутых» гитаристов?

От: Danidarl Культура> Музыкаl 02/03/2013 lПоказы: 58

Все в нашем мире взаимосвязано. Это касается и самого искусства. Рассматривая картины - внутри звучит музыка. Слушая музыку - появляются образы.

От: Danidarl Культура> Народное творчествоl 15/12/2012 lПоказы: 43

Разговор пойдет об отношениях художника и критиков. Понимают ли они друг друга и смогут ли они когда-нибудь договориться между собой и прийти к единому мнению.

От: Danidarl Культура> Живописьl 29/11/2012 lПоказы: 44

Статья о выдающемся современном музыканте, так рано ушедшим в потусторонний мир, Курте Кобейне.

От: Danidarl Культура> Музыкаl 07/09/2012 lПоказы: 106

Kieron Williamson - совсем юный мальчишка. Насколько хватит у него сил продолжать в таком же духе и дальше удивлять публику? О нем говорят, что он маленький Моне.

От: Danidarl Культура> Живописьl 03/09/2012 lПоказы: 66
Блок автора
Категории статей
Quantcast