Создаем Оптимальный Файл Robots.txt Для Blogger
Можно только порадоваться и погордиться последними нововведениями и работой ведущих специалистов платформы Blogger. Молодцы, ребята! Лично для меня большой радостью стала возможность работы со страницей 404, файлом robots.txt. Вы не представляете, как я завидовал блогерам, ведущих блоги на платформе WordPress? На этом не замысловатом барахлишке: ошибка 404, файл robots.txt - они уже, наверное, не одну собаку съели, а нам приходилось только облизываться)) Но, как говорится – дареному коню в зубы не смотрят, раз уж выбрал Blogger.
<!--more-->
Файл robots.txt – это обыкновенный текстовый документ с расширением txt, в котором прописаны инструкции для поисковиков: разрешить или запретить индексацию определенных частей блога - и который находится в корневой папке сайта по адресу http://ваш-домен.ру/robots.txt.
Раньше добраться до этой папки не было никакой возможности. Теперь вы можете на свое усмотрение доработать, дополнить этот файл. По умолчанию у меня, например, файл robots.txt имел такую структуру:
User-agent: Mediapartners-Google
Disallow:
User-agent:: *
Disallow: /search
Allow: /
Sitemap: http://www.danidar.ru/feeds/posts/default?orderby=UPDATED
Значение данных терминов: User-agent: Mediapartners-Google - юзер агент поискового робота Adsense;
Disallow – запрет доступа робота к определенному каталогу блога. Определение Disallow по Яндексу: "Эта директива используется для запрета от индексирования отдельных разделов сайта. С ее помощью необходимо закрывать от индексирования технические и не представляющие ценности ни для пользователя, ни для поисковых систем страницы. К ним относятся страницы с результатами поиска по сайту, статистика посещаемости сайта, дубликаты страниц, разнообразные логи, сервисные страницы баз данных и т.д.": User-agent: * - агент всех роботов; Allow - разрешение доступа.
Приведу пример такой структуры:
User-agent: *
Disallow: / - такая комбинация запретит доступ всех роботов ко всему содержимому блога.
Директива Allow наоборот открывает доступ.
Allow:/ - позволяет индексировать, например, карту блога (см.ниже).
Так же в файле robots.txt по умолчанию указан путь к карте блога – Sitemap. Это XML файл с информацией для поисковых машин о страницах сайта, которые подлежат индексации. Файл Sitemap облегчает поисковикам нахождения страниц.
А так определяет Sitemap сам Яндекс: "Для удобства вебмастеров и поисковых систем был разработан специальный формат карты сайта — sitemap. Это список ссылок на внутренние страницы сайта, представляемый в формате XML. Этот формат поддерживает и Яндекс. В специальном разделе сервиса можно загрузить sitemap для вашего сайта. Это позволит влиять на приоритет обхода роботом некоторых страниц вашего сайта. Например, если какие-то страницы обновляются гораздо чаще, чем другие, следует указать эту информацию, чтобы робот Яндекса правильно планировал свою работу".
Создаем оптимальный файл robots.txt для Blogger.
Заходим в настройки, далее в настройки поиска и в строке "пользовательский файл robots.txt" нажимаем на "изменить".
Откроется другое окно с выбором использования, в котором ажимаем "да".
Откроется форма, которую можно заполнить слиста или скопировать заранее приготовленный в блокноте текст.
В итоге я, например, добавил в файл одну строку, исключающую архив из индексации и у меня получился, на мой взгляд, оптимальный файл robots.txt:
Полностью файл выглядит так:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /*archive
Allow: /
Sitemap: http://www.danidar.ru/feeds/posts/default?orderby=UPDATED
Сохраняем изменения и чему-то радуемся))
Остальные пункты я оставил, как есть. Хотя, например, у блога Сергея Мазураша «Все гениальное просто» Sitemap выглядит иначе. Структура его файла robots.txt такова:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://vsegenialno.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Может тоже убрать лишнее и изменить Sitemap? Надо будет у него спросить о том, какие произошли перемены в индексации с изменением Sitemap?
Кстати, как изменить персонализированные теги robots для заголовков, можно почитать у него в статье "Как настроить теги robots для заголовков Blogger".
И еще один показательный пример изменения файла robots.txt в блоге "Шпаргалка блоггера". Файл выглядит таким замысловатым образом:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /
Disallow: /rpc_relay.html
Disallow: /p/soderzhanie.html
Disallow: /2010/09/s-nulya-do-znatoka-internet.html Disallow: /2012/02/soderzhanie1.html
Allow: /*.html$
Allow: /$
Allow: /feeds/posts/default?orderby=updated$
Sitemap: http://shpargalkablog.ru/feeds/posts/default?orderby=updated
Обо всем, что означает данная символика можно почитать в познавательной статье "Дублирование контента".
В любом случае, сейчас появилась возможность вносить изменения в структуру сайта на платформе Blogger и это, повторюсь, очень и очень здорово!
Ваш Данидар
Обсудить статью
Как создать сайт бесплатно? Помню, о первом своём сайте я задумался, когда мне было 14 лет. Я просто "бродил" по сети, и мне нравилось видеть хорошие сайты, я сам мечтал быть админом, управлять сайтом, делиться знаниями и всем прочим. Тогда меня интересовала игровая тематика. Так вот, тогда я и не знал, что существует множество бесплатных сервисов, где любой желающий может создать свой сайт/блог.
Наверное вас заинтриговал вопросец, творения личного web вебсайта. В том числе и более, вы твёрдо приняли решение, какую систему управления web-сайтом (CMS), вы будете применять на своём ресурсе.
Вот мы и поговорим о дополнительных способах раскрутки сайта. Информация, предоставляемая некоторыми сайтами, настолько уникальна, что с ней желает ознакомиться большинство юзеров. В этом случае односторонние ссылки являются независимой оценкой качества этого сайта.
Пишите качественные статьи, но их никто не читает? Вам нужно начать оптимизировать статьи, и количество просмотров увеличится в первые несколько дней! Всего лишь за несколько минут я научу вас как правильно оптимизировать статьи с помощью ключевых слов. Эффект гарантирован!
Где лучше создать сайт или блог бесплатно ? Если вам нужно создать какой либо сайт, блог, форум и т. д. бесплатно и вы задумались над вопросом где и как лучше это сделать, ниже дана информация, которую необходимо знать.
Здравствуйте уважаемые читатели! Сегодня я хочу вам рассказать о написание качественного контента, самый важней элемент в продвижении сайта/блога. Вы можете, сколько угодно привлекать аудиторию со сторонних сервисов, но если ваш контент написан не грамотно и не интересно, то «выхлоп» с этих усилий минимален.
Настал момент осветить этот пробел. Как вы наверняка замечали, при написании статьи, есть опция добавить медиа-файл. Это стандартный метод, но не самый удобный. Есть масса минусов его использования.
На самом деле, своими руками сделать блог или сайт весьма легко. И не имеет значения, какого вы возраста, пола, статуса. Непременно найдутся пользователи, которых заинтересуют ваши записи. Как вы наверняка догадались, далее я рассмотрю советы по созданию блога. Большинство новичков сбивает с толку выбор хостинга. На бесплатной основе нам точно не подойдет, даже не буду рассказывать причину. Честность фирмы, т.е. цена и качество сервиса должны отвечать обещанным в рекламе параметрам.
Понятие релевантность – в переводе с греческого облегчать, поднимать, в интернете — семантическое соответствие поискового запроса и поискового образа документа. Синоним понятию «релевантность» — «адекватность», то есть не только оценка степени соответствия, но и степени практической применимости результата, а также степени социальной применимости варианта решения задачи.
Он сделал компьютеры персональными и положил интернет в наши карманы. Никто не сможет рассказать о нем, как он сам. Его неординарные высказывания и речи понятны даже тем людям, чья жизнь никак не связана с высокими технологиями - простым людям.
Если немного пофантазировать, то такие правила, вернее, манеру жизни или поведения можно смело применить не только к фотографам, но и к музыкантам, художникам, некоторым категориям строителей и ко многим другим творческим профессиям, включая и властные структуры.
Людвиг Мис вон дер Роэ (нем.Ludwig Mies van der Rohe, настоящее имя нем.Maria Ludwig Michael Mies – Мария Людвиг Михаель Мис; 27.03.1886 – 17.08.1969) – основоположник рационалистической архитектуры в Германии, ведущий архитектор США, проектировщик небоскребов.
Добрых джазовых секунд жизни! Эта словесная импровизация больше подойдёт тем, кто хоть немного знаком с искусством импровизации в музыке и в частности – гитаристам. Необязательно профессиональным, необязательно играющим и знающим нотную грамоту, но навсегда полюбившим гитару. Речь пойдёт о цыганском гитаристе-виртуозе прошлого века, о Джанго Рейнхардте. Чем он отличается от других, не менее «крутых» гитаристов?
Все в нашем мире взаимосвязано. Это касается и самого искусства. Рассматривая картины - внутри звучит музыка. Слушая музыку - появляются образы.
Разговор пойдет об отношениях художника и критиков. Понимают ли они друг друга и смогут ли они когда-нибудь договориться между собой и прийти к единому мнению.
Статья о выдающемся современном музыканте, так рано ушедшим в потусторонний мир, Курте Кобейне.
Kieron Williamson - совсем юный мальчишка. Насколько хватит у него сил продолжать в таком же духе и дальше удивлять публику? О нем говорят, что он маленький Моне.
