Поисковые Роботы, Кто Они

Опубликованно: 05/11/2008 | Комментарии: 0 | Просмотры: 29

Поисковые роботы – это специальные программы, которые постоянно сканируют содержание сети интернет. Здесь нужно сделать небольшую, но очень важную поправку – роботы сканируют только текст, т.е. только веб-страницы на языках html, htm, shtml, xml и т.п. Все остальные файлы (архивы, графика, музыка, видео) роботы не трогают. Чаще всего вместо слова робот, используют слово поисковик, или поисковая машина, хотя это не верно. Поисковую машину в упрощённом виде можно представить как комплекс взаимосвязанных элементов, в которые обязательно входят:
1. Поисковый робот
2. База данных
3. Интерфейс для работы с пользователями (веб-сайт)

Дабы не запутать читателей, из этого списка я намеренно убрал такие элементы как обработчик запросов, различные дополнительные сервисы, которыми обладает каждый поисковик.

Зачем нужны роботы?
Интернет – это огромная сеть, содержащая огромное количество информации в которой хоть как ни будь, но нужно ориентироваться, т.е. иметь возможность найти в нужный момент времени нужные данные. Как раз для этого и нужны поисковики. 
Чтобы поисковик знал, по какому адресу в интернете что лежит, ему нужно предварительно просмотреть все сайты и занести их содержание в собственную базу данных. Этим-то как раз и занимается поисковый робот. Затем, при получении запроса, поисковик просматривает собственную базу данных и выдаёт пользователю результаты по его запросу.

Казалось бы, столько шума из-за того, что по сайту разок пройдётся программа и его прочитает. Но роботы просматривают сайты не один и не два раза, они делают это постоянно, т.к. информация в сети постоянно изменяется, какие-то сайты появляются вновь, какие-то перестают работать, на некоторых страницах происходят изменения, поэтому, в базу данных поисковика необходимо постоянно вносить данные обо всех изменениях, произошедших в сети. В противном случае, через месяц результаты, выдаваемые в ответ на запросы, будут устаревшими, следовательно, неудовлетворительными.

Чем мощнее компьютер, на котором установлена программа-робот, тем большее количество страниц может быть просмотрено в единицу времени (например, в час, или в день). Такой просмотр страницы называется индексацией. Когда робот просмотрел все страницы сайта, говорят, что данный сайт проиндексирован. Но в интернете огромное количество веб-страниц, как робот успевает обходить все?

Роботы настраиваются таким образом, чтобы заходить на разные сайты с разным интервалом. Если сайт обновляется очень часто, то робот посещает его раз в день, или чаще. Если же раз за разом заходя на один и тот же сайт, робот не находит на нём никаких изменений и дополнений, то частота заходов на этот сайт в дальнейшем постепенно снижается. В итоге индексация сайта может происходить только раз в месяц, или реже.

Как робот ориентируется в сети?
Передвижение от сайта к сайту осуществляется по ссылкам. Когда робот в очередной раз просматривает в поисках обновлений сайт, он замечает на нём все ссылки, некоторые из них ему уже известны (т.е. адреса этих сайтов уже есть в его базе данных), а некоторые он видит впервые. Во втором случае робот либо немедленно переходит по новой ссылке, либо заносит её себе в «задания» и вернётся к ней через некоторое время.

(RusArticles SC #629864)


Источник статьи: http://www.rusarticles.com/poisk-v-seti-statya/poiskovye-roboty-kto-oni-629864.html

Тэги статьи:

Поисковый робот

Давайте посмотрим правде в глаза и признаем, что в поисковой оптимизации мало что зависит от дизайна. Конечно, это достаточно общее высказывание, на которое тут же обидятся дизайнеры. Но это действительно так.

От: Римма Салахова l Интернет > Веб дизайн l 23/01/2007 l Просмотры: 143
Svart

Основное понятие о поисковом спаме и методах поискового спама. Дорвеи, свопинг, клоакинг, редирект, наполнение страниц ключевыми фразами - все это и есть поисковый спам.

От: Svart l Интернет > SEO l 19/12/2009 l Просмотры: 11

Бесплатная индексация в поисковых системах и продвижение сайта

От: Николай l Интернет > SEO l 11/02/2009 l Просмотры: 69

http://koxa.at.ua

От: koxakos l Интернет > Веб дизайн l 17/11/2009 l Просмотры: 27

На определенной ступени развития компании руководитель ее решает, что возникла необходимость осуществления интернет-поддержки компании и заказывает разработку сайта.

От: gul_itb l Интернет > SEO l 28/08/2009 l Просмотры: 17

В условиях постоянно растущего числа Интернет-пользователей оптимизация и раскрутка сайта коммерческой фирмы становится обязательным этапом после создания сайта.

От: gul_itb l Интернет > SEO l 25/09/2009 l Просмотры: 3

Продвижение сайта – услуга не из дешевых. Ведь оптимизация под самые популярные и высокочастотные запросы связана с серьезной конкуренцией и повышенными требованиями как к самому сайту, так и к процессу его продвижения. Вследствие этого мы часто имеем довольно неутешительный итог – снижение конверсии посетителей в покупателей, несмотря на крупные средства, вложенные в раскрутку.

От: Ustas l Интернет > SEO l 24/03/2009 l Просмотры: 9

В русском сегменте глобальной сети существует масса блогов разных тематик, от блогов о детских мультиках до блогов о квантовой физике. Нет такой тематики, которой был бы не посвящен блог, ведь блоги стали очень популярными и ежедневно в РуНете открывается огромное количество блогов.

От: KirKor l Интернет > Поиск в сети l 12/03/2010 l Просмотры: 7

Все кто прочтет ету новость, никогда больше не зададут вопрос где найти програму, скачать обои, посмотреть фильм, или послушать музыку.

От: zaligvas l Интернет > Поиск в сети l 11/03/2010 l Просмотры: 7

В наш век сплошной компьютеризации мы частенько упускаем из виду желания и потребности наших детей. Да, многие из них прекрасно ладят с компьютером и считают Интернет чуть ли не родным домом. Но что они там ищут? Вопрос риторический. Ищут, чтобы что-то найти.

От: spelcastl l Интернет > Поиск в сети l 09/03/2010 l Просмотры: 7

Жить в Харькове становиться все сложнее и сложнее, с каждым днем открывается все больше и больше новых фирм, организаций и т.д. возникает потребность хоть как то быстрее отслеживать эту информацию, дабы быть в курсе последних событий, я и пишу эту статью, именно для тех кто не спит и существует Харьков Портал.

От: Александр l Интернет > Поиск в сети l 05/03/2010 l Просмотры: 2

Всякий из нас в какое-то время столкнется с желанием поменять личную реальность. Разумеется, в лучшую сторону. Сменить мебель в доме или хоть бы сдвинуть в сторону письменный прибор на своем столе. Однако даже для таких изменений порой сложно найти время и силы.

От: 234sha l Интернет > Поиск в сети l 25/02/2010 l Просмотры: 5

Здесь вы можете легко найти интересующий вас товар и место, где его можно купить. Это ваш лучший поисковик покупок !

От: Андрей l Интернет > Поиск в сети l 22/02/2010 l Просмотры: 5

Поиски необходимой информации всегда волновали людей, в частности, связанных по роду деятельности с этой информацией: школьников, научных работников, исследователей, журналистов и т. П. При отсутствии современных познаний далеко не уйдешь. Часто бывшие студенты считают, что в ВУЗах их учили не умениям, а работе с информацией: умению искать, выделению главного. Главный вопрос — как и где искать!

От: Юлия Кушнир l Интернет > Поиск в сети l 03/02/2010 l Просмотры: 3

Рассмотрение результатов опроса почему покупатели ищут магазины для осуществления своих покупок именно в Интернет.

От: Владимир l Интернет > Поиск в сети l 30/01/2010 l Просмотры: 5

Часто на форумах встречаешь посты: Есть в seo деньги? Есть ли в Интернете деньги? Как быстро заработать в сети? и т.д.

От: brabus55 l Интернет > SEO l 05/11/2008 l Просмотры: 64

Зачастую, успех в раскрутке сайта определяется ещё до его создания, т.е. при выборе доменного имени. Главное в имени сайта – это простота. Простое имя легко запомнить, легко выговорить, просто продиктовать по телефону, его можно быстро записать. Одним словом – преимуществ у простого доменного имени просто масса.

От: brabus55 l Интернет > SEO l 05/11/2008 l Просмотры: 47

Часто встречаешь людей которые занимаются seo и очень часто не понимают языка seo, точнее seo сленга. Вот в этой статье я и решил написать все, ну или самые важные выражения:

От: brabus55 l Интернет > SEO l 05/11/2008 l Просмотры: 56

САР – системы автоматической раскрутки. Сразу хочу предупредить, что в этой статье я не собираюсь агитировать кого-либо вступать в подобные системы, а просто расскажу об их истории, принципе работы и ситуации в настоящее время.

От: brabus55 l Интернет > SEO l 05/11/2008 l Просмотры: 19

Поисковые роботы – это специальные программы, которые постоянно сканируют содержание сети интернет. Здесь нужно сделать небольшую, но очень важную поправку – роботы сканируют только текст, т.е. только веб-страницы на языках html, htm, shtml, xml и т.п. Все остальные файлы (архивы, графика, музыка, видео) роботы не трогают. Чаще всего вместо слова робот, используют слово поисковик, или поисковая машина, хотя это не верно. Поисковую машину в упрощённом виде можно представить как комплекс взаимосвя

От: brabus55 l Интернет > Поиск в сети l 05/11/2008 l Просмотры: 29

Многие компании совершают типовую ошибку - создают сайт, но не используют все его возможности и, как следствие, теряют часть дохода. Я расскажу о том, как не допустить одну из самых распространенных ошибок.

От: brabus55 l Интернет > SEO l 05/11/2008 l Просмотры: 17

Их звучные имена у всех на слуху, но не многие пользователи догадываются об истинном значении этих слов. Что значит Google? Нужно ли бояться Inktomi? Кто и при каких обстоятельствах придумал назвать Яндекс - Яндексом, а Рамблер - Рамблером?

От: brabus55 l Интернет > Поиск в сети l 05/11/2008 l Просмотры: 14

Корпорация Microsoft заявила о своем намерении открыть три новых центра в Британии, Франции и Германии, которые будут заниматься улучшением и разработкой новых технологий поиска в интернете.

От: brabus55 l Интернет > Поиск в сети l 05/11/2008 l Просмотры: 12

Добавить новый комментарий

 
* Необходимые поля
Блок автора
Категории статей
Все категории