Поисковые системы

Разделы: Поисковые системы

Принципы работы поисковиков.

Любая поисковая система состоит из следующих ключевых компонентов:

Spider (паук)
Crawler
Indexer (индексатор)
Database (база данных)
Search engine results engine (система выдачи результатов)
Web server (веб-сервер).

Spider (паук)
Программа, предназначенная для скачивания веб-страниц

Crawler (краулер, «путешествующий» паук)
Программа, определяющая ссылки на странице. Основная задача – составить список ссылок, по которым необходимо двигаться дальше.

Indexer (индексатор)
Программа, предназначенная для анализа страниц. Извлекает информацию из мета-тегов, выделяет ключевые слова на страницы, анализирует контент страницы и т.д.

Database
База данных поисковой системы, в которой хранятся все данные, необходимые для ранжирования и выдачи результатов.

Search engine results engine (система выдачи результатов)
Занимается ранжированием веб-страниц по запросам, определяет выдачу результатов. Имеет в своем составе так называемый кеш – специальная база данных, хранящая результаты по популярным запросом для экономии ресурсов поисковика.

Web server (веб-сервер)
Веб-сервер , обеспечивающий взаимодействие пользователей и поисковой системы в целом.