Узнаём кто индексирует сайт

Как узнать кто индексирует сайтИногда хочется узнать кто индексирует сайт быстрее всех, робот яндекса или робот гугла, сегодня мы узнаем как отслеживать поисковых роботов и при каждом посещении сайта одним из роботов отсылать нам на email письмо с тем какой робот зашёл и какую страницу он индексирует.

Скрипт довольно полезен для тех кто недавно вывел сайт в сеть и хочет узнать через какое время робот попадёт на сайт и попадёт ли он вообще.

Так же отслеживать поисковых роботов данным скриптом будет полезно и при оптимизации сайта, когда вы изменяете структуру сайта или проводите внешнюю оптимизацию, полезно будет посмотреть на то как воспримет поисковой робот ваши действия.

<?php
if ( strpos( $_SERVER['HTTP_USER_AGENT'],'Googlebot' ) !== false ) {
	$mail = 'splishmail@mail.ru';
	mail($mail,'Googlebot for world-networks.ru',
	'Googlebot посетил мою страницу на сайте world-networks.ru: '.$_SERVER['REQUEST_URI']);
}
?>

Там где написано Googlebot мог быть другой USER_AGENT робота, например USER_AGENT яндекса который имеет вид YandexBot

Скрипт отслеживания поисковых роботов можно настроить под любой поисковой робот, вот несколько ботов которых вы сможете отслеживать:

  • StackRambler - Rambler
  • Slurp - Yahoo
  • MSNBot - MSN
  • ia_archiver - Alexa

Данный скрипт вставляется в начале страницы, вставлять скрипт нужно на все страницы за которыми вы хотите следить, делать это можно с помощью require_once();

Список большинства известных поисковых систем предоставлен ниже:

Список USER_AGENT поисковых систем

Поделитесь ссылкой если мы вам помогли!

Читайте также:

Примеры css3 свойств для ваших сайтов

Горизонтальное меню с помощью css (5 видов)

Создаём парсер сайтов

Влияние внутренних факторов сайта на раскрутку

Какой хостинг лучше выбрать

Комментарии:

Добавленно - 2011-03-09

Kolyas пишет:

Я впервые узнал более понятно об индексации сайтов, мне эта статья очень помогла, потому что раньше я думал что это способ предоставления данных, а не извлеченный роботом текст и особенности оформления, спасибо! Это очень поможет для тех кто впервые узнал об этом!

Добавленно - 2011-03-07

vitalg пишет:

Когда находятся люди которые объясняют все как и с чего начать двигаться, это всегда выше всяких похвал. Да еще к тому же снабжает и скриптом. В сети мало тех, кто делает это просто так, от доброты душевной. Новичкам в этом деле просто повезло.

Добавленно - 2011-05-03

Fader пишет:

Отслеживание поисковых роботов не такая уж и трудная задача, как кажется на первый взгляд :)
Спасибо за скрипт, теперь не один поисковой робот не зайдёт на сайт незамеченным.

Добавленно - 2011-08-20

Zero trun пишет:

а как написать код чтобы все боты учитывались??

Добавленно - 2011-08-20

Admin пишет:

Zero trun, за место Googlebot в юзерагенте, вписывайте названия ботов поисковых машин которые указываются в help информации на сайте поисковика.

Добавленно - 2011-08-20

Admin пишет:

Zero trun, список предоставлен в конце статьи.
Удачи!

Добавить комментарий:

Минимум 100 символов.
Модераторы detected!

Вы ввели сообщение длиной символов

Три + Пять ? =