Настройка скорости обхода сайта в «Яндекс. Вебмастер»

«Yandex» продолжает вводить новые опции в свои продукты. На этот раз речь пойдет о функционале, касающемся скорости обхода страниц в «Яндекс.Вебмастер». Для начала выясним, что такое скорость обхода – это характеристика, с помощью которой можно задать количество запросов в одну единицу времени (в секунду) идущих от робота на ваш веб-сайт. Благодаря введенной опции, происходит оптимизация индексации сайтов роботами-поисковиками.

На данный момент подготовиться к использованию рассматриваемым функционалом для установки своих значений можно уже сейчас. Изменения вступают в силу с 22 февраля 2018 года.

Как и где настроить скорость обхода страниц в «Яндекс. Вебмастер»?

Настроить данную опцию можно уже сейчас. Авторизовываемся под необходимым логином, к которому привязан наш сайт, заходим в панель вебмастера.

Выбираем нужный. Если к учетной записи привязано несколько веб-ресурсов, то путем использования поля поиска или выпадающего списка под названием «Выбрать сайт» находящегося вверху слева.

В меню слева находим раздел «Индексирование», далее в подраздел «Скорость обхода».

Вот мы и на месте.

Возможности и особенности нового функционала.

• по сути, появившийся раздел представляет собой средство автоматизации, что выгодно, как для поисковой системы, так и для владельца сайта;

• возможность выбора. Можно довериться «Яндексу», который сам подберет оптимальную параметр скорости обхода, исходя из технических и временных особенностей вашего сайта и серверного оборудования, на котором веб-ресурс установлен. Также есть и вариант задания показателя вручную (минимум – 0.6 запросов, максимум – 30 в секунду);

• «скорость обхода» является альтернативной замены выставления параметра «crawl-delay» в файле robots.txt. Особенно актуально в тех случаях, когда многие привыкли выставлять малое значение данного параметра, привыкнув еще к тем временам, когда серверное оборудование было не таким мощным, как в сегодняшних современных реалиях.

Как определить, какую скорость надо оптимально выставить?

Для этого достаточно воспользоваться еще одним сервисом от «Яндекса» - «Метрикой». Авторизовываемся под необходимой учетной записью и попадаем в главное окно консоли. Если счетчиков несколько, выбираем необходимый и переходим.

Идем в раздел «Отчеты», далее «Стандартные», потом в «Мониторинг» и «Время загрузки страниц».

Благодаря отображению в отчете данных по времени до отрисовки страниц сайта и их полной загрузки, а также технических характеристик, влияющих на скорость (обработка DNS-запросов к серверу, обработка размещенных на сайте редиректов, продолжительность установки соединения между браузером и http-сервером, непосредственный ответ самого сервера, время загрузки и парсинга HTML), есть возможность пронаблюдать и определить впоследствии оптимальные значения параметров.

Зачем это нужно? Если скорость обхода выставить больше необходимого значения, то страницы могут не успевать анализироваться полностью роботами-поисковиками, меньше – процесс будет происходить медленно и из-за этого бот может не успеть загрузить и произвести анализ всего содержимого.

Заключение

В очередной раз мы убеждаемся, что «Яндекс» не останавливается только на внедрении новых и полезных инструментов, но и постоянно их улучшает путем добавления новых опций и функционала. «Скорость обхода» позволит выставлять правильно необходимый параметр, его регулировать при необходимости и экономить время, которое не придется тратить на редактирование robots.txt, особенно, если в нем указано много страниц и параметров. Надеемся, что новая опция в «Yandex.WebMaster» нас не разочарует и реально облегчит и улучшит скорость обхода сайтов поисковыми ботами «Яндекса».