Функционал «Мониторинг трафика» в CMS boxcode.ru

В версии v35 CMS boxcode.ru был разработан новый функционал «Мониторинг трафика». Новый функционал нужен для анализа посетителей сайта и блокировки поведенческих ботов.

Кто может посещать сайт

Посещать ваш сайт могут различные посетители — реальные пользователи, поисковые роботы и различные боты. Разберемся подробнее.

Реальные пользователи заходят на сайт с целью узнать какую-либо информацию, почитать, посмотреть или купить продукцию.

Поисковые роботы посещают сайты для индексации содержимого и обновления информации в своих базах данных.

Боты — специальные программы, которые посещают веб-ресурс с какими-либо целями. Боты могут быть как полезными так и вредоносными. К полезным ботам относятся боты различных необходимых сервисов и инструментов, к примеру для СЕО-анализа сайта и т. п. К вредоносным ботом относят ботов, которые создают отрицательный эффект для сайта.

К слову говоря, поисковые роботы — тоже боты, но цель посещения сайта у них другая, поэтому их можно выделить в отдельный вид и в статье будет говориться именно про два вида ботов: поисковых роботов и ботов, чтобы было более понятно.

Что могут делать вредоносные боты

Вредоносные боты могут не только скачивать контент с сайта, но и выполнять некоторые действия на javascript. В общем можно выделить следующие основные возможности:

- Искать уязвимости на сайте;

- Собирать персональные данные людей (номера телефонов, E-mail и другую информацию);

- Регистрироваться на сайте, добавлять контент (комментарии, объявления и т. п.) с рекламой или ссылками на вредоносные ресурсы;

- Выполнять определенные действия на сайте, похожие на действия человека (делают такое поведенческие боты);

- Парсить контент;

- Взламывать аккаунты.

Это краткий общий перечень возможностей вредоносных ботов. Также боты могут совершать другие действия.

Отрицательные последствия для сайта от вредоносных ботов

От постоянной активности вредоносных ботов на сайте, может появиться отрицательный эффект для сайта:

- Понижение позиций сайта в поисковой выдаче. Поведенческие боты могут уменьшить среднее время нахождения посетителей на сайте, а также уменьшить глубину просмотра страниц. То есть увеличить количество отказов на сайте. Данные эффект может быть особенно заметен, если на сайте есть Яндекс.Метрика или Google Analytics, а также есть различные сервисы от Яндекса или Google (карты, контекстная реклама и т. п.).

- Искажение статистических данных сайта. Боты повышают количество посещений в сервисах статистики посетителей сайтов. Так, если на сайте есть Яндекс.Метрика или Google Analytics, то в статистике будет завышенное количество посещений из-за ботов. Также, если на сайте есть статистика выполнения действий пользователей, то она также не будет соответствовать реальности. К примеру, количество скачивания файлов, количество просмотров статей (объявлений и т. п.), количество переходов по ссылкам также не будет соответствовать действительности из-за ботов. Результатом искажения статистических данных может стать неправильная оценка действий реальных пользователей на вашем сайте, что в последствии может привести к неправильным шагам по продвижению веб-ресурса.

- Ухудшение рейтинга сайта у пользователей и поисковых систем из-за размещения сомнительного контента вредоносными ботами.

- Увеличение нагрузки на сервер. От большого количества посещений сайта ботами на сервер будет оказываться повышенная нагрузка. Что может привести к нестабильной работе сайта или придется переходить на более мощный тариф с большей стоимостью.

Также боты могут наносить другой вред веб-ресурсам.

Как защититься от вредоносных ботов на сайте

Чтобы отрицательного эффекта было как можно меньше, нужно бороться с вредоносными ботами. Есть различные методы для противодействия ботам:

- Использование капчи или контрольного вопроса в форме отправки данных. К примеру, при регистрации, в форме добавления комментариев, в форме добавления объявления и т. п. Таким способом можно отсечь ботов, которые создают аккаунты на сайте и добавляют различный контент на сайт.

- При регистрации нового аккаунта, нужно использовать подтверждение E-mail или телефона.

- Возможность добавления контента на сайт должна быть только у авторизованных пользователей. Таким образом, у ботов, которые не умеют регистрироваться на сайтах, не будет возможности добавлять какой-либо контент на сайт.

- Самостоятельный анализ логов сервера и блокировка посетителей по ip-адресу. Данный способ непростой и довольно трудоемкий.

- Использование различных решений (ПО) для блокировки ботов. Обычно такие решения платные.

- Использование функционала «мониторинг трафика» в CMS boxcode.ru.

Функционал «мониторинг трафика» в CMS boxcode.ru

Самостоятельный анализ логов сервера довольно сложен, использование сторонних решений не предоставляет всех возможностей, к примеру, для Яндекс.Метрики нужно чтобы у пользователя работал javascript. Поэтому в версии CMS boxcode.ru v35 разработан новый функционал «мониторинг трафика».

Возможности нового функционала:

1. Анализ посещаемости сайта: можно узнать, откуда пользователи переходят на сайт, какие страницы просматривают, сколько времени проводят на сайте.

2. Можно узнать, какие поисковые системы индексируют ваш сайт.

3. Заблокировать поведенческих ботов. При блокировке посетителя, будет выведена специальная страница с кнопкой подтверждения, что посетитель — реальный человек, и после нажатия на кнопку сможет перейти на сайт.

Пояснение по функционалу «мониторинг трафика»

Функционал «мониторинг трафика» можно включить или выключить в панели управления в разделе «Основные настройки» в группе настроек «Мониторинг трафика».

Статистика доступна в панели управления в разделе «Мониторинг трафика».

В статистику добавляются запросы, которые не поддерживают javascript, поэтому можно заметить большую разницу между обычными счетчиками посещения (Яндекс.Метрика или liveinternet.ru) и статистикой мониторинга трафика.

«Мониторинг трафика» на текущий момент времени (CMS версии v35) — это экспериментальный функционал, но уже на тестируемых сайтах показал неплохие результаты. К примеру, заблокировано довольно большое количество поведенческих ботов, по статистике Яндекс.Метрики существенно уменьшилось количество отказов. Также немного снизилась нагрузка на сервер.

И нужно отметить, возможность блокировки ботов не является инструментом по борьбе с DDoS-атаками. Поведенческие боты и DDoS-атака имеют разные цели и действуют по-разному, поэтому инструменты для борьбы с ними должны быть соответствующими.