Описание функционала «Мониторинг трафика» в CMS boxcode.ru

В версии v35 CMS boxcode.ru был разработан новый функционал «Мониторинг трафика» и в последующих версиях этот функционал дорабатывался. Данный функционал нужен для анализа посетителей сайта и для блокировки поведенческих и сканирующих ботов.

Кто может посещать сайт

Посещать ваш сайт могут различные посетители — реальные пользователи, поисковые роботы и различные боты. Разберемся подробнее.

Реальные пользователи заходят на сайт с целью узнать какую-либо информацию, почитать, посмотреть или купить продукцию.

Поисковые роботы посещают сайты для индексации содержимого и обновления информации в своих базах данных.

Боты — специальные программы, которые посещают веб-ресурс с какими-либо целями. Боты могут быть как полезными так и вредоносными. К полезным ботам относятся боты различных необходимых сервисов и инструментов, к примеру для СЕО-анализа сайта и т. п. К вредоносным ботом относят ботов, которые создают отрицательный эффект для сайта.

К слову говоря, поисковые роботы — тоже боты, но цель посещения сайта у них другая, поэтому их можно выделить в отдельный вид и в статье будет говориться именно про два вида ботов: поисковых роботов и ботов, чтобы было более понятно.

Что могут делать вредоносные боты

Вредоносные боты могут не только скачивать контент с сайта, но и выполнять некоторые действия на javascript. В общем можно выделить следующие основные возможности:

- Искать уязвимости на сайте;

- Собирать персональные данные людей (номера телефонов, E-mail и другую информацию);

- Регистрироваться на сайте, добавлять контент (комментарии, объявления и т. п.) с рекламой или ссылками на вредоносные ресурсы;

- Выполнять определенные действия на сайте, похожие на действия человека (делают такое поведенческие боты);

- Парсить контент;

- Взламывать аккаунты.

Это краткий общий перечень возможностей вредоносных ботов. Также боты могут совершать другие действия.

Отрицательные последствия для сайта от вредоносных ботов

От постоянной активности вредоносных ботов на сайте, может появиться отрицательный эффект для сайта:

- Понижение позиций сайта в поисковой выдаче. Поведенческие боты могут уменьшить среднее время нахождения посетителей на сайте, а также уменьшить глубину просмотра страниц. То есть увеличить количество отказов на сайте. Данные эффект может быть особенно заметен, если на сайте есть Яндекс.Метрика или Google Analytics, а также есть различные сервисы от Яндекса или Google (карты, контекстная реклама и т. п.).

- Искажение статистических данных сайта. Боты повышают количество посещений в сервисах статистики посетителей сайтов. Так, если на сайте есть Яндекс.Метрика или Google Analytics, то в статистике будет завышенное количество посещений из-за ботов. Также, если на сайте есть статистика выполнения действий пользователей, то она также не будет соответствовать реальности. К примеру, количество скачивания файлов, количество просмотров статей (объявлений и т. п.), количество переходов по ссылкам также не будет соответствовать действительности из-за ботов. Результатом искажения статистических данных может стать неправильная оценка действий реальных пользователей на вашем сайте, что в последствии может привести к неправильным шагам по продвижению веб-ресурса.

- Ухудшение рейтинга сайта у пользователей и поисковых систем из-за размещения сомнительного контента вредоносными ботами.

- Увеличение нагрузки на сервер. От большого количества посещений сайта ботами на сервер будет оказываться повышенная нагрузка. Что может привести к нестабильной работе сайта или придется переходить на более мощный тариф с большей стоимостью.

Также боты могут наносить другой вред веб-ресурсам.

Как защититься от вредоносных ботов на сайте

Чтобы отрицательного эффекта было как можно меньше, нужно бороться с вредоносными ботами. Есть различные методы для противодействия ботам:

- Использование капчи или контрольного вопроса в форме отправки данных. К примеру, при регистрации, в форме добавления комментариев, в форме добавления объявления и т. п. Таким способом можно отсечь ботов, которые создают аккаунты на сайте и добавляют различный контент на сайт.

- При регистрации нового аккаунта, нужно использовать подтверждение E-mail или телефона.

- Возможность добавления контента на сайт должна быть только у авторизованных пользователей. Таким образом, у ботов, которые не умеют регистрироваться на сайтах, не будет возможности добавлять какой-либо контент на сайт.

- Самостоятельный анализ логов сервера и блокировка посетителей по ip-адресу. Данный способ непростой и довольно трудоемкий.

- Использование различных решений (ПО) для блокировки ботов. Обычно такие решения платные.

- Использование функционала «мониторинг трафика» в CMS boxcode.ru.

Функционал «мониторинг трафика» в CMS boxcode.ru

Самостоятельный анализ логов сервера довольно сложен, использование сторонних решений не предоставляет всех возможностей, к примеру, для Яндекс.Метрики нужно чтобы у пользователя работал javascript. Поэтому в версии CMS boxcode.ru был разработан функционал «мониторинг трафика».

Возможности функционала:

1. Анализ посещаемости сайта: можно узнать, откуда пользователи переходят на сайт, какие страницы просматривают, сколько времени проводят на сайте.

2. Можно узнать, какие поисковые системы индексируют ваш сайт.

3. Заблокировать ботов и пользователей по ip-адресу. При блокировке посетителя, будет выведена специальная страница с кнопкой подтверждения, что посетитель — реальный человек, и после нажатия на кнопку сможет перейти на сайт.

4. Можно выбрать уровень блокировки посетителей сайта.

Как включить и настроить функционал «мониторинг трафика»

Функционал «мониторинг трафика» можно включить или выключить в панели управления в разделе «Основные настройки» в группе настроек «Мониторинг трафика».

Также в этой группе настроек можно выбрать уровень блокировки посетителей. На данный момент (в CMS версии v38) доступны следующие варианты:

- Минимальный. Самый простой алгоритм блокировки посетителей, при котором будет блокироваться минимум посетителей. Роботы, включая поисковые, не будут блокироваться.

- Средний. Непростой алгоритм блокировки посетителей, при котором будут анализироваться действия пользователей, и в определенных случаях пользователи будут блокироваться. Также будет учитываться таблица IP-адресов (которая доступна в разделе панели управления «мониторинг трафика»). То есть, чтобы заблокировать посетителя по IP-адресу, нужно выбрать уровень «средний» и добавить нужный адрес в таблицу IP-адресов. Роботы, включая поисковые, не будут блокироваться.

- Средний с блокировкой индексирующих ботов. Пользователи будут блокироваться как при уровне «Средний». Плюс будут блокироваться некоторые поисковые роботы и все сканирующие боты (то есть роботы, которые не относятся к известных поисковым системам). На данный момент времени в CMS v38 не будут блокироваться поисковые системы Яндекс. Google, Petalsearch и Bing. Все остальные поисковые системы будут блокироваться, так как пользы в СЕО-плане практически нет, но нагрузку на хостинг они создают значительную.

- Максимальный. Все пользователи будут блокироваться, чтобы попасть на сайт, посетителю нужно будет подтвердить, что он человек. Роботы будут блокироваться как в варианте «Средний с блокировкой индексирующих ботов». Данный вариант нужен при большой атаке ботов на сайт.

Статистика «мониторинга трафика»

Статистика доступна в панели управления в разделе «Мониторинг трафика».

В статистику добавляются запросы, даже есть у посетителя не поддерживается (не работает) javascript, поэтому можно заметить большую разницу между обычными счетчиками посещения (Яндекс.Метрика или liveinternet.ru) и статистикой мониторинга трафика.

С помощью статистических данных можно узнать IP-адреса посетителей, какие страницы сайта просматривались, поддержка работы JavaScript браузером, совершал ли какие-либо действия пользователь или нет на сайте, заблокирован или нет посетитель, а также другую информацию.

Как узнать количество реальных пользователей

Одной из важных особенностей «мониторинга трафика» является возможность узнать количество реальных посетителей, которые просматривают сайт. Будем считать, что реальный посетитель - это тот, у кого в браузере включен JavaScript и он совершил какое-либо действие (к примеру, прокрутил страницу).

Поэтому в фильтре статистики «мониторинга трафика» нужно выбрать следующие значения в параметрах фильтра: в параметре «Клиенты» выбираем значение «Пользователи», в параметре «Запрос JS» выбираем «Есть», в параметре «Действия» выбираем значение «Есть». Нажимаем кнопку «Показать» и будет показана статистика просмотров реальных пользователей.

Чтобы узнать количество новых пользователей, нужно в дополнение к указанным ранее параметрам фильтра еще в параметре «Тип идентификатора» выбрать значение «Новый». После нажатия кнопки «Показать» будут отображены новые посетители сайта.

Также при просмотре статистики можно указать период, за который нужно отображать сведения. Это позволит узнать статистику за один день, за прошедший день, за неделю, за месяц и т. д. То есть, можно узнать, сколько новых пользователей было на сайте за тот или иной период времени.

Блокировка пользователей по IP-адресу

Для возможности блокировать пользователей по IP-адресам нужно в настройках «Мониторинга трафика» (в панели управления раздел «Основные настройки сайта») для параметра «Уровень блокировки ботов» выбрать уровень не ниже Среднего. В этом случае будет учитываться таблица IP-адресов.

Далее открываем в панели управления раздел «Мониторинг трафика», переходим в подраздел «IP-адреса». В этом подразделе можно посмотреть уже добавленные адреса, а также можно добавить IP-адрес. В форме добавления IP-адреса будет несколько полей, в том числе будет поле «Тип адреса». Данное поле несет пояснительное значение для администратора и не влияет на блокировку посетителя (робота).

Дополнительное пояснение

«Мониторинг трафика» на текущий момент времени (CMS версии v38) — это экспериментальный функционал, но уже на тестируемых сайтах показал неплохие результаты. К примеру, заблокировано довольно большое количество поведенческих ботов, по статистике Яндекс.Метрики существенно уменьшилось количество отказов. Также немного снизилась нагрузка на сервер.

И нужно отметить, возможность блокировки ботов не является инструментом по борьбе с DDoS-атаками. Поведенческие боты и DDoS-атака имеют разные цели и действуют по-разному, поэтому инструменты для борьбы с ними должны быть соответствующими.