Как работает защита от ботов

Антибот для сайта – Сервис анализирует весь трафик на сайте и дает возможность заблокировать ботов еще до загрузки страницы. Есть возможность настройки блокировки ботов по различным параметрам: посадочным страницам, гео, источникам и пр.

Антибот для сайта – не защищает от скликивания в Яндекс Директ и Google ADS.

Сбор и анализ данных #

Для регистрации и анализа трафика необходимо установить код защиты на ваш сайт. Он представляет собой js-скрипт и устанавливается аналогично коду Яндекс.Метрики или Google Analytics, абсолютно безопасен и не нагружает страницы вашего ресурса.

Как установить скрипт защиты на сайт (Tilda, Wix, 1С.Битрикс, Joomla и прочие CMS)?

После установки кода защиты на ваш сайт, мы в реальном времени получаем данные о визитах и анализируем их на предмет ботности.

За дело берутся десятки алгоритмов, которые позволяют с уверенностью определить нежелательных ботов. Каждому из них присваивается уникальный цифровой отпечаток, по которому в дальнейшем они различаются.

Botfaqtor.ru анализирует более 100 технических и поведенческих параметров каждого визита. Каждый из параметров имеет свой “вес”, сумма этих весов дает четкое понимание перед нами человек или бот.

Анализируя трафик на вашем сайте, мы разделяем его на четыре типа:

  • боты – автоматическое программное обеспечение, имитирующее поведение пользователя.
  • подозрительные – обнаружены подозрительные действия или подмена некоторых технических параметров.
  • нецелевые – пользователь провел на сайте менее десяти секунд и не произвел никаких целевых действий.
  • целевые – заинтересованный пользователь.

Варианты отчетов #

  • Отчет по источникам
  • Отчет по типам ботов
  • Отчет по посадочным страницам
  • Отчет по географии
  • Отчет по UTM меткам
  • Отчет по IP ботов

Отчет по источникам #

Мы анализируем весь трафик сайта, но деньги берем только за подключенные сервисы. Например, если вам нужна только защита от скликивания Яндекс Директ, то списания будут только за неё. Остальные данные будем выводить в качестве общей информации.

пример отчета по источникам

Отчет по типам ботов #

В сети существует множество ботов и все они отличаются своими возможностями. Мы решили разделить ботов на несколько типов: сложные, продвинутые, обычные, простые, примитивные.

пример отчета по типам ботов

Отчет по посадочным страницам #

Один из наиболее полезных отчетов.

пример отчета по посадочным страницам

Отчет по географии #

пример отчета по географии

Отчет по UTM меткам #

Один из основных отчетов для понимания общей картины по качеству трафика на всем сайте.

Что такое utm-метки и зачем они нужны смотрите на странице генератор UTM-меток.

пример отчета по UTM меткам

Отчет по IP ботов #

Данный отчет поможет получить список IP адресов ботов, которые были обнаружены на вашем сайте за определенный период.

Блокировка ботов #

Botfaqtor.ru анализирует более 100 технических и поведенческих параметров каждого визита. Каждый из параметров имеет свой “вес”, сумма этих весов дает четкое понимание перед нами человек или бот.

Во время загрузки страницы осуществляется поиск по общей базе ботов (~12 млн строк), если бот ранее посещал любой из защищаемых нами сайтов, то его визит будет заблокирован и произойдет автоматический редирект на страницу https://blocked.botfaqtor.ru.

ВАЖНО: При включении блокировок и подключенных сервисах “Защита от скликивания Яндекс Директ” и/или “Защита от скликивания Google ADS” вместе с сервисом “Антибот для сайта” – боты не будут видны в личном кабинете сервисов Защиты от скликивания, но они будут добавлены в общий сегмент.

Можно включать и выключать блокировку, изменение статуса блокировки вступает в силу в течении 5 минут.

Вывод данных о блокировках #

Данные о заблокированных ботах выводим на странице “Сводка“.

вывод информации о блокировках на странице Сводка

Блокировки – это заблокированные ранее известные боты из общей базы сервиса.

Также данные о заблокированных ботах выводятся в отдельном столбце “Заблокировано” каждого отчета сервиса “Антибот для сайта”.

Настройка блокировки #

Blocking all bots – автоматическая блокировка всех ботов, установленная по умолчанию.

Возможно добавить блокировку по следующим параметрам:

  • посадочные страницы
  • типы ботов
  • источники
  • географии

Выберите интересующие параметры и настройте блокировку по ним.

Исключить из блокировки #

Некоторые пользователи во время разработки сайта изменяют параметры браузера, в связи с этим они могут быть определены как боты и не смогут зайти на сайт. В связи с этим мы предлагаем получить токен исключения из блокировки.

Мои сайты -> Выбрать интересующий сайт -> Антибот для сайта -> Блокировки -> нажать кнопку “Исключить из блокировки”.

Пользователь будет исключен из блокировок на выбранный вами период. После того как период закончится, пользователь снова будет участвовать в анализе трафика и может быть заблокирован.

Визит будет исключен из блокировки через 5-10 минут.

Часто задаваемые вопросы #

Почему при включенной блокировке (Антибот для сайта) замедляется загрузка сайта по версии PageSpeed, хотя код асинхронный?

Сервис Антибот для сайта предназначен для анализа трафика и блокировки ботов в реальном времени.

Наш код должен стоять в head, перед всеми системами аналитики (Яндекс Метрика, Google Analytics и прочими).

Блокировка ботов ВКЛЮЧЕНА

Во время начала загрузки страницы осуществляется поиск по общей базе ботов (~12 млн строк), если бот ранее посещал любой из защищаемых нами сайтов, то его визит будет заблокирован и произойдет автоматический редирект на страницу https://blocked.botfaqtor.ru.

Т.е. нам нельзя показывать контент ботам, иначе будут отказы в других системах аналитики (Яндекс Метрика, Google Analytcs и др.). Поэтому запрос бот/не бот – синхронный, его нельзя делать асинхронным, а ВЕСЬ остальной код скрипта асинхронный.

Блокировка ботов ВЫКЛЮЧЕНА

При отключенной блокировке ВЕСЬ скрипт асинхронный. Синхронная всегда только его загрузка из хранилища скриптов на сайт (кеширование включено), но всегда будет несколько миллисекунд задержки при любом качестве соединения.

Асинхронный код – это улучшенный фрагмент кода JavaScript, который загружает код отслеживания в фоновом режиме без приостановки загрузки других скриптов и контента на страницах вашего веб-сайта.

Синхронный код – это фрагмент кода JavaScript, который загружает код отслеживания и влияет на скорость загрузки сайта, т.к. пока код полностью не прогрузится, то не начнется дальнейшая загрузка других скриптов и контента на страницах вашего веб-сайта.

Почему расходится статистика с Яндекс Метрикой и Google Analytics?

Причин может быть несколько, вот самый популярные из них:

  1. Разные методы идентификации. Все счетчики имеют свой набор параметров для идентификации пользователей, и как правило этот набор параметров у всех разный. Поэтому 2 визита на сайте одна система аналитики может посчитать как 2 разных посетителя, а другая как одного в зависимости от своей системы идентификации.
  2. Место установки счетчика. Системы аналитики могут стоять в разных местах в коде сайта. Одна может стоять в head, другая в body. В таком случае разница в статистике тоже неизбежна.
  3. Заход пользователя на сайт с разных устройств. Если пользователь посетил сайт с разных устройств и при этом был залогинен в Яндексе или Гугле, то Метрика или Аналитика посчитает его как за одного посетителя. У Ботфактор нет возможности отслеживать данные параметры, поэтому мы посчитаем это как 2 разных визита.

Почему пользователь не может зайти на сайт, вы его блокируете?

Ботов достаточно сложно определять, но нам удалось добиться погрешности в 0,1% от всех анализируемых визитов. Мы не рекомендуем отключать блокировку или изменять какие-либо настройки стандартной блокировки Blocking all bots.

Но если вам важен каждый визит и наша погрешность вас не устроит, то можете зайти в настройки блокировки и исключить из нее “Сложных ботов”.

Мои сайты -> Выбрать интересующий сайт -> Антибот для сайта -> Блокировки -> выбрать “Blocking all bots” (нажмите на шестеренку справа ) -> Типы ботов (выбрать всех кроме “Сложных”) -> Далее -> Далее -> Редактировать блокировку.

Также у нас есть возможность исключения из блокировки по токену на определенное время. Подробнее читайте в разделе Исключить из блокировки (см выше).

Обновлено 13.08.2021

Возможно, вам будет интересно: