Антибот для сайта — Сервис анализирует весь трафик на сайте и дает возможность заблокировать ботов еще до загрузки страницы. Есть возможность настройки блокировки ботов по различным параметрам: посадочным страницам, гео, источникам и пр. Помогает бороться с ботами которые ухудшают поведенческие факторы на сайте и влияют на поисковую выдачу.
Антибот для сайта — не защищает от скликивания в Яндекс Директ и Google ADS.
Сбор и анализ данных #
Для регистрации и анализа трафика необходимо установить код защиты на ваш сайт. Он представляет собой js-скрипт и устанавливается аналогично коду Яндекс.Метрики или Google Analytics, абсолютно безопасен и не нагружает страницы вашего ресурса.
Как установить скрипт защиты на сайт (Tilda, Wix, 1С.Битрикс, Joomla и прочие CMS)?
После установки кода защиты на ваш сайт, мы в реальном времени получаем данные о визитах и анализируем их на предмет ботности.
За дело берутся десятки алгоритмов, которые позволяют с уверенностью определить нежелательных ботов. Каждому из них присваивается уникальный цифровой отпечаток, по которому в дальнейшем они различаются.
Botfaqtor.ru анализирует более 100 технических и поведенческих параметров каждого визита. Каждый из параметров имеет свой “вес”, сумма этих весов дает четкое понимание перед нами человек или бот.
Анализируя трафик на вашем сайте, мы разделяем его на четыре типа:
- боты – автоматическое программное обеспечение, имитирующее поведение пользователя.
- подозрительные — обнаружены подозрительные действия или подмена некоторых технических параметров.
- нецелевые – пользователь провел на сайте менее десяти секунд и не произвел никаких целевых действий.
- целевые – заинтересованный пользователь.
Варианты отчетов #
- Отчет по источникам
- Отчет по типам ботов
- Отчет по посадочным страницам
- Отчет по географии
- Отчет по UTM меткам
- Отчет по IP ботов
Отчет по источникам #
Мы анализируем весь трафик сайта, но деньги берем только за подключенные сервисы. Например, если вам нужна только защита от скликивания Яндекс Директ, то списания будут только за неё. Остальные данные будем выводить в качестве общей информации.
Отчет по типам ботов #
В сети существует множество ботов и все они отличаются своими возможностями. Мы решили разделить ботов на несколько типов: сложные, продвинутые, обычные, простые, примитивные.
Отчет по посадочным страницам #
Один из наиболее полезных отчетов.
Отчет по географии #
Отчет по UTM меткам #
Один из основных отчетов для понимания общей картины по качеству трафика на всем сайте.
Что такое utm-метки и зачем они нужны смотрите на странице генератор UTM-меток.
Отчет по IP ботов #
Данный отчет поможет получить список IP адресов ботов, которые были обнаружены на вашем сайте за определенный период.
Блокировка ботов #
Botfaqtor.ru анализирует более 100 технических и поведенческих параметров каждого визита. Каждый из параметров имеет свой “вес”, сумма этих весов дает четкое понимание перед нами человек или бот.
Во время загрузки страницы осуществляется поиск по общей базе ботов (~12 млн строк), если бот ранее посещал любой из защищаемых нами сайтов, то его визит будет заблокирован и произойдет автоматический редирект на страницу https://blocked.botfaqtor.ru.
ВАЖНО: При включении блокировок и подключенных сервисах «Защита от скликивания Яндекс Директ» и/или «Защита от скликивания Google ADS» вместе с сервисом «Антибот для сайта» — боты не будут видны в личном кабинете сервисов Защиты от скликивания, но они будут добавлены в общий сегмент.
Можно включать и выключать блокировку, изменение статуса блокировки вступает в силу в течении 5-7 минут.
Вывод данных о блокировках #
Данные о заблокированных ботах выводим на странице «Сводка«.
Блокировки — это заблокированные ранее известные боты из общей базы сервиса.
Также данные о заблокированных ботах выводятся в отдельном столбце «Заблокировано» каждого отчета сервиса «Антибот для сайта».
Настройка блокировки #
Мои сайты -> Выбрать интересующий сайт -> Антибот для сайта -> Блокировки.
Blocking all bots — автоматическая блокировка всех ботов, установленная по умолчанию.
Возможно добавить блокировку по следующим параметрам:
- посадочные страницы
- типы ботов
- источники
- географии
Выберите интересующие параметры и настройте блокировку по ним.
Исключить из блокировки устройство #
Некоторые пользователи во время разработки сайта изменяют параметры браузера, в связи с этим они могут быть определены как боты и не смогут зайти на сайт. В связи с этим мы предлагаем получить токен исключения из блокировки.
Мои сайты -> Выбрать интересующий сайт -> Антибот для сайта -> Блокировки -> нажать кнопку “Исключить из блокировки устройство”.
После перехода по ссылке «токену» пользователь будет исключен из блокировок в данном браузере на выбранный вами период. После того как период закончится, пользователь снова будет участвовать в анализе трафика и может быть заблокирован.
Пользователь будет исключен из блокировок через 7-10 минут.
Исключить из блокировки IP-адрес #
Некоторые пользователи во время разработки сайта сталкиваются с блокировкой, в связи с этим мы предлагаем внести список IP для исключения из блокировок.
Мои сайты -> Выбрать интересующий сайт -> Антибот для сайта -> Блокировки -> нажать кнопку “Исключить из блокировки IP”.
Можно добавить в список исключений несколько IP адресов для исключения попадания их в блокировку.
Блокировка ботов по IP #
Блокировка IP — один из способов пресечения доступа к сайту клиента, имеющего определенный IP-адрес (или IP-адрес из заданного диапазона). Подобные ограничения доступа зачастую используются как мера наказания определенного участника некоторой сети/сообщества (в сетевых приложениях, играх, на интернет-сайтах и. т. п.). Данный способ также можно использовать против простых ботов, т.к. бот обычно не имеет в своём распоряжении много адресов, можно проследить те, с которых он ведёт подключение и заблокировать группу им подобных.
Данный метод малоэффективен при запрете доступа с одного конкретного IP-адреса. Потому что, зачастую, IP-адреса выдаются автоматически при подключении клиента к сети. И его эффективность возрастает при использовании маски подсети. Т.к. выйти в сеть с другой сети намного сложнее. Однако блокировать одного пользователя по маске его подсети недопустимо, поскольку это затронет других посетителей сети. Но при борьбе с ботами использующие мобильные прокси данный способ неэффективен, т.к. боты автоматически разрывают текущие соединение и получают новый IP.
IP адрес не является главным критерием для принятия решения о блокировке в Botfaqtor, но некоторые пользователи хотят заблокировать переходы на сайт с определенных IP.
Мы сделали инструмент для блокировки нежелательных визитов по IP, в котором вы можете добавить свой чёрный список IP адресов, которые будут заблокированы Botfaqtor.
Можно блокировать как отдельные IP адреса так и целые подсети (диапазоны/маски).
Пример:
- 123.4.5.*
- 123.4.5.67
- 123.4.0.0/16
ВАЖНО: Если вы блокируете диапазон IP, то под блокировку могут попасть люди.
Мои сайты -> Выбрать интересующий сайт -> Антибот для сайта -> Блокировка по IP.
Часто задаваемые вопросы #
Почему при включенной блокировке (Антибот для сайта) замедляется загрузка сайта по версии PageSpeed, хотя код асинхронный?
Сервис Антибот для сайта предназначен для анализа трафика и блокировки ботов в реальном времени.
Наш код должен стоять в head, перед всеми системами аналитики (Яндекс Метрика, Google Analytics и прочими).
Блокировка ботов ВКЛЮЧЕНА
Во время начала загрузки страницы осуществляется поиск по общей базе ботов (~12 млн строк), если бот ранее посещал любой из защищаемых нами сайтов, то его визит будет заблокирован и произойдет автоматический редирект на страницу https://blocked.botfaqtor.ru.
Т.е. нам нельзя показывать контент ботам, иначе будут отказы в других системах аналитики (Яндекс Метрика, Google Analytcs и др.). Поэтому запрос бот/не бот – синхронный, его нельзя делать асинхронным, а ВЕСЬ остальной код скрипта асинхронный.
Блокировка ботов ВЫКЛЮЧЕНА
При отключенной блокировке ВЕСЬ скрипт асинхронный. Синхронная всегда только его загрузка из хранилища скриптов на сайт (кеширование включено), но всегда будет несколько миллисекунд задержки при любом качестве соединения.
Асинхронный код – это улучшенный фрагмент кода JavaScript, который загружает код отслеживания в фоновом режиме без приостановки загрузки других скриптов и контента на страницах вашего веб-сайта.
Синхронный код – это фрагмент кода JavaScript, который загружает код отслеживания и влияет на скорость загрузки сайта, т.к. пока код полностью не прогрузится, то не начнется дальнейшая загрузка других скриптов и контента на страницах вашего веб-сайта.
Почему расходится статистика с Яндекс Метрикой и Google Analytics?
Причин может быть несколько, вот самый популярные из них:
- Разные методы идентификации. Все счетчики имеют свой набор параметров для идентификации пользователей, и как правило этот набор параметров у всех разный. Поэтому 2 визита на сайте одна система аналитики может посчитать как 2 разных посетителя, а другая как одного в зависимости от своей системы идентификации.
- Место установки счетчика. Системы аналитики могут стоять в разных местах в коде сайта. Одна может стоять в head, другая в body. В таком случае разница в статистике тоже неизбежна.
- Заход пользователя на сайт с разных устройств. Если пользователь посетил сайт с разных устройств и при этом был залогинен в Яндексе или Гугле, то Метрика или Аналитика посчитает его как за одного посетителя. У Ботфактор нет возможности отслеживать данные параметры, поэтому мы посчитаем это как 2 разных визита.
Почему пользователь не может зайти на сайт, вы его блокируете?
Ботов достаточно сложно определять, но нам удалось добиться погрешности в 0,1% от всех анализируемых визитов. Мы не рекомендуем отключать блокировку или изменять какие-либо настройки стандартной блокировки Blocking all bots.
Но если вам важен каждый визит и наша погрешность вас не устроит, то можете зайти в настройки блокировки и исключить из нее «Сложных ботов».
Мои сайты -> Выбрать интересующий сайт -> Антибот для сайта -> Блокировки -> выбрать «Blocking all bots» (нажмите на шестеренку справа ) -> Типы ботов (выбрать всех кроме «Сложных») -> Далее -> Далее -> Редактировать блокировку.
Также у нас есть возможность исключения из блокировки по токену на определенное время. Подробнее читайте в разделе Исключить из блокировки (см выше).
Почему надо отключать блокировку ботов перед модерацией рекламных кампаний в Яндекс Директ и Google Ads?
При включенной блокировке ботов в сервисе «Антибот для сайта» мы исключаем из блокировки всех известных ботов, которые предоставляет Гугл и Яндекс, но некоторых ботов они специально скрывают, чтоб их не использовали мошенники для подмены. Возможны случаи, когда «бот рекламной сети», пытается зайти на сайт, но вместо страницы сайта попадает на станицу blocked.botfaqtor.ru, т.к. мы его не знали. Это может повлиять на блокировку аккаунта в рекламной сети. Чтобы такого не произошло, рекомендуем отключить блокировку на время модерации!
Вы блокируете поисковых роботов, краулеров, хороших ботов?
Поисковый робот («веб-паук», «веб-краулер») — программа, являющаяся составной частью поисковой системы и предназначенная для перебора страниц интернета с целью занесения информации о них в базу данных поисковика. Данные роботы не блокируется и не учитываются в статистике Botfaqtor.
Но мы выводим по ним информацию в отдельном виджете, чтобы пользователи видели их объем.
Где найти: Сводка ->виджет «Поисковые роботы».
