Рекламодателя, который ищет автоматизированный сервис или инструмент для блокировки бот-трафика, могут одолевать сомнения: не будут ли случайно заблокированы и добавлены в стоп-лист реальные пользователи. Ведь бывает и такое, что поведение людей на сайте может быть похоже на роботизированное. Например, быстрый и равномерный просмотр или частый переход по ссылкам на сайте. Нередко пользователи в поисковой выдаче случайно нажимают на рекламное объявление вместо сайта на первой позиции «органики» и быстро закрывают страницу.
Так могут ли сервисы защиты от кликфрода дать хоть какую-то гарантию, что настоящая аудитория не будет заблокирована в общем потоке и ей будут показаны нужные рекламные объявления? Давайте узнаем.
Что такое бот
Робот, или бот (от англ. robot), — это автоматизированная программа, которая воспроизводит заданный ей алгоритм действий. Как правило, они умеют имитировать поведение реальных пользователей на сайте, а также полезного легального софта (к примеру, браузеров).
Поскольку это автоматизированные скрипты, то выполняют боты все свои действия значительно быстрее человека. Они бывают как полезными (роботы поисковых систем для индексирования ресурсов, чат-боты), так и вредоносными (для проведения DDoS-атак, скликивания рекламных объявлений и т. п.).
Что такое стоп-лист
Стоп-лист в данном контексте — это лист с IP-адресами, юзер-агентами пользователя и другими паттернами и индикаторами, который запрещает пользователю (роботу) доступ к серверу, сети или веб-ресурсу.
Туда попадают боты, цель которых заключается в нанесении материального или репутационного вреда рекламодателю, вебмастеру, а также владельцу любого ресурса, например, интернет-магазина. «Хорошие» боты в такой стоп-лист попадать не будут.
Блокировка хороших и плохих ботов
При блокировании вредоносного трафика стоит учитывать роль бота, который посещает сайт. Важно грамотно фильтровать роботов, так как они бывают, как мы уже ранее сказали, «хорошими» и «плохими».
Если заблокировать, к примеру, робота поисковой системы Яндекс, то он не сможет проиндексировать страницы вашего сайта. Это означает, что ресурс не будет отображаться в результатах поиска.
Хорошие боты индексируют сайты, проверяют письма на спам и вредоносный контент, общаются с клиентами на сайте через чат, автоматизируют работу канала в Telegram и т. п.
Плохие же бот-скрипты крадут данные пользователей, взламывают аккаунты, заполняют формы на сайтах чужими данными и ведут любую вредоносную деятельность. Их применяют в спам-атаках, DDoS, для воровства контента сайтов, скликивания рекламных объявлений.
Что такое robots.txt
Если все-таки есть потребность в управлении хорошими ботами, то для этого на сайтах используется файл robots.txt.
Robots.txt — это текстовый файл, в котором прописываются правила доступа роботов поисковых систем к ресурсу в целом и к отдельным его страницам в частности.
Например, с помощью данных правил мы разрешаем поисковому роботу Яндекса индексировать, то есть посещать, главную страницу сайта, страницу услуг и контактов:
User-agent: Yandex
Allow: /
Allow: /services/
Allow: /contacts/А с помощью данной директивы запрещаем роботу Google доступ ко всему ресурсу:
User-agent: GoogleBot
Disallow: /Если в файле robots.txt прописаны подобные правила, то роботы будут им безукоснительно следовать.
Однако на вредоносных ботов этот файл действовать не будет. Они его не читают, тем более, что нет специальных правил по их блокировке в рамках данного текстового файла.
Таким образом, для управления вредоносами, а точнее их блокировки, требуется более активный подход, а не классические правила.
Агрессивное скликивание против тотальной блокировки
Слишком агрессивное ПО для скликивания может нести весомый ущерб рекламной кампании. Но есть один нюанс: важно соблюдать баланс между блокировкой кликов, которые имеют совокупность признаков мошеннического поведения, и тотальным внесением в стоп-лист каждого посещения, схожего лишь по минимальному списку параметров с недействительным.
К примеру, решения с ручной настройкой правил блокировки подвержены именно второму. Сложные бот-скрипты с легкостью обходят правила, устанавливаемые не автоматически, а вручную. Связано это с тем, что такие роботы могут обучаться и понимать, что провоцирует систему защиты и исключать такое поведение из своих алгоритмов.
Платформа, которая работает на ручных правилах блокировки, зачастую оказывается бессильна перед совершенно новыми, ранее не встречаемыми вредоносными ботами. Есть риск того, что система просто применит некорректное правило, которое, конечно же, не сработает, или сработает против реального пользователя.
В целом, сервисы защиты от скликивания со слишком строгими правилами лучше перегнут палку и заблокируют клик из потенциально недопустимого источника. Возможно, кого-то из маркетологов такой подход и устроит, однако он крайне нежелателен для тех, кто работает с сотнями кликов ежедневно.
Например, решение на базе ручной настройки может заблокировать IP-адрес только из-за того, что с него было совершено X кликов за Y период времени. Но что, если под данным IP находится свыше 500 мобильных устройств? Конечно же, такое решение не в интересах компании, размещающей рекламу.
Крайне важно оставаться уверенным в выбранных решениях для блокировки ботов. В противном случае, инструмент, который должен экономить деньги и время, будет делать совершенно обратное.
Стоит блокировать всех или только плохих ботов?
Если коротко, то мы не рекомендуем блокировать всех и вся. Добавляйте в стоп-лист только плохих ботов.
Как мы указали ранее, «хорошие» роботы обладают многочисленными преимуществами, поэтому их блокировать не стоит. Однако также не стоит забывать, насколько изощренными могут быть «плохие» боты. Из-за этого последних будет очень сложно заблокировать без помощи экспертов в области защиты от кликфрода и вредоносных атак.
Не стоит думать, что чем меньше сайт или скромнее бюджет на рекламную кампанию, тем меньше шансов стать мишенью для ботов. Отнюдь. Им все равно, сколько денег вы тратите на рекламу или сколько страниц у вашего сайта. Цель злоумышленников — сбор данных, кража, скликивание, DDoS-атаки по требованию, то есть всё, что может принести материальную выгоду.
Статистика показывает, что небольшие сайты привлекают 22,9% вредоносного бот-трафика, в то время как крупные онлайн-ресурсы — 17,9%. Поэтому даже малому бизнесу следует подумать о стратегии управления рисками и блокировать недействительный трафик.
Перехватываем вредоносных ботов из общего трафика
Если у вас есть навыки, опыт и нужные технологии, то отличить бота от реального пользователя не составит труда. Однако отличить полезного робота от вредоносного уже сложнее, так как последние используют различные маскировочные методы поведения, то есть имитируют собой другие программы.
К примеру, исследование компании GlobalDots за 2019 выявило 523 типа ботов и их всевозможные способы имитаций. Они успешно могут имитировать браузер Google Chrome, на втором месте идет Firefox, на третьем — мобильный браузер на Android. Кроме того, к этому списку относятся Safari, Internet Explorer, Safari Mobile, Opera, а также поисковые роботы Googlebot и Bingbot. И это не предел.
Идентифицировать ботов достаточно сложно, так как порядка 75% из них применяют комбинированные технологии и способы атак. Сложность их обнаружения также заключается в использовании разных подсетей, хаотичной смене IP-адресов, использовании анонимных прокси-серверов, Java-скриптов и одноранговых сетей. Такие усовершенствованные боты могут автоматически искать необходимую информацию и часто успешно имитируют поведение человека.
Кроме того, злоумышленники, которые управляют ботнетами, как правило, имеют доступ к настройкам и с легкостью могут менять среду для запуска бот-атак. Поэтому крайне неэффективно идентифицировать ботов только путем мониторинга журналов запросов, как это делают некоторые антивирусы. Или же блокировать вредоносный трафик только по одному IP.
Предпочтительнее и эффективнее всего сравнивать целую совокупность данных: IP-адреса, технические показатели, модели поведения, статистику и т. д. К примеру, стоит обращать внимание на особенности выполнения кода и расширения браузера, поскольку боты ведут себя не совсем так, как настоящие браузеры.
Чтобы обнаружить продвинутого вредоносного бота, нужно проводить комплексный технический и поведенческий анализ, изучать статистику и данные о репутации посетителя.
Botfaqtor использует универсальный подход к блокировке бот-трафика
Если вы ищете сервис для защиты от мошенничества с кликами, обязательно узнайте, как они отслеживают рекламный трафик. Остерегайтесь чрезмерно агрессивных инструментов, которые могут принести больше вреда, чем пользы.
Выбирайте защиту от недействительных кликов, которая использует динамический подход и адаптируется к вашему бизнесу, а не наоборот.
Как мы уже выяснили, использование только ручных правил для блокировки ботов не совсем корректно. Вместо этого лучше всего применять универсальный, многокомпонентный подход к обнаружению и блокированию незаконного трафика.
Для этого анализируются миллионы кликов по рекламе, собираются индикаторы и паттерны, а затем создаются профили. К примеру, в сервисе Botfaqtor идет автоматизированное обучение системы в режиме реального времени, которое позволяет пополнять стоп-лист новыми ботами.
Защита рекламы в Яндекс и Google от недействительных кликов — это только начало. У пользователей, которые используют сервис Botfaqtor, появляется доступ к отчетам со всеми данными о кликах, количестве заблокированных ботов и другие параметры.
Выбирайте сервис Borfaqtor с бесплатным 7-дневным тестовым периодом, который поможет вам сократить расходы на рекламу и увеличить приток реальных потенциальных клиентов. Даже за это время вы сможете удостовериться, что система работает. Мы бережем любые рекламные бюджеты от скликивания.
