Обнаружение ботов — это первый шаг в предотвращении автоматических атак на сайты, мобильные приложения, социальные сети. Задача — отделить человеческий трафик от ботового. Ведь, как известно, треть всего мирового веб-трафика приходится именно на ботов. И их обнаружение жизненно важно для защиты рекламных кампаний от скликивания и вредоносных действий.
Но обнаружить ботовый трафик не так просто. Злоумышленники находят новые способы для обхода фильтров рекламных площадок, сервисов защиты от кликфрода и аналитических способностей маркетологов. Они применяют не просто стандартизированных ботов для выполнения мошеннических атак, но и используют клик-фермы и даже самообучающиеся скрипты, имитирующие поведение реальных людей и т. д. Так как же можно отделить реальных людей от ботов? Смотрим.
Что такое скликивание
Скликивание (также кликфрод и мошенничество в рекламе) — разновидность киберпреступлений, при совершении которых используются боты для генерации фальшивых кликов по рекламным объявлениям.
Как это работает
Многие вебмастера монетизируют свой контент через продажу мест под размещение рекламы на страницах сайта, а другие компании платят им немалые деньги за размещение объявлений. Стоимость размещения, просмотров и кликов зависит от тематики и популярности интернет-ресурса. А с помощью скликивания мошенники воруют деньги у рекламодателей через накрутку просмотров рекламных объявлений, клики и другие метрики.
Боты же, которых используют злоумышленники, выдают себя за реальных пользователей — они просматривают рекламу, кликают по ней, «выкупают» товары на сайте, заполняют онлайн-формы и скупают у интернет-магазинов лимитированные коллекции одежды и обуви для дальнейшей перепродажи. Мошенническая деятельность затрагивает как рекламодателей, так и паблишеров.
Рекламодатели платят за просмотры пользователям, которых не существует, и вебмастер (если мошенник именно он) таким образом увеличивает свой доход. Когда рекламодатель замечает увеличение количества недействительного трафика и определяет наличие скликивания по определенным признакам, добавляет такого вебмастера в черный список и возвращает потраченные средства.
Признаки
Есть две основные метрики, которые помогают выявить подозрительную активность. Первая — CTR (click-through rate), это показатель кликабельности, который, в среднем, составляет 2-5% для большинства рекламных сетей. Вторая — источник трафика, он должен соответствовать тематике и направлению ресурса.
Статистика
В 2021 году в ходе самого крупного и глобального исследования было зафиксировано увеличение случаев кликфрода по сравнению с другими видами мошенничества в рекламе. Был проанализирован миллиард кликов и миллионы параметров. И вот что выяснилось:
- 11% кликов по рекламе на поиске — мошеннические или недействительные.
- 36% кликов по контекстно-медийной рекламе — мошеннические или недействительные.
- 17% показов рекламы на CTV-устройствах — мошеннические или недействительные.
- Только у 13% исследованных аккаунтов не было замечено практически никакой мошеннической или недействительной активности.
Контекстно-медийная реклама получила наибольшее количество мошеннических кликов — 36%. В первую очередь из-за того, что рекламодатели платят за каждый клик по рекламе, многие группы мошенников тратят значительное количество времени на обман с помощью поддельных веб-сайтов.
Реклама на SmartTV — CTV (connected TV) — заняла второе место по уровню рекламного мошенничества — 17% от всех кликов. Как и в случае с медийной, многие мошеннические схемы (ботнеты DrainerBot и Methbot) автоматически просматривают YouTube с целью обмана рекламодателей и отъема рекламного бюджета.
К примеру, на своем пике в январе 2020 года во время операции ICEBUCKET злоумышленники генерировали порядка 1,9 миллиарда мошеннических рекламных запросов в день в CTV-сетях.
Наиболее низкий уровень мошенничества был замечен в рекламе на поиске — всего 11% скликиваний. Почему низкий? Потому что мошенникам он не приносит практически никакой прибыли от простого скликивания. Зато такой тактикой могут злоупотреблять нечестные конкуренты.
Такой уровень мошенничества так или иначе затрагивает практически каждого рекламодателя. Согласно статистике, 83% рекламодателей сталкиваются со значительным уровнем мошенничества в рекламе.
Что такое недействительный трафик
Мошенничество в цифровой рекламе нередко называют недействительным трафиком, который подразделяется на две категории:
Общий трафик (GIVT)
Это ботовый трафик, который можно легко определить. К примеру, к нему относится обход сайта роботами Яндекса и Google для индексации ресурса. Легкость определения заключается в том, что поведение таких роботов не маскируется под действия реальных пользователей — они выполняют обход по строго заданным и известным алгоритмам.
Не все виды трафика в этом случае относятся к мошенническому. Он в принципе не предполагает расходование рекламного бюджета.
Сложный для определения трафик (SIVT)
Здесь же всё наоборот: мошенники делают всё возможное, чтобы замаскировать поведение ботов под реальных пользователей и скрыть факт мошенничества с рекламой. Просмотры и переходы ботами не так уж легко обнаружить и отделить от GIVT. К SIVT относятся такие техники мошенничества, как скрытые рекламные объявления, подмена домена или использование зараженных вредоносом браузеров или приложений, которые генерируют просмотры страниц в фоновом режиме.
Где боты, а где — люди
Несмотря на то, что специалисты в области кибербезопасности установили общие метрики для определения автоматизированной и скоординированной ботовой активности, нет двух одинаковых моделей или алгоритмов. Многие из них применимы только в совокупности со всеми собранными данными.
Даже если пользователь ведет себя, как бот, это еще не значит, что перед нами именно он. Вот признаки, которые только в совокупности с другими показателями могут указывать на то, что перед нами не человек:
Социальные сети
Аккаунт
- Только что создан.
- Не указаны персональные данные или указан минимум.
- Неоднозначное фото профиля, чужое фото или абстрактная картинка.
- Слеши, хэштеги, ссылки и эмотиконы в биографии.
- Странное имя пользователя, например с цифрами (smile123, Иван584).
- Дублированный аккаунт.
Контент
- Твиты и посты на одном и более языках.
- Участие во множестве разных дискуссий.
- Признаки автоматизированного поведения или применение специальных софтов для управления аккаунтом.
- Спам хэштегами.
- Постинг провоцирующих мемов и гифок.
- Отсутствие достоверных новостных источников в постах.
- Странное построение фраз.
Активность
- Спам постами и твитами (более 100 в день).
- Спам репостами и ретвитами (более 80%).
- Постинг в любое время дня и ночи.
- Постинг по графику.
- Внезапный всплеск активности или изменение интересов.
Взаимодействие
- Большое количество подписавшихся и подписок.
- Большое число подписок и отсутствие подписавшихся.
- Подписки на сомнительный микс источников.
- Связь с другими подозрительными аккаунтами.
Веб-сайты
Показатель отказов и продолжительность сеанса
- Боты могут скликивать рекламу, сидеть на странице 2-3 секунды и покидать сайт. Следите за поведением курсора и переходом по страницам. Боты умеют выполнять и эти действия тоже. Соберите по вебвизору или другому инструменту схожие посещения и просмотрите все. Если выявлено одинаковое поведение, перемещение курсора и прокрутка страницы автоматизированы, — это боты.
- Если же поведение разное, но отказы массовые, посмотрите на настройки рекламного объявления. Возможно, вы ошиблись со ссылкой, которую указали к нему. Например, если вы рекламируете курсы веб-дизайна, а ссылка ведет на курсы по программированию. Или размещаете рекламу о 80% скидке на товар, а после перехода на его страницу оказывается, что акция уже прошла. Логично, что пользователь покинет сайт.
Реферальные ссылки
- Метки. Что такое рефералы? Проще говоря, реферал — это сторонний сайт, который ссылается на ваш. Посмотрите, как выглядит реферальная ссылка: если в ней присутствует слово «SEO», то код «красный».
- Неизвестный реферальный трафик. Следите за источниками трафика. Если большое количество посещений идет исключительно с одного и того же сайта, неизвестного вам или плохого качества (ГС), высокий процент таких посещений могут составлять боты.
Взаимодействие
- Если вы заметили большое количество пользователей, которые после клика по рекламе и перехода на сайт не взаимодействуют с определенными элементами на странице (кнопки, ссылки, вкладки), то это может быть показателем ботовости. Опять же, следите за показателем отказов.
- Более умные бот-скрипты могут нажимать на кнопки, переходить по ссылкам. И это очень похоже на поведение реального пользователя. Но, опять же, смотрите на совокупные данные. Если количество однотипных посещений огромное, пользователи повторяют одни и те же шаги на сайте, к примеру, переход по ссылке, спуск вниз, заполнение формы и отправка — и так десятки раз, менее, чем за час, бейте тревогу. Разные люди не смогут повторить одно и то же действие синхронно и за такой промежуток времени.
- Постоянное обновление контента. Характерно для ботов, которые разработаны для заполнения и отправки форм на сайтах.
Геопозиционирование
- Боты, как правило, используют подставные IP-адреса, прокси-сервера, дата-центры, взломанные устройства со всего мира. Поэтому обратите внимание на локацию трафика. Если вы рекламируете товар по Москве, но трафик идет из Голландии, к примеру, вероятно, что ваша реклама подверглась скликиванию.
- Пользователи могут использовать VPN, который заменяет реальное местоположение по метрикам, и тогда это могут быть и не боты. Однако смотрите на количество таких посещений.
- Индексирующие боты. Если вы являетесь вебмастером и участником РСЯ в Яндекс.Директ или КМС в Google Ads и видите множество переходов за последние сутки из Канады, к примеру, не спешите ставить «черную» метку таким визитам. Да, это боты, но специальные и не вредоносные. Скорее всего, это роботы поисковых систем, которые индексируют ваш сайт.
- VPN. Как известно, злоумышленники используют VPN, чтобы скрыть свое истинное местоположение. Эмуляторы устройств, прокси-сервера, браузеры с луковой маршрутизацией, VPN и другие технические устройства и утилиты изменяют географию визита и позволяют злоумышленникам имитировать трафик из разных стран и регионов.
Махинации с доменами
- Спуфинг домена. Злоумышленники пытаются монетизировать трафик на доменах, которые им не принадлежат. Сейчас эту проблему можно решить с помощью файла ads.txt, в котором содержится список авторизованных паблишеров. Только продавцы из списка могут подать заявку на участие в аукционе для определенного домена. Но, как правило, вебмастра, которые соблюдают правила и не являются мошенниками, обычно становятся жертвами, когда кто-то пытается заработать деньги на их доменах и премиальном инвентаре.
- Боты используют фальшивые браузеры, которые указывают в качестве конечной цели определенный домен. Такой прием, например, использовали ботнеты Methbot (подделано 6000 премиум-доменов) и 3ve (подделано 10 000 доменов). Страницы используемых сайтов не содержали никакого контента, а только рекламу криптовалютных сервисов, в то время как заявленный домен принадлежал законному вебмастеру (паблишеру). В случаях с Methbot и 3ve жертвами стали именно вебмастера.
- Некорректная настройка домена. Если выше описаны примеры ботового трафика и кликфрода, то некорректная настройка паблишером домена не является мошеннической деятельностью. Это всего лишь ошибка, которая к ботам не имеет отношения. К примеру, такое случилось с американским медиа-холдингом Gannett. Из-за ошибки возникло искажение данных о переходах по рекламным объявлениям.
- Если бы это была мошенническая подмена домена, то размещаемая реклама попала бы на сайты с более низкой стоимостью, даже несмотря на то, что рекламодатель заплатил за размещение на более дорогом сайте. Таким образом, мошенник будет получать больше дохода.
Мобильные приложения
Метрики по кликам
- Большое количество кликов за короткий промежуток времени.
- Мгновенная установка приложения (слишком короткий промежуток времени между «Увидел — Установил»).
- Спам кликами.
- Спам установками.
Метрики по взаимодействию внутри приложения
- Неестественная продолжительность (частота) сеанса.
- Высокая скорость установки приложения.
- Короткие сессии.
- Фоновые установки приложения.
Параметры устройства
- Использование очень старых операционных систем в массовом количестве.
- Использование модели телефона, браузера, мобильного оператора в массовом кол-ве.
- Использование одного и того же разрешения экрана и модели в массовом кол-ве.
- Недействительные ID устройств.
Это лишь часть признаков, по которым можно отличить ботовый трафик от естественного. Главное, помнить, что анализировать его нужно только в совокупности со многими другими собранными данными.
Botfaqtor борется с ботами, а не вашими клиентами
Системы аналитики собирают в автоматическом режиме статистику по трафику для рекламодателей и вебмастеров. Анализировать вручную все эти данные можно долго и не без гарантии прийти к однозначному выводу и точному решению. За то время, пока маркетолог проводит анализ статистики, автоматизированные боты успевают совершить несколько атак и опустошить рекламный бюджет или привести к бану в Я.Директе и Google Ads. Что делать?
Сервис по защите от кликфрода Botfaqtor анализирует трафик по сотням паттернов и определяет, насколько качественный трафик получают рекламодатели и вебмастера. Алгоритм основан на машинном обучении, внося новые признаки роботизированных скриптов в свою систему. Сервис ловит и блокирует ботов (ботнеты), клик-фермы и просто злостных скликивателей.
Мошенничеству в рекламе подвержены и крупный, и средний бизнес. От рекламного бюджета скликивание практически не зависит: боты бьют по любому бюджету, оставляя вас без потенциальных клиентов. Рекламируйте свои товары и услуги только реальным пользователям, а не ботам. Ставьте защиту Botfaqtor и увеличивайте прибыль. Попробуйте 7-дневную версию бесплатно.
