Боты как инструмент автоматизации: примеры, вред и польза

Инструменты автоматизации рутинных и масштабных процессов — это мощь и сила любого маркетолога. Они экономят время и ресурсы и помогают достигать поставленных целей и повышать KPI. Мошенники тоже используют автоматизацию себе на пользу, однако в ущерб рекламодателям и вебмастерам. Давайте рассмотрим, как и какие боты используются.

Примеры


Если вы владелец сайта, который его монетизирует.

С помощью таких инструментов злоумышленники могут посещать сайт, парсить контент, взаимодействовать со страницами ресурса и переходить по рекламным объявлениям, внедрять свои cookie.


Если вы владелец интернет-магазина.

Автоматизированные инструменты могут копировать каталог, собирать информацию о ценах (для конкурентов), скупать товары для перепродажи, портить статистику по «корзине» и т. д.


Если вы владелец лендинга/корпоративного сайта.

Мошенники легко генерируют фальшивые лиды (если оплата за приведенного клиента, заявку и т. д.), подписываются на рассылку и т. п.


Если вы рекламодатель.

При размещении рекламы с оплатой за клик или за просмотры в РСЯ Яндекса и КМС Google можно столкнуться с неприятной неожиданностью. Площадки, где размещены объявления, могут принадлежать одной группировке мошенников, которые занимаются исключительно скликиванием рекламы.


О полезных и вредоносных ботах

Многие инструменты автоматизации используются поисковыми роботами (обходчиками). О них знают и вебмастера, и маркетологи. Однако мы всё чаще стали сталкиваться с проблемой вредоносных ботов.

Конечно, не все роботы плохие. Но знание того, какие из них оказывают негативное влияние на сайт, и что можно сделать, чтобы их заблокировать, тоже немаловажно. 

В большинстве своем инструменты автоматизации приносят пользу. Если вы онлайн-маркетолог, то, скорее всего, уже использовали или используете ряд специальных автоматизированных инструментов. Например, собираете ключевые слова, делаете аудит конкурентов, составляете отчетность по рекламе. Всё это — при помощи полезных ботов.

Практически в каждом таком инструменте будет «сидеть» тот или иной робот для выполнения задач. Давайте посмотрим, какие из них полезные, а какие — вредоносные, и используются в тех или иных инструментах.

Хорошие боты и инструменты автоматизации

Полезные боты помогают пользователям по всему интернету взаимодействовать с контентом на сайтах. Вот несколько примеров, когда инструменты привлекают их к выполнению автоматизации регулярных задач:

  • Сканеры поисковых систем (обходчики): собирая информацию для Яндекс, Google, Bing и других ПС, такие боты формируют выдачу под запросы пользователей.
  • Поисковые роботы в социальных сетях: могут использоваться для сбора информации о популярных хэштегах, репостах/ретвитах записей и даже для предоставления полезных советов в режиме реального времени.
  • Боты для мониторинга сайта: выполняют мониторинг технического состояния сайта. Они пингуют ресурс, чтобы отслеживать его производительность и работоспособность.
  • Маркетинговые боты: используются службами SEO- и контент-маркетинга для сканирования сайта: сбор семантического ядра, плотность ключевых слов/фраз, заголовки, позиции по запросам и многое другое. Также применяются в PPC-рекламе, SEO и при анализе социальных сетей.
  • Чат-боты: эти полезные операторы автоматизируют коммуникацию с потенциальными клиентами. Не предназначены в качестве обходчиков сторонних ресурсов, однако некоторые из них могут собирать информацию с сайта и из других источников (например, которые встроены в сайт).

Нужно ли блокировать полезных ботов?

Хорошие боты делают полезную работу: сканируют сайты, помогают пользователям через онлайн-чаты, упрощают рутинные SEO-процессы и т. д. Эти автоматизированные инструменты не смогли бы выполнять свою работу, если бы им был запрещен доступ к сайту.

Что касается влияния сторонних ботов различных аналитических систем, то Яндекс и Google не учитывают их в качестве действительных кликов.

Автоматизация с помощью плохих ботов

Плохие боты запрограммированы на выполнение задач, которые могут навредить сайту и его посетителям или рекламным кампаниям. Это не те автоматизированные скрипты, которые нам нужны для таргетинга и защиты сайтов.

  • Боты для парсинга страниц: используются для воровства контента и сбора контактных данных (для отправки спам-писем). Является одним из наиболее распространенных и раздражающих автоматизированных инструментов, негативно влияющих на сайт.
  • Клик-боты: эти мошеннические автоматизированные скрипты используются для скликивания, как то: клики на поиске из выдачи по запросам для увеличения посещаемости сайта, накрутка переходов по контекстной рекламе, истощение дневного рекламного бюджета на поиске.
  • Спам-боты: автоматические спамеры используются для наращивания обратных ссылок через открытые комментарии в блогах, социальных сетях, на форумах и т. д. Их также можно использовать как ресурс для DDoS-атак.
  • Финансовые боты: Мошенничество с кредитными картами часто осуществляется с помощью ботов — за какие-то секунды обрабатывают тысячи подобных мошеннических транзакций.
  • Боты для кражи учетных записей: они перехватывают учетные записи с доступом к персональным данным и конфиденциальной информации, такой как банковские счета и кредитные карты. Киберпреступники используют заполученную информацию для кражи денежных средств или мошеннических покупок.

Почему плохие боты становятся все большей угрозой?

Существует множество вредоносных инструментов для SEO и контекстной рекламы, которые выходят за рамки простого сканирования и сбора данных. Парсинг контента, спам ссылками, скликивание рекламы — это одни из самых распространенных методов мошеннических операций.

Помимо кражи информации и истощения рекламных бюджетов, данные программы также становятся все более сложными и изощренными. Теперь они могут имитировать человеческое поведение, поэтому маркетологам становится сложнее, чем когда-либо, их блокировать.

В 2021 году вредоносные боты составляли 27,7% всего глобального интернет-трафика по сравнению с 25,6% в 2020 году. Кроме того, они даже научились обходить стандартные меры защиты — 65% такого трафика.

Активность вредоносных ботов в сети растет, большая часть из них настолько «обучены», что простые меры защиты их не останавливают. Поэтому важная задача в данном случае — мониторинг трафика, формирование отчетности по посещениям, достигнутым целям и переходам и дополнительные меры защиты.

5 способов защитить сайт и рекламу от ботов

1. Исключение роботов в Яндекс.Метрике и Google Analytics

Боты могут искажать анализ посещений сайта, что затрудняет точную интерпретацию данных и принятие верных решений. Поэтому первый шаг — узнать, возможно ли это и как это сделать в системах аналитики.

Для этого нужно перейти к настройкам счетчика и исключить поисковых роботов. 

Google Analytics

 «Администратор» — «Настройки представления» — «Фильтрация роботов». Поставьте флажок напротив параметра «Исключить обращения роботов и «пауков».

Яндекс Метрика

«Фильтры» — «Фильтрация роботов» — выбрать нужный параметр.

Научившись блокировать автоматизированных обходчиков в Яндекс и Google, вы будете получать более точные данные по визитам. 

2. CAPTCHA

CAPTCHA — довольно простой фильтр, который можно назвать первой линией защиты. Он защищает сайты от ботов с помощью простых визуальных тестов. Они легки для людей, но сложны для роботов. Однако мошенники не стоят на месте: уже созданы такие скрипты, которые могут решать даже капчу.

Конечно, CAPTCHA не идеальна. И, судя по некоторым исследованиям, она даже может приводить к снижению конверсии.

3. Брандмауэр

Брандмауэры отлично подходят сайтам для блокировки неизвестных угроз. Как правило, у них есть накопленная база с известными вредоносными user-agent и IP-адресами, которые автоматически блокируются.

Одним из недостатков такого подхода является то, что некоторые боты используют сотни различных IP-адресов. И они с легкостью могут менять их. Также автоматизированные скрипты могут осуществлять свои атаки с резидентных IP-адресов с положительной репутацией. Если такие адреса блокируются, то вместе с ними лишаются доступа к сайтам и реальные пользователи.

4. Скрытые формы

Некоторые вебмастера добились успеха в блокировке ботов с помощью скрытых полей и приманок, размещаемых на сайтах. Код формы помещается в CSS, который читают только скрипты, реальные же пользователи его не увидят.

Такие формы служат ловушкой для ботов, так как последние настроены исключительно на заполнение всех доступных полей. Все «заявки» через скрытые формы просто отсекаются в дальнейшем.

Используйте этот подход с осторожностью, потому как у него есть два недостатка. Во-первых, умные боты могут идентифицировать и игнорировать скрытые поля, как и люди. Во-вторых, поисковые системы склонны накладывать фильтры и баны на такие страницы, рассматривая эту технологию как способ «черной» оптимизации.

5. Сервисы блокировки ботов

Очевидный способ защиты сайтов и рекламы от ботов и других вредоносных автоматизированных систем — специальные сервисы киберзащиты. Например, Антибот для сайта или защита от скликивания в Яндекс Директ и Google Ads с сервисом Botfaqtor. Они предназначены для фильтрации спама, блокировки DDoS-атак и вредоносных ботов. 

Преимущество Botfaqtor заключается в блокировке не только прямого недействительного трафика из поиска, но и мошеннических кликов по рекламным объявлениям. 

Полезным ботам — «Да!», вредоносам — «Нет!»

Большая часть маркетологов сконцентрирована на привлечении наибольшего числа потенциальных клиентов, то есть курс — на генерацию лидов. Также среди прочего — оптимизация затрат на конверсию. Однако на проблему скликивания рекламы и генерации фальшивых лидов многие не обращают внимания. А она напрямую влияет на маркетинговый бюджет.

Мир автоматизации продолжает расти, и для многих задач доступно все больше и больше инструментов, где используются боты. Фактически, большая часть интернет-трафика состоит из автоматизированных инструментов, таких как обходчики («пауки») и роботы. И многие из них используются для совершения вредоносных и мошеннических действий.

Блокирование бот-трафика — немаловажный аспект для любого рекламодателя. Особенно в рамках большого рекламного бюджета.

Никогда не проверяли свой трафик по рекламе? Замечали, что переходы идут, но конверсия близка к нулю? Проверьте бесплатно свою рекламу на ботов. Возможно, вы уже отдали не один десяток тысяч рублей мошенникам.

Об авторе

Алёна

Пишу о ботах и кибербезопасности

Просмотреть все сообщения

Добавить комментарий