Хорошие и плохие боты

Впервые ботов в интернете массово применили в поисковых системах. Сегодня 50% трафика на сайтах составляют боты, причем половина из них может нанести ущерб. Ботов условно можно разделить на «хороших» и «плохих».

«Хорошие» боты:

• Поисковые боты просматривают контент. Тем же занимаются поисковые машины: проверяют веб-контент с помощью роботов-пауков на соответствие поисковому запросу. У Google и Яндекса есть свои собственные боты Googlebot и YandexBot. Они работают на основе постоянно ухудшающегося алгоритма поиска подходящих сайтов.

• Боты данных предоставляют самую свежую информацию — новости, прогноз погоды, курсы валют. К таким ботам относятся Amazon Echo, Google Home, Siri и Алиса. Их также называют медиа-ботами.

• Боты проверки авторского права проверяют веб-контент, который может оказаться плагиатом: статьи, видео, фото без ссылки на источник. По данным Electronic Frontier такие роботы чаще всего встречаются в социальных медиа, где основную часть контента создают пользователи. Например, система Content ID на YouTube проверяет присутствие в роликах защищенного авторским правом контента.

• Торговые боты помогают найти лучшие предложения о продаже товаров онлайн. Они полезны и для покупателей, и для продавцов. Хороший пример таких ботов — браузерное расширение AliExpress Coupon Finder для поиска купонов и скидок на AliExpress или Honey для покупок на Amazon.

«Плохие» боты:

• Кликботы имитируют клик живого человека. Из-за их действий данные об эффективности рекламы могут быть некорректны, но это не самое страшное. Кликботы скликивают бюджет на рекламных объявлениях, из-за них впустую тратятся деньги.

• Боты-загрузчики файлов своими действиями похожи на кликботов, но вместо переходов по рекламе они искажают количество загрузок файла. В 2012 году разработчики приложений для iPhone массово воспользовались услугами «сторонних рекламных сервисов, гарантирующих высокие рейтинги». Это закончилось скандалом, и от «сторонних сервисов» пришлось отказаться.

• Боты-самозванцы имитируют действия настоящих пользователей. Их легко спутать с кликботами, но вред от них больше, чем слив рекламного бюджета на фальшивые клики. Цель таких ботов — обойти системы информационной защиты. Значительная часть бот-трафика состоит именно из ботов-самозванцев. Часто они стоят за DDoS-атаками. В конце октября 2016 года произошла DDoS-атака на Dyn DNS, из-за чего половина ресурсов глобальной Сети, включая Twitter, временно перестала работать. Виновником происшествия оказался ботнет Mirai, который использовал уязвимости в «умных» устройствах и был ботом-самозванцем.

• Скрейпер-боты действуют в противоположность ботам по проверке авторских прав. Вместо защиты эти боты воруют чужой контент и размещают его в другом месте.

• Программы-шпионы собирают данные о людях и компаниях для формирования и продажи подписных баз. К примеру, вам приходят письма от незнакомых людей, которым вы точно не давали свои контакты. Это может быть программа-шпион.

• Зомби-боты ищут уязвимые места в защите и получают доступ к вычислительной системе. Они работают в фоновом режиме, используя ваш компьютер для рассылки вредоносного ПО.

Какими бы страшными не выглядели боты, что «хорошие» что «плохие» – это программы, написанные для конкретных целей, сбора и обмена данными в сети. От «плохих» ботов невозможно защитится полностью. Необходимо следить за качеством трафика на вашем сайте!