Что такое плохие боты, как их обнаружить и заблокировать?

Приходит ли вам на ум что-то хорошее, когда вы слышите слово "боты", или вы знаете, как обнаружить и заблокировать плохих ботов? Думаю, вы слышали только о плохих ботах, не говоря уже о том, как их обнаружить и заблокировать. Однако не все боты плохие, есть и хорошие. Эта статья

Приходит ли вам на ум что-то хорошее, когда вы слышите слово "боты", или вы знаете, как обнаружить и заблокировать плохих ботов? Думаю, вы слышали только о плохих ботах, не говоря уже о том, как их обнаружить и заблокировать.

Однако не все боты плохие, есть и хорошие. В этой статье речь пойдет о плохих ботах, о том, как отличить хорошего бота от плохого, и о том, какой вред они могут нанести вашему сайту. И наконец, что не менее важно, вы узнаете, как можно предотвратить последствия работы плохих ботов.

Для начала давайте разберемся, что такое боты с точки зрения неспециалистов.

Что такое интернет-боты?

Согласно недавнему отчету компании Barracuda, специализирующейся на кибербезопасности, две трети интернет-трафика (64 %) составляют боты. Из этих двух третей ботов 40 % интернет-трафика составляют плохие боты. Эта статистика приведена по состоянию на сентябрь 2021 года.

Кроме того, в отчете отмечается, что если не принять строгих мер безопасности, то боты будут прорывать защиту и красть данные, что приведет к ухудшению работы сайта и утечке информации.

Давайте рассмотрим некоторые повседневные задачи, которые выполняет бот.

Типичные примеры ботов

Повседневный пример работы бота - поисковые системы, такие как Google, использующие ботов, которые заползают на тысячи веб-страниц для извлечения веб-контента и его индексации. Затем, когда вы ищете фразу в Google, он знает, где находится нужная информация.

Аналогичным образом, транзакционные боты совершают сделки от имени людей, а боты, занимающиеся покупкой билетов, приобретают билеты на популярные мероприятия.

Кроме того, с развитием искусственного интеллекта и машинного обучения службы бизнес-аналитики используют ботов для поиска страниц товаров и отзывов из профилей социальных сетей, чтобы узнать, как работает тот или иной продукт. 

Существенной причиной предпочтения ботов перед людьми в некоторых из перечисленных задач является то, что они могут выполнять инструкции в сотни или тысячи раз быстрее, чем это делают люди.

Теперь давайте выясним разницу между хорошими и групповыми ботами.

Каковы различные типы ботов?

Как я уже говорил, ботов можно разделить на хороших и плохих. Как и во всем остальном, давайте сначала рассмотрим хороших ботов.

Хорошие боты

Мы только что рассмотрели пример хорошего бота - бота поисковой системы. Существуют и другие хорошие боты, например:

• Боты голосовых систем: Как и боты поисковых систем, эти боты бороздят просторы Интернета в поисках ответов на запросы, которые пользователи задают с помощью голосового поиска. Среди знакомых ботов для голосового поиска - Alexa's Crawler и Applebot (Siri).

• Боты социальных сетей: Эти боты просматривают веб-сайты, размещенные на Facebook и других социальных сетях, чтобы улучшить предложения, бороться со спамом и улучшать онлайн-среду. Среди типичных примеров - Facebook Crawler и Pinterest Crawler. 

• Боты для защиты авторских прав: Эти боты ищут цифровой контент, чтобы обнаружить нарушения авторских прав. Одним из ярких примеров является Youtube Content ID, присвоенный владельцам авторских прав в сети. Другой пример - использование этих ботов в социальных сетях, где создание оригинального контента является главным приоритетом.

• Маркетинговые боты: Программное обеспечение для SEO и контент-маркетинга в основном использует этих ботов для поиска обратных ссылок на сайты, определения объема трафика, поиска органических и платных ключевых слов. В качестве примера можно привести боты SEMrush и AhrefsBot.

• Боты данных: Это боты, которые мгновенно предоставляют информацию о новостях, погоде и курсах валют. Среди ярких примеров - Amazon Echo и Google Home. 

• Торговые боты: Эти боты помогут вам найти лучшие предложения или акции на товары, которые вы планируете купить в Интернете. Потребители и розничные сети используют боты-трейдеры для поиска лучших ценовых предложений, чтобы обойти конкурентов.

Каковы особенности хороших ботов?

Как видите, одной из отличительных особенностей этих хороших ботов является то, что они выполняют ценную задачу для компании или посетителей сайта. Разработчики, создавшие их, не имеют злого умысла.

Кроме того, они не мешают работе пользователей на сайте, который они просматривают. Хороший бот также соблюдает правила в файле robot.txt веб-сайта, в котором указаны страницы, которые следует и не следует переползать.

Однако, с другой стороны, когда боты посещают сайт, они могут расходовать время загрузки сервера и пропускную способность. Таким образом, даже настоящие боты могут невольно нанести ущерб. Более того, агрессивный бот поисковой системы также может вывести сайт из строя. 

Однако эти негативные последствия можно преодолеть с помощью правильной конфигурации сервера.

Теперь давайте разберемся, что такое плохие боты.

Баб-боты

Как хорошие боты приносят пользу пользователям, так и плохие боты разрабатываются разработчиками программного обеспечения, чтобы причинить вред. К числу плохих ботов, представленных на рынке, относятся:

Боты, увеличивающие количество просмотров страниц

Разработчики создают этих ботов для отправки фальшивого трафика на сайты, чтобы увеличить количество просмотров страниц и обмануть владельцев страниц, заставив их поверить, что общее количество страниц увеличилось. Однако на самом деле реальных пользователей нет, и именно боты увеличивают количество просмотров страниц или лайков. 

Некоторые веб-сервисы используют этих ботов для продажи трафика. Они утверждают, что отправят реальных пользователей на ваш сайт, а на самом деле в итоге отправляют трафик ботов.

Некоторые боты просматривают видео и завышают количество просмотров.

Боты-спамеры

Спам-боты часто посещают веб-страницы для выполнения спамерских задач. Один из ярких примеров спамерской деятельности - автоматическое взаимодействие с онлайн-формами, оставление комментариев и их отправка путем автоматического нажатия на кнопку отправки. 

Например, некоторые конкуренты вашего бизнеса оставляют фальшивые комментарии к товару, чтобы создать негативные отзывы о нем. Еще один пример частого использования спам-ботов - политические кампании.

Вы, наверное, часто замечали, что спамерские комментарии содержат URL и даже специальные символы.

Веб-скреперы

Веб-скраперы - это интернет-боты, способствующие краже вашего контента. Эти боты обычно посещают веб-страницы и извлекают данные без согласия администраторов сайта.

Хотя с точки зрения закона онлайновый скраппинг не является противозаконным, если контент находится в открытом доступе, не требует аутентификации и не подпадает под действие законов об авторском праве, авторам он обычно не нравится. Веб-скреперы могут закрыть сайт, если они посылают слишком много запросов.

Бот для оформления заказа

При покупке лимитированных кроссовок люди чаще всего используют кассовых ботов, чтобы успеть купить кроссовки. Поскольку в силу конкурентной природы лимитированной серии пользователь может купить только одну пару, он использует ботов для ускорения процесса оформления покупки.

Процесс копирования кроссовок ботами происходит с такой скоростью, о которой человек может только мечтать. В результате у тех, кто покупает на самом деле, не будет никаких шансов получить кроссовки, поскольку они не смогут приблизиться к скорости ботов. Возможно, вам будет интересно почитать об этом: Что такое сникер-боты и как они используются?

Ботнеты

Ботнеты - это компьютерные сети, захваченные хакерами для осуществления различных кибератак.

Хакеры создают ботнеты, чтобы увеличить свои возможности по осуществлению более экстраординарных атак, таких как скоординированные DDOS-атаки, путем расширения, автоматизации и ускорения процесса. Затем ботнеты используют ваши устройства, чтобы обманывать и нарушать работу устройств других людей без вашего ведома или согласия.

Тогда эти зараженные устройства называются Zoombie. Для получения дополнительной информации о ботнетах вы можете обратиться к этой статье.

Боты для захвата учетных записей

Эти боты обычно крадут учетные данные, используя два наиболее распространенных автоматизированных метода, известных как Credential Stuffing и Credential Cracking. Первый метод использует массовые попытки входа в систему для проверки валидности пары имени пользователя и пароля, которые они украли.

В отличие от последнего метода, бот пытается ввести разные значения для пары имени пользователя и пароля. В итоге боты добиваются успеха и взламывают компьютерную систему, что может иметь далеко идущие последствия.

Кардинг и боты для взлома карт

Как вы уже догадались, мошенничество с кредитными картами может происходить на любом сайте, использующем платежный процессор. Хакеры используют вредоносных ботов для проверки номеров кредитных карт, которые они украли, совершая незначительные платежи, известные как кардинг. 

Они также используют взлом карт для выявления недостающей информации, например даты истечения срока действия и номера CVV.

Такие угрозы часто возникают в розничной торговле, индустрии развлечений и путешествий.   

Как обнаружить плохих ботов

Обнаружение и управление ботами требует большого количества исследований и опыта, поскольку хакеры разрабатывают ботов так, чтобы они были незаметны. Чтобы выяснить, есть ли на вашем сайте бот-трафик, необходимо глубоко копнуть. С другой стороны, необходимо, чтобы было минимальное количество ложных срабатываний (людей принимают за ботов) и ложных отрицаний (когда вы ошибочно идентифицируете людей за плохих ботов).

В любом случае, вот несколько признаков того, что боты могли проникнуть в вашу систему:

Нерегулярные всплески трафика

Любой владелец сайта имеет доступ к данным метрики сайта. Например, данные аналитики Google. Так вот, если вы просматриваете эти показатели и видите, что резко увеличился трафик из необычных мест, это говорит о том, что с вашим сайтом взаимодействуют боты.

В таких обстоятельствах вы можете заметить увеличение показателя отказов. Трафик может поступать из мест, откуда вы обычно не получаете посетителей.

Изучая заголовок запроса

В большинстве случаев некоторые менее изощренные боты не отправляют все заголовки, которые обычно отправляет браузер. На самом деле они забывают отправить заголовок user-agent.

Сложные боты, которые обычно отправляют заголовки, не отправляют больше, чем строку user-agent. Поэтому если вы получаете запросы с небольшим количеством заголовков или вообще без них, это говорит о том, что боты потенциально оценивают ваш сайт. В отличие от них, браузеры отправляют разумное количество информации в заголовках.

Производительность сервера значительно снижается

Как вы уже узнали выше, когда боты заходят на ваш сайт, они потребляют большую часть ресурсов сайта, включая пропускную способность. Поэтому если вы получаете кучу запросов от ботов за короткий промежуток времени, это означает, что ваш сайт будет работать значительно медленнее.

Однако некоторые хитрые боты действуют таким образом, что остаются незамеченными и выполняют свои действия подобно человеку. Они отправляют слишком мало запросов, как это сделал бы человек.

Поэтому не всегда можно полагаться на снижение производительности как на метрику для измерения трафика ботов.

Высокая или низкая продолжительность сеанса

Как правило, продолжительность сеанса или количество времени, которое пользователь проводит на сайте, стабильна. Однако внезапное увеличение продолжительности сеансов может означать, что боты просматривают ваш сайт с меньшей скоростью. С другой стороны, боты могут переходить по страницам сайта быстрее, чем пользователь, что приводит к спонтанному сокращению времени сеанса.

Конвертация в мусор и размещение контента

Вы можете столкнуться с отправкой форм с необычных адресов электронной почты, поддельных телефонных номеров и имен.

Другой способ, с помощью которого вы можете легко обнаружить ботов, - это контент, который они могут публиковать. В отличие от людей, у ботов нет времени на создание качественного контента. Поэтому, когда вы начинаете получать неясные, глупые комментарии или сообщения со встроенными URL-адресами, вы должны понять, что это не люди, а боты.

Как блокировать вредоносных ботов

В качестве первого шага в борьбе с этими вредоносными ботами вы должны настроить файл robot.txt вашего сайта. Вы, несомненно, можете настроить этот файл так, чтобы контролировать страницы, к которым бот может получить доступ, и минимизировать взаимодействие бота с большинством страниц вашего сайта.

Некоторые из других мер включают:

Установка ограничений на скорость на основе IP-адреса - IP-адрес является уникальным идентификатором устройства, оценивающего ваш сайт. Поэтому, будучи веб-администратором, вы можете ограничить количество запросов, которые IP-адрес делает к вашему сайту за определенный период времени.

Блокировка подозрительных IP-адресов - помимо установки ограничений скорости, ваши веб-адреса могут блокировать список подозрительных IP-адресов, с которых поступают запросы. Для этого можно использовать WAF (Web Application Firewall).

Используйте сервисы Captcha - возможно, вы сталкивались с капчей при посещении некоторых сайтов. Когда служба captcha обнаруживает странное или похожее на бота поведение, она заставляет вас решить проблему, прежде чем запретить доступ к сайту.

Заключение

Мы надеемся, что вы получили полное представление о вредоносных ботах, о том, как их обнаружить и, наконец, избавиться от них. Действительно, вам понадобятся настоящие боты, которые не причинят вреда вашей системе. Тем не менее, будет полезно, если вы любой ценой избавитесь от плохих ботов, поскольку ущерб, который они могут нанести, очень велик.

Мы надеемся, что эта статья была вам полезна, и следите за новыми статьями.