Рост трафика от ИИ-ботов: вызовы и последствия для бизнеса

Fastly, опубликовал отчет, в котором отмечается значительное изменение характера автоматизированного интернет-трафика. Анализ, проведенный с 16 апреля по 15 июля на основе данных двух продуктов компании – Next Gen WAF и Bot Management, показал, что боты, управляемые искусственным интеллектом (ИИ), составляют почти 80% всего трафика от ИИ-ботов. При этом более половины этого трафика генерирует Meta⋆, обогнав Google и OpenAI вместе взятых.

Типы ИИ-ботов и их влияние на интернет-трафик

Авторы отчета разделили ИИ-ботов на две категории: краулеры и фетчеры. Краулер-боты, как отмечается в документе, функционируют подобно поисковым роботам – они систематически сканируют веб-сайты для сбора контента с целью создания индексов для поиска или обучения языковых моделей. Этот процесс является предварительным этапом «обучения» модели.

Фетчер-боты, в свою очередь, получают доступ к содержимому веб-сайтов в ответ на действия пользователя. Например, когда пользователь запрашивает актуальную информацию по конкретной теме, фетчер-бот извлекает соответствующую страницу в режиме реального времени. Фетчеры также используются для выдачи ссылок на веб-сайты, соответствующих запросу пользователя, направляя его к наиболее релевантному контенту.

Краулер-боты составляют почти 80% общего объема запросов от ИИ-ботов, в то время как фетчеры – оставшиеся 20%.

Ключевые выводы отчета Fastly

• Meta⋆ генерирует 52% всего трафика от краулеров ИИ, что более чем вдвое превышает показатели Google (23%) и OpenAI (20%).

• Секторы, сталкивающиеся с наибольшим объемом сбора данных для обучения моделей ИИ, – это высокие технологии, торговля и медиа и развлечения.

• ChatGPT генерирует самый большой объем трафика в режиме реального времени на веб-сайты: 98% запросов фетчер-ботов приходится на ботов OpenAI.

Меры по управлению трафиком от ИИ-ботов

Эксперты рекомендуют разработать рамки и лучшие практики для управления и смягчения активности краулеров. Многие из этих краулеров теперь имитируют поведение человека, обходя традиционные средства защиты и управления, что требует инновационных методов обнаружения. Необходимо продумать, как обеспечить, чтобы поведение ИИ-ботов оставалось конструктивным фактором, а не разрушительным элементом.

Последствия роста трафика от ИИ-ботов

По мнению экспертов, рост трафика от ИИ-ботов приведет к повышению затрат для всех. По мере того как провайдеры веб-хостинга сталкиваются с более высоким трафиком от этих ботов, неизбежно эти затраты будут переложены на владельцев веб-сайтов. Это происходит в то время, когда трафик от пользователей на веб-сайты сокращается, что негативно сказывается на сайтах, зависящих от выручки, от рекламы, и добавляет дополнительное давление на эти предприятия.

Владельцы веб-сайтов сталкиваются с трудной дилеммой: с одной стороны, наличие их блогов и информации в наборе данных, используемых этими инструментами, ценно, когда люди используют инструменты, такие как ChatGPT, для поиска информации или принятия решений о покупках. Также есть будущий потенциал использования ИИ-агентов для взаимодействия с веб-сайтами и оформления заказов.

С другой стороны, отношения могут быть паразитарными: ИИ накапливает затраты на улучшение своего набора данных для обучения, и, судя по имеющимся данным, не выступает в качестве воронки, как раньше поисковые системы, направляя трафик на веб-сайты для конверсии в электронной коммерции.

Кроме того, существует риск посредничества – особенно если ИИ генерирует ложную информацию о вашем веб-сайте и продуктах вашей компании. Или, что еще хуже, люди преднамеренно отравляют модели ИИ, чтобы нанести вред вашему бизнесу (и это произойдет рано или поздно).

С точки зрения безопасности, весьма вероятно, что вскоре кто-то придумает, как включить этот огромный трафик ИИ в DDoS-атаки.

Необходимость стратегий управления ботами

Контроль над трафиком от ботов, особенно от ИИ-ботов, будет продолжать расти, поэтому наличие средств смягчения этого явления является необходимым. Использование директив в robots.txt, внедрение технического контроля (например, ограничение скорости) или инвестиции в полное решение по управлению ботами помогут защитить организации. Разработка стратегии также важна, чтобы организации были готовы к всплескам трафика от ботов.

Рост трафика от ИИ-ботов, как показал отчет Fastly, представляет собой серьезный вызов для интернет-инфраструктуры и бизнеса. Появление новых типов ботов, управляемых искусственным интеллектом, приводит к существенному увеличению нагрузки на серверы и потребления пропускной способности.

Ключевым фактором является агрессивность фетчер-ботов, которые извлекают информацию в режиме реального времени. В то время как краулер-боты, сканирующие веб-сайты для создания индексов, генерируют значительный объем запросов, пиковые нагрузки фетчер-ботов могут быть в десятки раз выше, что сопоставимо с DDoS-атаками.

Meta⋆, Google и OpenAI являются основными генераторами трафика от ИИ-ботов. Важно отметить, что Meta⋆ лидирует, генерируя более половины всего трафика от краулеров.

Этот тренд имеет серьезные последствия для владельцев веб-сайтов. Повышение затрат на хостинг, вызванное увеличением трафика от ботов, может привести к необходимости пересмотра бизнес-моделей, особенно для сайтов, зависящих от рекламы. Кроме того, существует риск распространения ложной информации о компаниях и продуктах через ИИ-ботов.

В этой ситуации необходима разработка стратегий управления трафиком от ботов. Использование инструментов robots.txt, ограничение скорости запросов и инвестиции в решения по управлению ботами станут важными мерами для защиты бизнеса.

Будущее интернет-инфраструктуры будет зависеть от способности эффективно справляться с вызовами, связанными с ростом трафика от ИИ-ботов.