Считается, что недоумение превышает правила доступа ⋅ <>

А Служба ИИ недоумение подвергается критике не придерживаться установленных правил для автоматического сбора данных в Интернете. Как сообщает поставщик сетевых услуг CloudFlare, недоумение также должна получить доступ к контенту веб -сайтов, если они прямо запрещают файл robots.txt, который будет искать автоматические программы. Такие правила служат для этогоЧтобы уменьшить нагрузку на сервер или защитить конфиденциальное содержание.

В тестах Cloudflare смог продемонстрировать, что недоумение не только активно активно с его официально объявленным Crawler, но и использует альтернативный доступ с помощью IP -адресов и манипулируемых идентификаторов браузера, которые не указаны.

Среди прочего, пользовательский агент использовался для имитации браузера Google Chrome на Mac. Этот камуфляж, по -видимому, служит во избежание ограничений доступа. Согласно Cloudflare, несколько миллионов таких скрытых запросов были зарегистрированы каждый день.

Поведение противоречит общим стандартам

CloudFlare видит один в наблюдаемом подходе явное нарушение применимых норм в работе с автоматическим доступом. В то время как серьезные поставщики, такие как Openai, четко отмечают их ботов, используйте солидные области IP и придерживаются доступа к запретам, смущение, похоже, сознательно нарушает эту практику. В сравнительном тесте Openais Chatgpt уважал инструкции по блокированию и отказался от дальнейших попыток получить доступ.

Чтобы проверить поведение, Cloudflare создал несколько недавно зарегистрированных тестовых сайтов, которые не были обнаружены не публично и не были проиндексированы в поисковых системах. Тем не менее, недоумение смогло выпустить подробное содержание этих страниц. Исходя из этого, Cloudflare приходит к выводу, что автоматическая запись должна была быть сделана, несмотря на блокировку.

Меры защиты для операторов веб -сайтов

Cloudflare в соответствии с ее собственной информацией взяла технические контрмеры. В дополнение к удалению недоумения из списка проверенных ботов, в защитные системы были интегрированы новые шаблоны идентификации, чтобы предотвратить скрытое ползание. Операторы веб -сайта, кто Cloudflares Bot-Management Использование уже должно быть защищено. Правила также могут быть настроены, которые отфильтровали автоматический доступ или запросить их пользователей подтвердить.