Cloudflare планирует добавить функцию, с помощью которой владельцы сайтов смогут запрещать ИИ-ботам собирать материалы для обучения моделей. При этом страницы ресурса останутся доступными для поисковых систем.
Новая опция Disallow AI Training позволит разделить действия краулеров по назначению. Роботы, которые индексируют сайт для поисковой выдачи, смогут продолжить работу. А боты, собирающие тексты и другие данные только для обучения ИИ, будут заблокированы.
Это особенно актуально для авторов, онлайн-медиа и издателей, создающих собственные материалы. До сих пор им часто приходилось выбирать: либо оставлять сайт открытым для поиска, либо полностью ограничивать доступ и терять часть потенциального трафика. Новый механизм должен убрать эту проблему.
Cloudflare ожидает, что крупные ИИ-платформы будут учитывать запрет на обучение и понятнее сообщать, как именно они используют контент сайтов.
Для владельцев веб-ресурсов это возможность сохранить присутствие в поиске и одновременно защитить публикации от несанкционированного сбора для нейросетей.
