Google представляет Google-Extended, позволяющий блокировать Bard и Vertex AI через robots.txt

Google анонсировала новый веб-сканер Google-Extended, который позволяет контролировать, могут ли Bard и Vertex AI получать доступ к контенту на вашем сайте.

Сегодня компания Google объявила о выпуске нового “токена автономного продукта” под названием Google-Extended, который позволит вам контролировать доступ Bard и Vertex AI к контенту на вашем сайте.

По всей видимости, это стало итогом “публичной дискуссии”, инициированной Google в июле, когда компания пообещала собрать “голоса различных веб-издателей, представителей гражданского общества, научных кругов и других областей” для обсуждения вопросов выбора и контроля над веб-контентом.

Bard – это инструмент разговорного ИИ компании Google. Vertex AI – платформа машинного обучения Google для создания и развертывания генеративных приложений поиска и чата на базе ИИ.

В своем блоге компания Google сообщила:

“Сегодня мы объявляем о выпуске Google-Extended – нового средства контроля, с помощью которого веб-издатели могут управлять тем, способствуют ли их сайты улучшению генеративных API Bard и Vertex AI, включая будущие поколения моделей, на которых основаны эти продукты. Используя Google-Extended для управления доступом к контенту на сайте, администратор сайта может выбирать, помогать ли этим моделям искусственного интеллекта становиться более точными и способными со временем”.

Что такое Google-Extended. Google называет его “маркером отдельного продукта, который веб-издатели могут использовать для управления тем, помогают ли их сайты улучшить работу генеративных API Bard и Vertex AI, включая будущие поколения моделей, на которых основаны эти продукты”.

Что говорит Google. Компания заявила, что Google-Extended дает издателям «выбор и контроль»:

• «Сделание простых и масштабируемых элементов управления, таких как Google-Extended, доступными через robots.txt, является важным шагом в обеспечении прозрачности и контроля, которые, по нашему мнению, должны сделать доступными все поставщики моделей ИИ. Однако по мере расширения приложений ИИ веб-издатели столкнутся с растущей сложностью управления различными видами использования в масштабе».

Роботы.txt. Вы можете использовать robots.txt, чтобы заблокировать Google-Extended доступ к вашему контенту или его частям. Чтобы полностью заблокировать Google-Extended, добавьте в файл robots.txt вашего сайта следующее:

User-agent: Google-Extended
Disallow: /

Почему нас это волнует. Мы знаем, что 242 из 1000 самых популярных сайтов уже решили заблокировать GPTBot, веб-краулер OpenAI, с момента его запуска в августе. Теперь вы можете решить, стоит ли вашему сайту отказываться от помощи Google в совершенствовании ее продуктов искусственного интеллекта.

Это правильный ответ? В Robots.txt нет ответа: предлагая новый метатег для LLM/AI , участник Search Engine Land аргументировал, почему использование robots.txt для управления использованием данных в LLM является неправильным подходом. Кажется, Google не согласился.