Как закрыть сайт от индексации ChatGPT

В последние годы с технологическим развитием искусственного интеллекта возрос интерес к защите персональной информации и контента, который выкладывается в интернет. Например, в апреле 2023 года крупные ресурсы, такие как Stack Overflow и Reddit, заявили о намерении взимать плату с компаний, использующих данные их форумов для обучения больших языковых моделей.

Теперь OpenAI, разработчик популярного языкового моделирования ChatGPT, предоставил владельцам сайтов инструменты для контроля доступа их ресурсов к индексации.

Что такое GPTBot?

GPTBot – это веб-краулер, поисковый робот от OpenAI. Веб-краулеры – это программы, которые автоматически просматривают и анализируют содержимое веб-страниц.

User agent GPTBot выглядит так:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)

Страницы, которые GPTBot просматривает, могут быть использованы для улучшения моделей AI, исключая контент, который нарушает политику OpenAI.

Как закрыть свой сайт от GPTBot?

Для блокировки доступа GPTBot к вашему сайту необходимо добавить следующие строки в файл robots.txt вашего сайта:

User-agent: GPTBot Disallow: /

Если вы хотите разрешить GPTBot доступ к определенным частям вашего сайта, используйте следующий код:

User-agent: GPTBot Allow: /directory-1/ Disallow: /directory-2/

Также, заблокировать доступ к вашему сайту можно посредством IP-адресов, которые размещены в документе поддержки на сайте OpenAI.

Почему это важно?

Контроль доступа к содержимому вашего сайта не только поможет защитить вашу информацию от использования, но также дает возможность участвовать в формировании и обучении моделей искусственного интеллекта на вашем контенте.

Благодаря инструментам, предоставляемым компаниями, такими как OpenAI, владельцы сайтов могут лучше контролировать, как их контент используется в интернете.