Anthropic внесла изменения в политику использования чат-бота Claude AI в ответ на возрастающую обеспокоенность вопросами безопасности. Теперь, помимо усиления мер кибербезопасности, компания прямо указывает на типы вооружений, разработка которых с использованием Claude запрещена.
Обновлённая политика использования прямого запрещает использование Claude для создания биологического, химического, радиологического или ядерного оружия. Ранее Anthropic ограничивала использование Claude для «производства, модификации, проектирования, продажи или распространения оружия, взрывчатых веществ, опасных материалов или других систем, предназначенных для нанесения вреда или приводящих к потере человеческих жизней». Новая версия расширяет это ограничение, явно включая высокомощные взрывчатые вещества, а также биологическое, химическое, радиологическое и ядерное (БХРЯ) оружие. Компания не акцентировала внимание на этом изменении в опубликованном заявлении.
В мае Anthropic представила «Уровень безопасности ИИ 3» и выпустила новую модель Claude Opus 4. Эти нововведения направлены на повышение устойчивости модели к несанкционированному доступу и предотвращение её использования в целях разработки вооружений.
Anthropic также указывает на потенциальные риски, сопряжённые с инструментами на базе ИИ-агентов, в частности, с функцией агента, позволяющей Claude осуществлять управление компьютером пользователя, и с Claude Code, инструментом, который интегрирует Claude непосредственно в среду разработки.
Чтобы минимизировать возможные риски, компания внесла изменения в свою политику использования, добавив раздел «Не подвергать опасности компьютерные или сетевые системы». Этот раздел содержит положения, запрещающие использование Claude для поиска или эксплуатации уязвимостей, создания или распространения вредоносного ПО, а также для разработки инструментов, предназначенных для организации атак типа «отказ в обслуживании».
Anthropic также изменила подход к политическому контенту. Теперь вместо полного запрета на создание материалов, связанных с политическими кампаниями и лоббированием, Claude нельзя использовать для действий, которые могут быть вводящими в заблуждение или подрывать демократические процессы, а также для таргетирования избирателей и политических кампаний. Кроме того, компания уточнила, что требования, предъявляемые ко всем «высокорискованным» сценариям использования, касаются только рекомендаций физическим и юридическим лицам, ориентированных на потребителей, а не на коммерческое использование.