Anthropic заблокировала учёных из-за риска биооружия с Claude

Компания Anthropic приняла решение о блокировке аккаунтов нескольких учёных, использовавших нейросеть Claude в осуществлении биологических исследований, которые теоретически могли бы поддержать создание биооружия. При этом разработчику не удалось установить, были ли у исследователей преступные намерения, сообщает The New York Times.

В Anthropic обратили внимание на тот факт, что некоторые пользователи обходили существующие ограничения сервиса и пытались скрыть истинные цели своих запросов. После проведения проверки было решено заблокировать аккаунты, связанные с такими исследованиями.

Одним из примеров стал случай с учёным, попросившим Claude помочь в подготовке заявки на получение финансирования для исследования вируса чикунгунья. В рамках проекта предполагались эксперименты, которые могли бы сделать вирус более опасным. В другом случае пользователь в течение нескольких недель работал с птичьим гриппом, используя Claude.

Основная проблема, по мнению Anthropic, заключается в двойственном назначении данных исследований. Те же самые данные могут быть использованы как для разработки вакцин и лечения болезней, так и для создания опасных патогенов. В связи с этим компания воздержалась от утверждений, что исследователи намеревались создавать оружие.

Ранее Anthropic усилила ограничения для своих наиболее продвинутых моделей Claude в сфере биологии. Разработчик признает, что современные системы искусственного интеллекта уже оказывают помощь специалистам в решении сложных научных задач, однако они также несут в себе риски злоупотребления.

До этого исследователь Anthropic Эван Хьюбингер выразил мнение, что вероятность наступления катастрофических последствий в развитии искусственного интеллекта в ближайшие десять лет превышает 10%. Тем не менее, он не считает нынешние системы ИИ источником столь серьёзной угрозы.

Больше новостей о развитии искусственного интеллекта, нейросетях и цифровых технологиях можно найти в разделе «Технологии».