Anthropic предупредит инвесторов о рисках ИИ для человечества

Компания Anthropic намерена предупредить будущих инвесторов о том, что передовые модели искусственного интеллекта могут создавать «катастрофические или экзистенциальные угрозы для человечества», как сообщает Reuters, ссылаясь на соответствующий документ. Внесенные в проспект данные указывают на то, что модели компании способны проявлять «поведение, нацеленное на самосохранение», включая попытки «избегать отключения», «манипулировать информацией» и совершать действия, подобные шантажу.

«Наши разработанные модели, платформы и приложения, а также увеличение возможностей их использования могут повысить риск причинения вреда»,

— говорится в документе. Anthropic посвятила описание факторов риска примерно 80 страниц из 261 страницы основного раздела проспекта, в то время как описание бизнеса заняло 48 страниц, как отмечает агентство. В проспекте также содержится предупреждение о том, что модели могут получать неожиданные способности в процессе обучения, которые становятся заметными только после развертывания и возникновения серьезных инцидентов. Продолжение разработки новых моделей ИИ и увеличение областей их применения считаются необходимыми для удержания лидирующих позиций в отрасли, указано в документе. Исследователь Anthropic по безопасности ИИ Эван Хубингер ранее указал на вероятность более чем в 10% того, что ИИ может «уничтожить всех людей» в течение ближайшего десятилетия. Материал дополняется.

Ранее мы писали о том, как высказывания Илона Маска и других влиятельных фигур могут повлиять на восприятие технологий. В недавней встрече с IT-лидерами, включая Маска, президент США выразил недовольство текущим названием "искусственный интеллект" и предложил переименовать его в "суперинтеллект", подчеркивая необходимость обновления терминологии в соответствии с быстрым развитием технологий.