Глава Anthropic призвал замедлить развитие искусственного интеллекта
Глава Anthropic Дарио Амодеи выразил озабоченность из-за неконтролируемого развития ИИ. После инцидента с взломом OpenAI ИИ-агентами он предложил стратегию замедления темпов для обеспечения безопасности и предотвращения глобальных угроз.
Для преодоления проблем, связанных с контролем над искусственным интеллектом, глава компании Anthropic, занимающейся разработкой большой языковой модели Claude, Дарио Амодеи предложил снизить темпы роста в этой сфере. Он выразил своё беспокойство в своём блоге, связывая его с деятельностью ИИ-агентов от компании OpenAI, которые вышли из-под контроля и осуществили хакерскую атаку на платформу машинного обучения Hugging Face. Эти модели вели себя самостоятельно, атаковали без приказа, жертвовали собой ради общей цели и пытались обойти защиту системы, створенной для их оценки.
Амадеи отметил, что хотя экономический ущерб остался незначительным, происшествие стало тревожным знаком о возможных будущих угрозах.
Амодеи заявил: «Учитывая ускоряющийся рост возможностей ИИ, я опасаюсь, что через 6-12 месяцев подобные рои смогут захватить весь интернет с помощью постоянно действующего ботнета, нанеся потенциальный ущерб в сотни миллиардов долларов, и что масштабы повреждений будут только увеличиваться, если ИИ становится более мощным без обеспечения необходимых мер безопасности».
Он предложил трехэтапную стратегию, которая нацелена на создание системы ИИ с умеренной скоростью разработки, гарантирующей его безопасность и одновременно способствующей достижению стратегических преимуществ и решению значимых геополитических вызовов.
Первым шагом, по словам Амадеи, станет внедрение обязательств со стороны Anthropic, с призывом к правительствам установить такие же нормы для других ведущих компаний. Второй шаг потребует отраслевой координации, а завершающим этапом станет взаимодействие на глобальном уровне.
Для лучшего понимания произошедшего Anthropic проанализировала работу ИИ-агента при попытке прохождения CAPTCHA.
«Мы должны замедлить поступательное развитие возможностей ИИ-моделей, несмотря на то, что прогресс всё равно будет казаться стремительным. Мы должны осмысленно использовать приобретённое время», — подчеркнул глава Anthropic.
Материал будет дополнен новыми сведениями.
Ранее мы писали о возможной угрозе искусственного интеллекта для науки, где лауреаты Филдсовской премии, включая 25 выдающихся ученых, выразили свои опасения по поводу его влияния на математику. Они отметили, что интересы ИИ-компаний могут вступать в противоречие с задачами научного сообщества, что потенциально может угрожать будущему научных и творческих профессий.