Эксперт Андрей Рыбников выявил главные уязвимости искусственного интеллекта
В Санкт-Петербурге нейросеть будет задействована для привлечения Росгвардии на площадках и выявления хулиганов. Андрей Рыбников из РТУ МИРЭА рассказал о главных проблемах ИИ: «галлюцинациях» и манипуляциях данными. Эксперт поделился методами минимизации ошибок.
Главными ошибками, возникающими в работе искусственного интеллекта (ИИ), становятся так называемые «галлюцинации» и проблемы, связанные с манипуляцией данными. Эти вопросы раскрыл Андрей Рыбников, преподаватель кафедры инструментального и прикладного программного обеспечения Института информационных технологий РТУ МИРЭА, в интервью «Ленте.ру».
По словам программиста, ошибки ИИ можно условно подразделить на две основные группы: галлюцинации и уязвимости, связанные с манипуляцией входными данными.
Галлюцинации — это когда нейросеть генерирует информацию, которая кажется правдоподобной, но на самом деле является полностью вымышленной. Это не сознательный обман, а следствие работы модели,
— уточнил он.
Рыбников пояснил, что ИИ строит свои прогнозы на основе наиболее вероятных последовательностей слов или данных, опираясь на тренировочные наборы. Иногда это приводит к выдуманным фактам, например, к созданию вымышленной биографии известного ученого с несуществующими наградами или датами, или написанию кода с неподтвержденными функциями.
Эксперт также отметил, что возможно «наведение» ИИ на ошибки и неверные ответы, что часто называют взломом промтов. Путем специально составленных запросов пользователи могут обойти внутренние ограничения модели. К примеру, в запрос может быть включена инструкция, «приказывающая» ИИ игнорировать предыдущие указания. Это подтверждает, что ИИ в текущем состоянии можно ввести в заблуждение тонкой манипуляцией контекстом.
Для минимизации ошибок Рыбников предложил использование правильно сформулированных промтов, которые должны быть конкретными, содержать контекст и четкие критерии. При решении технических задач он рекомендовал условия в виде проверки фактов или демонстрации кода с комментариями, тогда как для творческих – уточнение целевой аудитории.
Ранее сообщалось, что в Санкт-Петербурге нейросеть будет использоваться для привлечения сил Росгвардии на детские и спортивные площадки с целью задержания хулиганов. Это осуществляется посредством обработки видеоконтента и аудиопотоков, поступающих с системы камер «Безопасный город».