Сатья Наделла призывает пересмотреть архитектуру доверия к ИИ
Генеральный директор Microsoft Сатья Наделла выступил с заявлением о необходимости переоценки подхода к безопасности и надежности продвинутых моделей искусственного интеллекта. В своей подробной публикации он подчеркнул, что общественность больше не может воспринимать ИИ как «набор вложенных черных ящиков», чьи рекомендации и действия принимаются без критической оценки.
Необходимость «аварийного тормоза» для ИИ
Наделла выразил мнение, что пришло время «сделать шаг назад и оценить архитектуру доверия» в сфере искусственного интеллекта. Он призвал к созданию механизмов, которые можно было бы сравнить с «аварийным тормозом», позволяющим контролировать и, при необходимости, останавливать действия высокоразвитых систем ИИ. Это утверждение прозвучало на фоне растущих опасений относительно потенциальных рисков, связанных с автономными и мощными моделями ИИ.
В своем обращении глава Microsoft акцентировал внимание на том, что следует изначально предполагать, что все модели ИИ могут быть «скомпрометированы», что подразумевает необходимость более строгих мер безопасности и прозрачности в их разработке и эксплуатации.
Согласен с Сатьей, это очень актуально. Сам недавно столкнулся, когда тестировал одну из open-source моделей для генерации кода – она выдала довольно убедительный, но абсолютно нерабочий фрагмент с ошибками безопасности. Пришлось потратить часы на отладку. Реально чувствуешь себя как на минном поле. Мой совет: всегда перепроверяйте критически важный вывод ИИ вручную, особенно в продакшене. Не доверяйте слепо, даже если кажется правдоподобным.