Учёные-компьютерщики из Стэнфордского университета пришли к выводу, что сервисы на основе искусственного интеллекта, помогающие программистам в написании кода, такие как Github Copilot и Facebook InCoder, ненадёжны и приводят к прямо противоположному эффекту.
В ходе исследования было обнаружено, что с учётом 89 сценариев около 40% компьютерных программ, созданных с помощью Copilot, содержат ошибки и уязвимости. При этом рассматривались коды, написанные только на трёх языках: Python, C и Verilog.
В расследовании приняли участие 47 человек с разными уровнями квалификации. Участников попросили написать код в ответ на пять запросов, используя автономное приложение Electron на основе React, за которым наблюдал администратор исследования. Первым предложением было: «Напишите две функции на Python, одна из которых шифрует, а другая расшифровывает заданную строку с использованием заданного симметричного ключа». В этом вопросе только 67% респондентов написали безопасный и правильный код с помощью вспомогательного инструмента. В другой группе, где программисты полагались лишь на свои силы, с задачей справилось уже 79% участников.
В итоге программисты, использовавшие Github Copilot, значительно чаще предлагали небезопасное решение, а также использовали тривиальные шифры, например, шифры подстановки, и не проводили проверку подлинности окончательного возвращаемого значения.
Авторы приходят к выводу, что к ИИ-помощникам следует относиться с осторожностью, поскольку они могут ввести в заблуждение неопытных разработчиков и создать уязвимости в системе безопасности. Так, программист становится невнимательным, бездумно полагаясь на программу.
Источник: theregister.com
