Государственный институт эталонов и технологий (NIST), входящий в состав Министерства торговли США и занимающийся разработкой и тестированием технологий для южноамериканского правительства, компаний и общественности, представил обновлённый пробный щит Dioptra. Он предназначен для оценки того, как вредные атаки, включая те, что ориентированы на «отравление» применяемых для обучения огромных языковых моделей данных оказывают влияние на понижение производительности ИИ-систем.
1-ая версия модульного веб-инструмента с открытым начальным кодом Dioptra была представлена в 2022 году. Обновлённое ПО должно посодействовать разработчикам ИИ-моделей и людям, которые употребляют эти методы, оценивать, исследовать и наблюдать опасности, связанные с ИИ. В NIST заявили, что Dioptra можно применять для бенчмаркинга и исследования ИИ-моделей, и еще в качестве общей платформы для симуляции воздействия на модели различного рода угроз.
«Испытание воздействия атак противника на модели машинного обучения — одна из целей Dioptra. Программное обеспечение с открытым начальным кодом доступно для бесплатной загрузки и поможет обществу, включая правительственные учреждения, малые и средние компании, в проведении оценки, чтоб проверить заявления разработчиков ИИ о производительности их систем», — утверждается в пресс-релизе NIST.
Вкупе с Dioptra разработчики выпустили ряд документов, в каких излагаются методы уменьшения рисков, связанных с ИИ-моделями. Это программное обеспечение было сотворено в рамках инициативы, которую поддержал глава США Джо Байден и которая предписывает NIST, кроме остального, оказывать поддержку в тестировании ИИ-систем. Инициатива также устанавливает ряд эталонов безопасности в сфере ИИ, включая требования к компаниям, разрабатывающим ИИ-алгоритмы, об извещении федерального правительства и передачи данных по итогам оценки рисков безопасности до того, как ИИ станет доступен широкому кругу юзеров.
Проведение эталонной оценки ИИ является трудной задачей, в том числе оттого, что сложные методы в текущее время представляют собой «чёрные ящики», структура обслуживания которых, данные для обучения и другие главные детали держатся разработчиками в секрете. Некие специалисты склоняются к воззрению, что одних только оценок недостаточно для определения степени безопасности ИИ в реальном мире, в том числе оттого, что разработчики имеют возможность делать выбор, какие испытания будут проводиться для оценки их ИИ-моделей.
NIST не сообщает, что Dioptra сумеет удалить любые опасности для ИИ-систем. Но разработчики этого инструмента убеждены, что он может разлить свет на то, какие виды атак в состоянии сделать работу той либо другой ИИ-системы наименее действенной, и еще оценить негативное воздействие на эффективность метода. Отметим, что Dioptra способен трудиться только с моделями, которые можно загрузить на устройство и применять локально.
