A SPECIAL SECURITY MODEL FOR THE CREATION AND APPLICATION OF ARTIFICIAL INTELLIGENCE SYSTEMS
Voprosy kiberbezopasnosti · 2024
Цель: обоснование характера и структуры угроз, проявляющихся при создании и применении систем искусственного интеллекта на базе алгоритмов машинного обучения, в зависимости от видов нарушений требований, предъявляемых к информационным компонентам этих систем.Методы: исследования проводились с использованием методов формальной логики, многокритериальной оценки, инженерии программных систем.Результат: показано, что угрозы безопасности создания и применения систем искусственного интеллекта обусловлены нарушением требований в области целостности и доступности, предъявляемых к функциональным характеристикам систем и предусмотренным условиям их эксплуатации, к используемым эталонным архитектурам моделей машинного обучения, а также к обучающим, тестовым и входным наборам данных.При этом угрозы безопасности могут проявляться в виде деградации и повышения погрешности оценки функциональных характеристик (нарушение функциональности), а также компрометации чувствительных сведений о самих системах и о третьих лицах.Нарушение функциональности систем, в свою очередь, может приводить к реализации угроз физической, информационной и экономической безопасности.В статье приведены логические зависимости, позволяющие оценивать структуру потен циальных угроз безопасности в зависимости от степени соответствия комплексу предъявляемых требований в области целостности и конфиденциальности информационных компонент систем.Научная новизна: полученные результаты могут быть использованы при обосновании требований к процессам жизненного цикла систем искусственного интеллекта на основе алгоритмов машинного обучения, а также при оценивании потенциальных рисков при создании и применении таких систем.Ключевые слова: качество систем искусственного интеллекта, функциональная корректность систем искусственного интеллекта, риски создания и применения систем искусственного интеллекта. УДК 004.056 Безопасный искусственный интеллектScientific novelty: The results obtained can be used to substantiate the requirements for the life cycle processes of artificial intelligence systems based on machine learning algorithms, as well as to assess potential risks in the creation and application of such systems.