On Information Theoretical Model for Data Classification
Michael Lange · Machine Learning and Data Analysis · 2018
Федеральный исследовательский центр "Информатика и управление"РАН, ул.Вавилова, 40, Москва, 119333, Россия Исследуется модель классификации в терминах зависимости средней взаимной информации между множеством классифицируемых объектов и множеством решений от допустимой вероятности ошибки.Оптимизация модели состоит в минимизации средней взаимной информации по распределениям вероятностей решений при заданном ограничении на вероятность ошибки.Задача оптимизации сводится к вычислению функции скоростьпогрешность в схеме кодирования номера класса по объекту, переданному по непрерывному каналу наблюдения с заданными условными по классам плотностями распределения.Построены нижние границы функций скорость-погрешность в схемах классификации без отказа и с отказом, которые позволяют сравнить значения потенциально достижимой точности при использовании различных данных и каналов наблюдения.Теоретические результаты подтверждаются экспериментальными оценками вероятности ошибки распознавания лиц по декоррелированным компонентам RGB изображений.