Сибирский федеральный университет

Перевод названия: MULTI-OBJECTIVE APPROACH FOR DESIGNING ENSEMBLE OF NEURAL NETWORK CLASSIFIERS WITH FEATURE SELECTION FOR EMOTION RECOGNITION PROBLEM

Тип публикации: статья из журнала

Год издания: 2015

Ключевые слова: слияние моделей, model fusion, multi-objective optimization, emotion recognition, data fusion, Human-machine interaction (HMI), neural network, многокритериальная оптимизация, распознавание эмоций, слияние данных, человеко-машинное взаимодействие, нейронная сеть

Аннотация: Снижение размерности признакового пространства и настройка алгоритмов обучения для решения практических задач являются важными проблемами машинного обучения. Предложен подход, основанный на многокритериальной оптимизации, для отбора информативных признаков и настройки параметров алгоритмов обучения. Эффективность предлагаемого многокритериального подхода сравнивается с однокритериальным подходом. В качестве тестовой практической задачи машинного обучения для сравнения двух упомянутых подходов выбрана задача распознавания эмоций по аудиовизуальной информации. В качестве базового алгоритма обучения выбрана нейронная сеть, параметры которой настраиваются автоматически с помощью генетического алгоритма. В результате применения многокритериального подхода к настройке параметров нейросети пользователь получает множество нейросетей с парето-оптимальными значениями параметров. Для того чтобы получить единственное выходное значение, полученные парето-оптимальные нейросети объединяются в коллектив. В работе протестировано несколько способов слияния выходов алгоритмов коллектива, таких как метод голосования, усреднение апостериорных вероятностей классов и метаклассификация. Согласно полученным результатам, подход к отбору признаков, основанный на многокритериальной оптимизации, обеспечил точность классификации эмоций в среднем на 2,8 % больше, чем однокритериальный подход. Многокритериальный подход на 5,4 % эффективнее, чем использование метода главных компонент, и на 13,9 % эффективнее, чем использование первоначального набора признаков для классификации без проведения предварительного снижения размерности. Многокритериальный подход применительно к оптимизации параметров нейросети обеспечил точность классификации в среднем на 7,1 % больше, чем однокритериальный подход. Полученные результаты доказывают, что многокритериальный подход, предложенный в данной статье, более эффективен при решении задачи распознавания эмоций, чем однокритериальный подход и стандартные методы отбора признаков и настройки параметров нейросетей. Reducing the dimensionality of datasets and configuring learning algorithms for solving particular practical tasks are the main problems in machine learning. In this work we propose the multi-objective optimization approach to feature selection and base learners hyper-parameter optimization. The effectiveness of the proposed multi-objective approach is compared to the single-objective approach. We chose emotion recognition problem by audio-visual data as a benchmark for comparing the two mentioned approaches. Also we chose neural network as a base learning algorithm for testing the proposed approach to parameter optimization. As a result of multi-objective optimization applied to parameter configuration we get the Pareto set of neural networks with optimal parameter values. In order to get the single output, the Pareto optimal neural networks were combined into an ensemble. We tried several ensemble model fusion techniques including voting, average class probabilities and meta-classification. According to the results, multi-objective optimization approach to feature selection provided an average 2.8 % better emotion classification rate on the given datasets than single-objective approach. Multi-objective approach is 5.4 % more effective compared to principal components analysis, and 13.9 % more effective compared to not using any dimensionality reduction at all. Multi-objective approach applied to neural networks parameter optimization provided on average 7.1 % higher classification rate than single-objective approach. The results suggest that the multi-objective optimization approach proposed in this article is more effective at solving considered emotion recognition problem.

Журнал: Вестник Сибирского государственного аэрокосмического университета им. академика М.Ф. Решетнева

Выпуск журнала: Т. 16, № 4

Номера страниц: 819-827

ISSN журнала: 18169724

Место издания: Красноярск

Издатель: Сибирский государственный аэрокосмический университет имени академика М.Ф. Решетнева

• Иванов И.А. (Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева)
• Сопов Е.А. (Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева)
• Панфилов И.А. (Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева)

• РИНЦ (eLIBRARY.RU)