СРАВНИТЕЛЬНОЕ ИССЛЕДОВАНИЕ АЛГОРИТМОВ ОТБОРА ПРИЗНАКОВ НА ДЕСЯТИ НАБОРАХ ДАННЫХ ДЛЯ КЛАССИФИКАЦИИ
Keywords:
отбор признаков, машинное обучение, ANOVA F-test, взаимная информация, mRMR, Random Forest, Extra Trees, классификация.Abstract
Отбор признаков применяется для снижения размерности данных, повышения интерпретируемости моделей и уменьшения вычислительных затрат. В работе сравниваются пять алгоритмов отбора признаков и базовый вариант без отбора на десяти наборах данных классификации и трех классификаторах. Всего оценено 180 конфигураций «набор данных — селектор — модель». Наилучший средний результат показал RF_Importance_SFM со средней сбалансированной точностью 0.8296. Лучшим классификатором в среднем стала логистическая регрессия со значением Balanced Accuracy 0.8378. Применение отбора позволило снизить среднее число признаков с 37.1 до 13.3, то есть примерно на 64.2%, при сохранении конкурентного качества классификации.References
1. Guyon I., Elisseeff A. An Introduction to Variable and Feature Selection //
Journal of Machine Learning Research. 2003. Vol. 3. P. 1157–1182. DOI:
10.1162/153244303322753616.
2. Peng H., Long F., Ding C. Feature selection based on mutual information:
criteria of max-dependency, max-relevance, and min-redundancy // IEEE
Transactions on Pattern Analysis and Machine Intelligence. 2005. Vol. 27, No.
8. P. 1226–1238.
3. Chandrashekar G., Sahin F. A survey on feature selection methods // Computers
& Electrical Engineering. 2014. Vol. 40, No. 1. P. 16–28.
4. Pedregosa F. et al. Scikit-learn: Machine Learning in Python // Journal of
Machine Learning Research. 2011. Vol. 12. P. 2825–2830.
5. scikit-learn developers. Feature selection documentation: SelectKBest,
SelectFromModel and related selectors. 2026.
6. scikit-learn developers. Dataset loading utilities and bundled toy datasets. 2026.