СРАВНИТЕЛЬНОЕ ИССЛЕДОВАНИЕ АЛГОРИТМОВ ОТБОРА ПРИЗНАКОВ НА ДЕСЯТИ НАБОРАХ ДАННЫХ ДЛЯ КЛАССИФИКАЦИИ

Authors

  • Г.Х. Ташматов Author

Keywords:

отбор признаков, машинное обучение, ANOVA F-test, взаимная информация, mRMR, Random Forest, Extra Trees, классификация.

Abstract

Отбор признаков применяется для снижения размерности данных, повышения интерпретируемости моделей и уменьшения вычислительных затрат. В работе сравниваются пять алгоритмов отбора признаков и базовый вариант без отбора на десяти наборах данных классификации и трех классификаторах. Всего оценено 180 конфигураций «набор данных — селектор — модель». Наилучший средний результат показал RF_Importance_SFM со средней сбалансированной точностью 0.8296. Лучшим классификатором в среднем стала логистическая регрессия со значением Balanced Accuracy 0.8378. Применение отбора позволило снизить среднее число признаков с 37.1 до 13.3, то есть примерно на 64.2%, при сохранении конкурентного качества классификации.

References

1. Guyon I., Elisseeff A. An Introduction to Variable and Feature Selection //

Journal of Machine Learning Research. 2003. Vol. 3. P. 1157–1182. DOI:

10.1162/153244303322753616.

2. Peng H., Long F., Ding C. Feature selection based on mutual information:

criteria of max-dependency, max-relevance, and min-redundancy // IEEE

Transactions on Pattern Analysis and Machine Intelligence. 2005. Vol. 27, No.

8. P. 1226–1238.

3. Chandrashekar G., Sahin F. A survey on feature selection methods // Computers

& Electrical Engineering. 2014. Vol. 40, No. 1. P. 16–28.

4. Pedregosa F. et al. Scikit-learn: Machine Learning in Python // Journal of

Machine Learning Research. 2011. Vol. 12. P. 2825–2830.

5. scikit-learn developers. Feature selection documentation: SelectKBest,

SelectFromModel and related selectors. 2026.

6. scikit-learn developers. Dataset loading utilities and bundled toy datasets. 2026.

Published

2026-05-29