Acta Univ. Agric. Silvic. Mendelianae Brun. 2010, 58(6), 369-378 | DOI: 10.11118/actaun201058060369
Evaluace binárních klasifikačních úloh v ekonomické predikci
- Ústav informatiky, Mendelova univerzita v Brně, Zemědělská 1, 613 00, Brno, Česká republika
V oblasti ekonomických klasifikačních úloh je maximalizace přesnosti často používanou metrikou pro hodnocení klasifikačního výkonu. Maximalizace přesnosti (resp. minimalizace chybovosti) trpí předpokladem rovných nákladů chyb typu falešná pozitivita a falešná negativita. Kromě toho není přesnost schopna vyjádřit pravý výkon klasifikátoru v situaci nerovnoměrného rozložení tříd. Vzhledem k těmto omezením je použití přesnosti v reálných úlohách diskutabilní. V reálné binární klasifikační úloze je rozdíl mezi náklady falešné pozitivity a falešné negativity obvykle kritický. K překonání tohoto problému je použita metoda ROC ve spojení s principy rozhodovací analýzy. Jednou z podstatných výhod této metody je možnost vizualizace klasifikačního výkonu prostřednictvím ROC grafu. Tato studie prezentuje konkrétní příklady binární klasifikace, kde je ukázána neadekvátnost přesnosti jako evaluační metriky, a na stejných příkladech je dále aplikována metoda ROC. Z množiny dostupných klasifikačních modelů je uvažován pravděpodobnostní klasifikátor se spojitým výstupem. Zejména jsou řešeny dvě otázky. Za prvé výběr nejlepšího klasifikátoru z množiny dostupných klasifikátorů. Například metrika přesnosti hodnotí dva klasifikátory téměř ekvivalentně (87,7 % a 89,3 %), zatímco rozhodovací analýza (prostřednictvím minimalizace nákladů) nebo ROC analýza odhalují rozdílný výkon podle cílových podmínek nerovných nákladů falešných pozitivit a falešných negativit. Za druhé nastavení optimální rozhodovací hraniční hodnoty na výstupu klasifikátoru. Například maximalizace přesnosti nachází optimální hraniční hodnotu na výstupu klasifikátoru v hodnotě 0,597, avšak optimální hraniční hodnota respektující vyšší náklady falešných negativit je nalezena nákladovou minimalizací nebo ROC analýzou v hodnotě podstatně nižší (0,477).
binární klasifikace, predikce bankrotu, hodnocení výkonu klasifikátoru, maximalizace přesnosti, metoda ROC
The evaluation of binary classification tasks in economical prediction
In the area of economical classification tasks, the accuracy maximization is often used to evaluate classifier performance. Accuracy maximization (or error rate minimization) suffers from the assumption of equal positive and negative error costs. Furthermore, accuracy is not able to express true classifier performance under skewed class distribution. Due to these limitations, the use of accuracy on real tasks is questionable. In a real binary classification task, the difference between the costs of positive and negative error is usually critical. To overcome this issue, the Receiver Operating Characteristic (ROC) method in relation to decision-analytic principles can be used. One essential advantage of this method is the possibility of classifier performance visualization by means of a ROC graph. This paper presents concrete examples of binary classification, where the inadequacy of accuracy as the evaluation metric is shown, and on the same examples the ROC method is applied. From the set of possible classification models, the probabilistic classifier with continuous output is under consideration. Mainly two questions are solved. Firstly, the selection of the best classifier from a set of possible classifiers. For example, accuracy metric rates two classifiers almost equivalently (87.7 % and 89.3 %), whereas decision analysis (via costs minimization) or ROC analysis reveal different performance according to target conditions of unequal error costs of positives and negatives. Secondly, the setting of an optimal decision threshold at classifier's output. For example, accuracy maximization finds the optimal threshold at classifier's output in value of 0.597, but the optimal threshold respecting higher costs of negatives is discovered by costs minimization or ROC analysis in a value substantially lower (0.477).
Keywords: binary classification, bankruptcy prediction, classifier performance evaluation, accuracy maximization, receiver operating characteristic (ROC)
Received: September 6, 2010; Published: July 17, 2014 Show citation
References
- BISHOP, C. M., 2006: Pattern Recognition and Machine Learning. New York: Springer, 738 p. ISBN 0-387-31073-8.
- ERKEL, A. R., PATTYNAMA, P. M. T., 1998: Receiver operating characteristic (ROC) analysis: Basis principles and applications in radiology. European Journal of Radiology, 27: 88-94. ISSN 0720-048X. DOI: 10.1016/S0720-048X(97)00157-5
Go to original source... - FAWCETT, T., 2004: ROC Graphs: Notes and Practical Considerations for Researchers. HP Labs Tech Report HPL-2003-4. 2nd version. Kluwer Academic Publishers. [online]. on the Internet: [quoted 2010-09-01]. Accessible.
- OBUCHOWSKI, N. A., 2003: Receiver operating characteristic curves and their use in radiology. Radiology, 229: 3-8. ISSN 1527-1315. DOI: 10.1148/radiol.2291010898 Go to original source...
- POKORNÝ, M., 2009: The application of neural networks and ROC method in classification tasks of economical prediction. Dissertation theses. Brno, Mendel University, Faculty of Business and Economics, Department of Informatics.
- PROVOST, F., FAWCETT, T., 1997: Analysis and Visualization of Classifier Performance: Comparison under Imprecise Class and Cost Distributions. In: HECKERMAN, D., PREGIBON, D., UTHURUSAMI, R. (ed.) Proceedings of the Third International Conference on Knowledge Discovery and Data Mining. ISBN 978-1-57735-027-9.
- PROVOST, F., FAWCETT, T., 2001: Robust Classification for Imprecise Environments. Machine Learning Journal, 42, 3: 203-231. ISSN 0885-6125. DOI: 10.1023/A:1007601015854 Go to original source...
- PROVOST, F., FAWCETT, T., KOHAVI, R., 1998: The Case Against Accuracy Estimation for Comparing Induction Algorithms. In: SHAVLIK, W. J. (ed.) Proceedings of the Fifteenth International Conference on Machine Learning. Morgan Kaufmann Publishers. ISBN 1-55860-556-8.
This is an open access article distributed under the terms of the Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License (CC BY NC ND 4.0), which permits non-comercial use, distribution, and reproduction in any medium, provided the original publication is properly cited. No use, distribution or reproduction is permitted which does not comply with these terms.