Measuring the Quality of Multivariate Statistical Models

Michał Trzęsiok

doi:10.18778/0208-6018.339.06

Autor

Michał Trzęsiok University of Economics in Katowice, Faculty of Finance and Insurance, Department of Economic and Financial Analysis

DOI:

https://doi.org/10.18778/0208-6018.339.06

Słowa kluczowe:

jakość modelu, dopasowanie, błąd predykcji

Abstrakt

Bardzo ważnym elementem procesu modelowania statystycznego jest etap oceny jakości zbudowanego modelu. W zależności od wykorzystanej metody istnieje wiele różnych podejść do pomiaru jakości modelu. Pomiar ten może skupiać się na dopasowaniu do danych empirycznych albo może przede wszystkim uwzględniać zdolności prognostyczne modelu. Mierniki mogą być absolutne albo względne. Zestaw mierników jakości modelu obejmuje liczną grupę propozycji, z których analityk musi wybrać najodpowiedniejszy do danej sytuacji. W artykule przedstawiono zestawienie mierników jakości modelu oraz sugestię używania innych mierników jakości na etapie wyboru wariantu modelu oraz na etapie oceny jakości modelu końcowego.

Pobrania

Statystyki pobrań niedostępne.

Bibliografia

Altman D. G., Bland J. M. (1994), Statistics Notes: Diagnostic tests 1: sensitivity and specificity, “British Medical Journal”, vol. 308(6943), p. 1552.

Breiman L. (2001), Random forests, “Machine Learning”, vol. 45(1), pp. 5–32.

Gatnar E. (2008), Podejście wielomodelowe w zagadnieniach dyskryminacji i regresji, Wydawnictwo Naukowe PWN, Warszawa.

Hastie T., Tibshirani R., Friedman J. (2001), The Elements of Statistical Learning, Springer Verlag, New York.

Kitchenham B. A., Pickard L. M., MacDonell S. G., Shepperd M. J. (2001), What accuracy statistics really measure, “IEE Proceedings‑Software”, vol. 148(3), pp. 81–85.

Kohavi R. (1995), A Study of Cross‑Validation and Bootstrap for Accuracy Estimation and Model Selection, “International Joint Conference on Artificial Intelligence”, pp. 1137–1145.

Meyer D., Leisch F., Hornik K. (2003), The support vector machine under test, “Neurocomputting”, vol. 55(1), pp. 169–186.

Misztal M. (2014), Wybrane metody oceny jakości klasyfikatorów – przegląd i przykłady zastosowań, [in:] K. Jajuga, M. Walesiak (eds.), „Taksonomia 23: Klasyfikacja i analiza danych – teoria i zastosowania. Prace Naukowe Akademii Ekonomicznej we Wrocławiu”, no. 328, pp. 156–166.

Rozmus D. (2004), Random forest jako metoda agregacji modeli dyskryminacyjnych, [in:] K. Jajuga, M. Walesiak (eds.), „Taksonomia 11: Klasyfikacja i analiza danych – teoria i zastosowania. Prace Naukowe Akademii Ekonomicznej we Wrocławiu”, no. 1022, pp. 441–448.

Rozmus D. (2008), Agregacja modeli klasyfikacyjnych i regresyjnych, Fundacja Promocji i Akredytacji Kierunków Ekonomicznych, Warszawa.

Trzęsiok M. (2006), Metoda wektorów nośnych na tle innych metod wielowymiarowej analizy danych, [in:] K. Jajuga, M. Walesiak (eds), „Taksonomia 13. Klasyfikacja i analiza danych – teoria i zastosowania. Prace Naukowe Akademii Ekonomicznej we Wrocławiu”, no. 1126, pp. 536–542.

Trzęsiok M. (2007), Symulacyjne porównanie jakości modeli otrzymanych metodą wektorów nośnych z innymi modelami regresji, [in:] J. Dziechciarz (ed.), Zastosowanie metod ilościowych, „Prace Naukowe Akademii Ekonomicznej we Wrocławiu”, no. 1189, Wrocław, pp. 234–241.

Vapnik V. (1998), Statistical Learning Theory, John Wiley & Sons, New York.

Wolpert D. H., Macready W. G. (1997), No Free Lunch Theorems for Optimization, “IEEE Transactions on Evolutionary Computation”, vol. 1, pp. 67–82, doi: 10.1109/4235.585893.