RNDr. Jan Kalina, Ph.D.

Výzkum v oblasti reliability v kontextu hlubokého učení ukazuje, že neexistuje shoda ohledně toho, jak by se měla reliabilita vyhodnocovat. Do nově vzniklé oblasti výzkumu reliability pro hluboké učení patří např. statistické postupy založené na jednoduchých myšlenkách jako verifikace naučené sítě pro data, která pocházející z jiného rozdělení než trénovací data. Mezi silnější nástroje patří vyčíslení vlivu škodlivých vzorů [1], vyčíslení neurčitosti v algoritmech hlubokého učení [3], nebo výpočetní metody pro propagaci chyby skrz sítě [2]. Mezi teoretické přístupy vycházející z teorie pravděpodobnosti patří statistické testování reliability pro klasifikátor [4]. V dizertaci budou navrženy nové nástroje pro vyčíslení reliability pro natrénovanou hlubokou síť. Teoreticky bude studováno vyčíslení vlivu chyb (neurčitost, chyby měření, nebo odlehlé hodnoty) na výsledky natrénované hluboké sítě. Další cíl je odvodit diagnostické nástroje pro ověření pravděpodobnostních předpokladů hluboké sítě. Přitom bude využito nástrojů, mezi něž patří bootstrap anebo neparametrická kombinace testů hypotéz.

• [1] Alshemali B., Kalita J. (2020). Improving the reliability of deep neural networks in NLP: A review. Knowledge-based systems 191, 105210.
• [2] Bosio A., Bernardi P., Ruospo A., Sanchez E. (2019). A reliability analysis of a deep neural network. IEEE Latin American Test Symposium LATS 2019, 1-6.
• [3] Caldeira J., Nord B. (2021). Deeply uncertain: Comparing methods of uncertainty quantification in deep learning algorithms. Machine Learning: Science and Technology 2, 015002.
• [4] Gweon H. (2022). A power-controlled reliability assessment for multi-class probabilistic classifiers. Advances in Data Analysis and Classification. Online first.
• [5] Martensson G., Ferreira D., Granberg T., Cavallin L., Oppedal K. et al. (2020). The reliability of a deep learning model in clinical out-of-distribution MRI data: A multicohort study. Medical Image Analysis 66, 101714.

Lineární diskriminační analýza (LDA) představuje populární statistickou klasifikační metodu. Byla navržena řada různých regularizovaných verzí LDA pro vysoce dimenzionální data, tj. data s počtem proměnných převyšujícím (i řádově) počet pozorování. Nedávno navržené robustní regularizované verze LDA jsou rezistentní vůči přítomnosti odlehlých hodnot v datech. Tyto metody využívají robustních odhadů střední hodnoty a varianční matice mnohorozměrných dat. Cílem dizertace bude navrhnout a studovat nové verze robustní regularizované LDA a provést rozsáhlé simulace, které ověří jejich vlastnosti. Nové metody využijí nových robustních odhadů varianční matice: Jedna myšlenka je využít odhad MRWCD [1], který minimalizuje determinant regularizované vážené varianční matice. Druhá myšlenka je využít odhad, který je založen na metodách numerické lineární algebry, zejména odhad založený na minimalizaci součinu malého počtu největších vlastních čísel varianční matice [2].

• [1] Kalina J., Tichavský J. (2022): The minimum weighted covariance determinant estimator for high-dimensional data. Advances in Data Analysis and Classification 16, 977-999.
• [2] Kalina J. (2020): The minimum weighted covariance determinant estimator revisited. Communications in Statistics Simulation and Computation 51, 3888-3900.