prof. Ing. RNDr. Martin Holeňa, CSc.

Optimalizační úlohy, se kterými se setkáváme v reálných aplikacích, stále častěji optimalizují cíle, kterými nejsou matematické funkce, ale výsledky počítačových simulací nebo experimentálních měření. Tento druh optimalizace, označovaný jako black-box optimalizace, představuje dvě velké výzvy: 1. lze získat pouze hodnoty takového black-box cíle, nikoliv jeho gradient nebo vyšší derivace, 2. vyhodnocení cíle je typicky časově náročné a/nebo drahé. Pokud jde o první výzvu, v uplynulých desetiletích se velmi úspěšnými při otimalizaci používající pouze hodnoty cíle ukázaly být evoluční algoritmy. Ty však typicky vyžadují velké množství vyhodnocování, což je v konfliktu s druhou výzvou. Tento konflikt v uplynulém desetiletí podnítil intenzivní výzkum evoluční black-box optimalizace, který s sebou přináší široké spektrum dizertabilních témat.

Transfer learning (tedy učení přenosem, ale český překlad se v podstatě nepoužívá) je metoda algoritmické extrakce znalostí z řešeného problému a jejich zabudování do řešení jiného problému. Hlouběji studovat se začala zhruba před 20 lety, v souvislosti s rozvojem moderních typů neuronových sítí, často označovaných jako hluboké sítě. Umožňuje s využitím sítě natrénované na velkém množství dat natrénovat jinou síť podobné kvality na mnohem menším množství dat.

V posledních letech se objevují pokusy používat transfer learning i v black-box optimalizaci. To je optimalizace, při které se nepoužívá matematické vyjádření optimalizované funkce (typicky z důvodu, že žádné takové vyjádření není známo), ale optimalizační algoritmus má k dispozici pouze její hodnoty v konkrétních bodech. Tyto hodnoty se obvykle získávají empiricky měřením nebo pomocí experimentů, ať už probíhají fyzicky nebo v podobě simulací. Pro black-box optimalizaci se používají algoritmy, které nemají skoro žádné předpoklady o matematických vlastnostech optimalizované funkce, nejčastěji evoluční algoritmy a další přírodou inspirované algoritmy jako roje částic. Pokud jde o transfer learning, ukazuje se, že podobně jako v případě neuronových sítí umožňuje natrénovat síť stejné kvality s menším množstvím trénovačích dat, umožňuje při black-box optimalizaci najít optimum na základě menšího počtu hodnot black-box funkce. To je velmi slibné z důvodu, že empirické získání hodnoty optimalizované funkce bývá obvykle značně nákladné i časově náročné.

Výzkum metod pro transfer learning v black-box optimalizaci je však teprve v začátcích. Příspěvkem k němu by měla být i navržená dizertační práce.

Jako black-box označujeme optimalizaci, při které se nepoužívá matematické vyjádření optimalizované funkce (typicky z důvodu, že žádné takové vyjádření není známo), ale optimalizační algoritmus má k dispozici pouze její hodnoty v konkrétních bodech. Tyto hodnoty se obvykle získávají empiricky měřením nebo pomocí experimentů, ať už probíhají fyzicky nebo v podobě simulací. Pro black-box optimalizaci se používají algoritmy, které nemají skoro žádné předpoklady o matematických vlastnostech optimalizované funkce, nejčastěji evoluční algoritmy a další přírodou inspirované algoritmy jako roje částic. Protože tyto algoritmy pracují pouze s funkčními hodnotami optimalizované funkce, blíží s k jejímu optimu podstatně pomaleji než optimalizační metody pro hladké funkce, které využívají rovněž informace o gradientu optimalizované funkce, případně o jejích druhých derivacích. Tato vlastnost je zvláště nepříjemná ve spojení se skutečností, že empirické získání hodnoty optimalizované funkce bývá obvykle značně nákladné i časově náročné. Evoluční algoritmy však lze podstatně urychlit tím, že při vyhodnocování funkční hodnoty optimalizované funkce používají empirickou black-box funkci jen občas, zatímco většinou vyhodnocují pouze její dostatečně přesný regresní model. Mezi regresními modely používanými k tomuto účelu jsou už zhruba 20 let i umělé neuronové sítě, nejdříve vícevrstvé perceptrony a později pak sítě s radiálními bázovými funkcemi. Pod vlivem současné popularity moderních typů neuronových sítí, často označovaných jako hluboké neuronové sítě, byly nicméně v posledních letech navrženy nové přístupy použitelné k urychlení black-box optimalizace, jako jsou hluboké Gaussovské procesy, použití bayesovských neuronových sítí, optimalizaci v latentním prostoru nižší dimenze, zobrazovaném generativní neuronovou sítí do prostoru, v němž leží vstupy optimalizované black-box funkce, nebo využití sítí typu GAN (generative adversarial network), jejichž dvě komponenty se používají pro explorační a exploatační složku optimalizace.

Grafová data se používají k uchovávání znalostí o mnoha důležitých oblastech současného světa, jako jsou např. počí-tačové sítě, sociální sítě, chemické molekuly, komunikační systémy, průmyslové procesy či textové dokumenty. Metody pro analýzu dat a modelování založené na datech, jako jsou klasifikace, regrese a shlukování, však byly dosud vyvíjeny primárně pro vektorová data a grafová data je pro použití těchto metod zapotřebí nejprve reprezentovat v nějakém vektorovém prostoru. Nejúspěšnější při takové reprezentaci jsou umělé neuronové sítě. Díky potřebě učení reprezenta-cí grafů se objevil specifický typ neuronových sítí, nazývaný grafové neuronové sítě. Avšak i grafové neuronové sítě mají vlastnost naprosté většiny umělých neuronových sítí, že transformace vstupů sítě na její výstupy je black-box zob-razení, které pro daný vstup sítě neumožňuje vysvětlit její výstup. V souvislosti s tradičními neuronovými sítěmi, přede-vším vícevrstevnými perceptrony a sítěmi s radiálními bázovými funkcemi, se již od devadesátých let věnuje pozornost metodám umožňujícím popsat závislost výstupu sítě na jejím vstupu pomocí logických implikací a ekvivalencí, případně jiným způsobem vysvětlit hodnotu výstupu pro daný vstup. V případě grafových neuronových sítí je však výzkum vysvět-lovacích metod teprve v začátcích. Příspěvkem k němu by měla být i navrhovaná práce.

Evoluční algoritmy jsou v posledních 20 letech jednou z nejúspěšnějších metod pro řešení netradičních optimalizačních problémů, jako např. hledání nejvhodnějších dokumentů obsahujících požadované informace, objevování nejzajímvějších informací v dostupných datech či další typy optimalizačních úloh, při nichž lze hodnoty cílové funkce získat pouze empiricky. Protože evoluční algoritmy pracují pouze s funkčními hodnotami optimalizované funkce, blíží s k jejímu optimu podstatně pomaleji než optimalizační metody pro hladké funkce, které využívají rovněž informace o gradientu optimalizované funkce, případně o jejích druhých derivacích. Tato vlastnost evolučních algoritmů je zvláště nepříjemná ve spojení se skutečností, že empirické získání hodnoty optimalizované funkce bývá obvykle značně nákladné i časově náročné. Evoluční algoritmy však lze podstatně urychlit tím, že při vyhodnocování funkční hodnoty optimalizované funkce používají empirickou optimalizovanou funkci jen občas, zatímco většinou vyhodnocují pouze její dostatečně přesný regresní model. Právě přesnost modelu určuje, jak úspěšnou náhražkou původní empirické funkce bude. Proto se po získání každé nové generace bodů, v nichž byla empirická funkce vyhodnocena, model zpřesňuje opakovaným učením zahrnujícím tyto body. Lze však jít ještě dále a již při volbě bodů pro empirické vyhodnocení brát kromě hodnoty empirické funkce také v úvahu, jak při opakovaném učení modelu přispějí k jeho zpřesnění. Takový přístup se označuje jako aktivní učení. Používání aktivního učení k urychlení evolučních algoritmů je však teprve v úplných začátcích a měla by ho podpořit i navržená práce.

prof. Ing. RNDr. Martin Holeňa, CSc.

Ing. Jan Žegklitz

Katedra softwarového inženýrství

Tato práce zkoumá výkon gaussovských procesů (GP) v souvislosti s metodou zvanou Covariance Matrix Adaptation Evolution Strategy (CMA-ES), state-of-the-art v oblasti evoluční optimalizace. Pro měření výkonu byly použity nichingové funkce ze soutěže CEC 2013, které jsou charakteristické vysokým počtem lokálních optim. Práce popisuje integraci CMA-ES a GP jako náhradního modelu a srovnává její výkon s metodou Model Guided Sampling Optimization.

Práce na DSpace

prof. Ing. RNDr. Martin Holeňa, CSc.

Ing. Petr Pulc

Katedra aplikované matematiky

Jednou z hlavných predspracujúcich úloh v oblasti získavania informácii z videa je segmentácia scény, hlavne segmentácia popredných objektov od pozadia. Ide vlastne o klasifikačnú úlohu, ktorá je špecifická v tom, že je časovo náročné získať človekom anotované trénovacie dáta na učenie klasifikátora. Preto je vhodné použiť semi-supervizovanú klasifikáciu. Táto práca sa zaoberá použitím semi-supervizovaných klasifikátorov založených na regularizovaní zhlukov a na fuzzy c-means v spojeni s úlohou segmentácie popredia a pozadia. Na klasifikáciu ďalších snímkov podľa jedného snímku, ktorý oštítkoval človek, je použitý detektor významných bodov založený na kombinácii detektoru rohov s vizuálny deskriptorom. Práca experimentálne porovnáva obe tieto metódy s tradičnou metódou GMM.

Práce na DSpace

prof. Ing. RNDr. Martin Holeňa, CSc.

Katedra teoretické informatiky

Semi-supervizované učení se vyznačuje tím, že využívá i dodatečné informace z neoštítkované části trénovacích dat. Tato práce porovnává dva algoritmy semi-supervizovaného učení hlubokých neuronových sítí na reálných malwarových datech. Jedním z nich je metoda Pseudo-labeling. Ta využívá neoštítkované vzorky klasifikované s vysokou jistotou, jako by tak byly skutečně označené. Druhý přístup je založen na zachování konzistence výsledků neuronové sítě za různých okolností. Byl implementován jeden takový algoritmus, Pi-model, který porovnává výstupy sítě pro různě pozměněná vstupní data. Pro srovnání jsou také uvedeny výsledky plně supervizovaného učení, které používá pouze oštítkované vzorky. Přesnost predikce těchto metod je vyhodnocena v závislosti na poměru velikosti oštítkované části trénovacích dat.

Práce na DSpace

prof. Ing. RNDr. Martin Holeňa, CSc.

Ing. Jan Žegklitz

Katedra teoretické informatiky

Tato práce navazuje na výzkum L. Bajera, Z. Pitry, J. Repického a M. Holeňi o náhradním modelování v algoritmu CMA-ES. Cílem této práce bylo ověřit kvalitu současného návrhu a poté navrhnout varianty s testováním více modelů. Hlavním přínosem této práce je návrh evoluce náhradních modelů v algoritmu CMA-ES, který má velký potenciál pro vylepšení.

Práce na DSpace

prof. Ing. RNDr. Martin Holeňa, CSc.

Ing. Tomáš Borovička

Katedra teoretické informatiky

Tato práce se zabývá výzkumem včasné detekce říje krav na moderních automatizovaných farmách. Jejím cílem je porovnat vybrané techniky znalostního inženýrství s referenčním řešením. Mezi zkoumané techniky patří především: Naive Bayes kernel, Decision tree, ARIMA a Coxova regrese. Výsledky ukazují, že je možné vylepšit jak přesnost, tak sensitivitu referenčního řešení. Nejzajímavějšího výsledku bylo dosaženo za pomoci klasifikátoru Naive Bayes kernel, který dosahuje o 12 % lepší přesnosti, zatímco sensitivita je stále o 2 % vyšší než sensitivita referenčního řešení. Nedílnou součástí je také předzpracování dat, jehož cílem je odstranění šumu a extrakce příznaků. K odstranění šumu z dat byly použity metody klouzavý průměr a Butterworthův filtr.

Práce na DSpace

prof. Ing. RNDr. Martin Holeňa, CSc.

Katedra softwarového inženýrství

Táto práca sa zameriava na súčasné použitie viacerých Gaussovských procesov (GP) ako náhradných modelov metódy Covariance Matrix Adaptation Evolution Strategy (CMA-ES), ktorá je významným algoritmom v oblasti black-box optimalizácie. Práca obsahuje implementáciu v prostredí MATLAB v spojení s knižnicou Gaussian Processes for Machine Learning (GPML) a benchmarkovými testami z platformy COmparing Continuous Optimisers (COCO). Taktiež sa zaoberá výberom modelov, ktoré budíu natrénované, ako aj určením najlepšieho z implementovaných algoritmov pre výber náhradného modelu, ktorý určuje model použitý pre budúcu generáciu CMA-ES. Práca obsahuje aj výsledky experimentov, ktoré preukázali zlepšenie celkového výkonu v porovnaní s použitím len jediného náhradného modelu.

Práce na DSpace

prof. Ing. RNDr. Martin Holeňa, CSc.

Ing. Petr Pulc

Katedra softwarového inženýrství

Tato práce se zabývá hledáním struktury v kolekcích písní populární hudby jednak pomocí dobře známých samorganizujících map (SOM), ale také pomocí samorganizujících map se zahrnutým sémantickým kontextem (CRSOM). V textu jsou popsány všechny provedené kroky v souvislosti s obecným postupem Dobývání znalostí z databází a nutné studie a implementace zmíněných map. Výsledkem zkoumání je koncept, který slouží k predikci oblíbenosti nové písně na základě struktury nalezené v kolekci písní reprezentovaných svými akustickými vlastnostmi.

Práce na DSpace

prof. Ing. RNDr. Martin Holeňa, CSc.

Ing. Petr Pulc

Katedra softwarového inženýrství

S rostoucí popularitou multimédií, zejména audiovizuálních dat, roste také potřeba porozumět jejich vnitřní struktuře. Tato práce se zabývá navrhnutím a prozkoumáním metody, s jejíž pomocí lze hledat strukturu v multimediálních datech. Metoda využívá integraci samoorganizujících map (SOM) a hierarchického shlukování za účelem nalezení vhodné struktury shluků v multimediálních datech. Výstup z každé samoorganizující mapy je vyhodnocen pomocí několika úrovní hierarchického shlukování s různým počtem shluků, namapovaných do SOM. V těchto namapovaných úrovních se nalezne ta, jejíž průměrná vnitroshluková vzdálenost je nejmenší. Tato úroveň poté určuje nejlepší shlukování pro danou samoorganizující mapu. Uvedený postup byl použit, v experimentech se čtyřmi rozdílně velkými mapami, na téměř 16000 segmentů ze zaznamenaných přednášek. V práci je uvedeno několik příkladů interpretace získaných výsledků.

Práce na DSpace

prof. Ing. RNDr. Martin Holeňa, CSc.

Katedra teoretické informatiky

Tato práci zkoumá využití gaussovských procesu jakožto náhradního modelu pro Covariance Matrix Adpation Evoulution Startagy. Konkrétně pak rozebírá a testuje strategie, které využívají gaussovské procesy v prostoru s redukovanou dimenzionalitou.

Práce na DSpace

prof. Ing. RNDr. Martin Holeňa, CSc.

Katedra softwarového inženýrství

prof. Ing. RNDr. Martin Holeňa, CSc.

Ing. Tomáš Kouřim

Katedra teoretické informatiky

Tato práce zkoumá efektivitu metod založených na Gaussovských procesech v oblasti spojité black-box optimalizace. Tyto metody slouží jako náhradní modely pro CMA evoluční strategii. Práce popisuje několik nejmodernějších metod a pak srovnává jejích výkon na souboru funkcí z CEC'2013.

Práce na DSpace

prof. Ing. RNDr. Martin Holeňa, CSc.

Ing. Tomáš Borovička

Katedra teoretické informatiky

Cílem této práce je vytvoření modelů chování krav na mlékárenské farmě a jejich následné shlukování. Modelování chování nám může pomoci ho lépe pochopit a zajistit tak větší spokojenost zvířat. Pomocí shlukování těchto modelů můžeme jedince kategorizovat a rozdělit je na základě jejich specifického chování. V práci jsou navrženy a diskutovány tři různé přístupy jak lze chování zvířat modelovat. Pro každý přístup je diskutována možnost jejich shlukové analýzy. Skrytý Markovský model byl implementován a ohodnocen na realných datech a míra podobnosti pro shlukovou analýzu byla popsána. Ukázalo se, že pomocí tohoto přístupu lze chování modelovat a vytvořené modely lze shlukovat. Porovnáváním těchto shluků lze najít rozdíly v chovaní mezi skupinami krav, které se chovají navzájem podobně.

prof. Ing. RNDr. Martin Holeňa, CSc.

Ing. Martin Flusser

Katedra aplikované matematiky

Tato práce zabývá problémem analýzy sentimentu z audio souborů, k čemuž využívá LSTM sítí, které porovnává se stávajícími klasifikačními metodami. Je navženo a implementováno několik postupů, jejich výsledky jsou v práci shrnuty.

Práce na DSpace

prof. Ing. RNDr. Martin Holeňa, CSc.

Katedra softwarového inženýrství

Tato práce se věnuje úpravě existujícího systému pro vytěžování odlišných průběhů událostí z dat (discriminant chronicles mining) tak, aby byl schopen přijímat vícedimenzionální vstupní data. Upravený systém bude následně použit na reálná data, která se týkají růstu monokrystalů.

Práce na DSpace

prof. Ing. RNDr. Martin Holeňa, CSc.

Katedra softwarového inženýrství