Dr. rer. nat. Rodrigo Augusto da Silva Alves

Dr. rer. nat. Rodrigo Augusto da Silva Alves

Ing. Petr Kasalický

Katedra aplikované matematiky

Fotbal, nejrozšířenější a nejsledovanější sport na světě, poutá pozornost miliard fanoušků po celém světe. Předpovídání výsledků zápasů se dostalo pozornosti statistiků, výzkumníků strojového učení a nadšených sázkařů. Nicméně, zatímco byl učiněn podstatný pokrok ve strojovém učení pro předpověď výsledků zápasů, relativně malý důraz byl kladen na předpovídání statistických aspektů daných zápasů. Tato studie si klade za cíl řešit tento nedostatek prozkoumáním metod strojového učení k analýze a odhadu různých statistik jako regresních problémů. Konkrétně zkoumám šest statistik: rohy, střely, střely na branku, fauly, žluté karty a červené karty. Prováděním experimentů na čtyřech datových souborech z různých fotbalových lig postupně porovnám a vyhodnotím výsledky osmi různých modelů. Má zjištění ukazují, že různé metody se více hodí na určité statistiky a také, že různé statistiky vykazují různé chování v různých ligách. Kromě toho jsem si všiml, že určité vlastnosti, jako je počet rohů nebo střel, jsou předvídatelnější díky jejich vyšší míře výskytu během zápasů ve srovnání například s počtem karet.

Práce na DSpace

Dr. rer. nat. Rodrigo Augusto da Silva Alves

Mgr. Alexander Kovalenko, Ph.D.

Katedra aplikované matematiky

Tato bakalářská práce se zabývá analýzou triplet problému, jehož úkolem je identifikovat lichý objekt ze tří. Existují různé metodologické přístupy k řešení tohoto problému, které se liší základním zaměřením - některé metody hodnotí, které dva objekty jsou si nejvíce podobné, zatímco jiné identifikují objekt, který je nejvíce odlišný. Cílem této práce je integrace těchto dvou perspektiv a analýza výsledků. V rámci řešení byla vyvinuta neuronová síť s využitím knihovny TensorFlow v programovacím jazyku Python. Momentální výzkum ukázal, že kombinace obou přístupů nepřinesla lepší výsledky než jednotlivé metody o samotě. Hlavním výstupem práce je objasnění, jak kombinace opačných pohledů ovlivňuje finální volbu lichého objektu.Například v množině (Auto, Pes a Dům) je třeba vybrat jednu položku jako lichou. Dům a Auto jsou si nejpodobnější, nebo je Auto liché?

Práce na DSpace

Dr. rer. nat. Rodrigo Augusto da Silva Alves

doc. Ing. Pavel Kordík, Ph.D.

Katedra aplikované matematiky

Tato práce zkoumá využití embeddingů generovaných velkými jazykovými modely (LLM) pro analýzu nestrukturovaných textových dat s cílem odhalit regionální vzorce v lidském chování a lokálních characteristikách. S využitím těchto embeddingů je aplikován algoritmus regionalizace, který definuje prostorově souvislé oblasti vykazující podobné jazykové vzorce. Tento přístup umožňuje identifikaci organicky vznikajících zón zájmů, které překračují arbitrární administrativní hranice. Dále jsou využity řídké autoenkodéry (sparse autoencoders) k izolaci klíčových tématických prvků z embeddingů, což umožňuje provádět regionalizaci na základě specifických aspektů textových dat, jako jsou například podmínky prostředí, sentiment nebo infrastruktura. Výsledky ukazují, že kombinace embeddingů založených na LLM a řídkých autoenkodérů představuje účinný nástroj pro porozumění regionálním rozdílům, s možným využitím v doporučovacích systémech, tržních analýzách nebo udržitelném plánování využití krajiny.

Práce na DSpace

Dr. rer. nat. Rodrigo Augusto da Silva Alves

Ing. Miroslav Čepek, Ph.D.

Katedra aplikované matematiky

Tato bakalářská práce představuje framework pro predikci následující události ve fotbalových zápasech pomocí velkých jazykových modelů (LLM), které integrují sémantické embeddingy z nestrukturovaných textových komentářů se strukturovanými záznamy událostí. Výzkum zkoumá, zda embeddingy odvozené z LLM mohou zlepšit přesnost predikce ve srovnání s tradičními sekvenčními modely, které se spoléhají výhradně na tabulková data. Metodologie zahrnuje získávání a předzpracování dat, extrakci embeddingů a vývoj dopředné neuronové sítě, která je hodnocena pomocí metrik, jako je přesnost a průměrná reciproční hodnota (MRR). Ačkoli modely založené na LLM nepřekonaly konvenční přístupy, navržený framework identifikuje klíčová omezení a ukazuje silný potenciál pro obohacení modelování událostí o sémantický kontext. Jeho modulární design umožňuje rozsáhlé experimentování a slouží jako reprodukovatelný referenční bod pro budoucí výzkum. Tato práce přispívá k rozvíjejícímu se propojení zpracování přirozeného jazyka a sportovní analytiky a poskytuje základ pro další vývoj v oblasti využití LLM pro lepší porozumění a predikci událostí ve fotbalových zápasech.

Práce na DSpace

Dr. rer. nat. Rodrigo Augusto da Silva Alves

Bc. Ondřej Brém, MSc.

Katedra aplikované matematiky

Tato práce se zabývá systémem pro generování reflexivních otázek ve vzdělávacím prostředí pomocí velkých jazykových modelů (LLM). Systém využívá Sokratovskou metodu v dialogu mezi dvěma samostatnými instancemi LLM, z nichž každá má své vlastní jedinečné parametry, aby zlepšil kvalitu generovaných otázek. Jako LLM byl použit model 4o-mini ChatGPT pro snadné testování a hodnocení. Konečný systém vykazuje slibné výsledky při generování vysoce kvalitních reflexivních otázek - použití sokratického dialogu zlepšuje kvalitu výsledků. Existuje několik oblastí pro zlepšení, zejména v hodnocení kvality konečných otázek a určení vhodné doby pro ukončení dialogu. Výzvy vytvořené během vývoje systému jsou k dispozici v přílohách.

Práce na DSpace

Dr. rer. nat. Rodrigo Augusto da Silva Alves

Ing. Karel Klouda, Ph.D.

Katedra aplikované matematiky

Fotbal je velmi populární sport s více než 3,5 miliardy fanoušků po celém světě a predikce výsledků zápasů je stále důležitější. Zatímco k tomuto účelu bylo použito několik metod strojového učení, personalizované metody strojového učení, jako je kompletace matice, byly opomíjeny. V této práci představuji metody kompletace tenzoru pro predikci výsledků fotbalových zápasů, přičemž využívám dva experimentální okruhy: (1) kompletaci tenzoru jako metodu predikce a (2) extrakci embeddingů kompletace tenzoru. Využívám data z pěti různých lig, čtyř z Evropy a jedné z Jižní Ameriky. Výsledky ukazují, že kompletace tenzoru se vyrovná nebo překonává ostatní nejmodernější metody predikce a je schopna zlepšit výkonnost umělých neuronových sítí v této úloze.

Práce na DSpace

Dr. rer. nat. Rodrigo Augusto da Silva Alves

doc. Ing. Pavel Kordík, Ph.D.

Katedra aplikované matematiky

Tato práce se zabývá vývojem doporučovacího systému který využívá polohová data uživatelů. Námi navržená architekrura kombinuje přístup kódování polohy se skupinami uživatelů a jejich preferencemi. Naše architektura se odlišuje tím, že zeměpisnou šířku a změpisnou délku kóduje do vektorového prostoru vyšší dimenze. Tento přístup umožňuje systému dynamicky generovat doporučení kategorií pro nové zájmové body, jako jsou události, místa, nebo aktivity v konkrétních lokalitách. Provedli jsme řadu experimentů, které ukazují, že navrhovaná architektura dosahuje zlepšení oproti základním modelům. Naše modely mohou být využity v sociálních sítích, kde mohou zvýšit zapojení jednotlivých uživatelů i komunity.

Práce na DSpace

Dr. rer. nat. Rodrigo Augusto da Silva Alves

doc. Ing. Pavel Kordík, Ph.D.

Katedra aplikované matematiky

Podvodníci se snaží své chování maskovat, aby zůstali skrytí. To může mít za následek náročný návrh modelů, které je mají spolehlivě detekovat, jelikož část podvodníků může zůstat ukrytá v množině označené za ne-podvodníky. Existující výzkum ukazuje, že grafová konvoluce může přinést vylepšení díky její schopnosti využít vztahy mezi jednotlivými případy. Tato práce navrhuje siamskou grafovou neuronovou síť, kterou lze trénovat semi-supervizovaným učením, kdy je k dispozici jen malá množina známých podvodníků. Tento model projevuje lepší výkon než existující metody a vyšší odolnost proti maskovaným podvodníkům.

Práce na DSpace

Dr. rer. nat. Rodrigo Augusto da Silva Alves

Mgr. Alexander Kovalenko, Ph.D.

Katedra aplikované matematiky

Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium, totam rem aperiam, eaque ipsa quae ab illo inventore veritatis et quasi architecto beatae vitae dicta sunt explicabo. Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores eos qui ratione voluptatem sequi nesciunt. Neque porro quisquam est, qui dolorem ipsum quia dolor sit amet, consectetur, adipisci velit, sed quia non numquam eius modi tempora incidunt ut labore et dolore magnam aliquam quaerat voluptatem. Ut enim ad minima veniam, quis nostrum exercitationem ullam corporis suscipit laboriosam, nisi ut aliquid ex ea commodi consequatur? Quis autem vel eum iure reprehenderit qui in ea voluptate velit esse quam nihil molestiae consequatur, vel illum qui dolorem eum fugiat quo voluptas nulla pariatur?

Práce na DSpace

Dr. rer. nat. Rodrigo Augusto da Silva Alves

doc. Ing. Pavel Kordík, Ph.D.

Katedra aplikované matematiky

Představujeme přístup k doporučování segmentů, který řeší dosud neprozkoumanou oblast v oblasti doporučovacích systémů. Náš hlavní přínos spočívá ve vývoji metody výpočtu distribuce preferencí segmentů (SPDC) s integrovaným maskovacím procesem a v systematické úpravě tradičních i skupinových doporučovacích modelů. Experimenty na třech odlišných datových sadách (MovieLens, Amazon Electronics, Food.com) ukazují, že účinnost modelů výrazně závisí na charakteristikách dat. Výsledky potvrzují, že naše upravené modely překonávají standardní metody.

Práce na DSpace

Dr. rer. nat. Rodrigo Augusto da Silva Alves

Mgr. Vojtěch Rybář

Katedra aplikované matematiky

Lidská konceptuální reprezentace je ze své podstaty subjektivní, neboť jednotlivci vykazují systematické rozdíly v tom, jak vnímají a klasifikují objekty. Zatímco existující přístupy k trojčlennému kognitivnímu modelování prokázaly úspěch v učení interpretovatelných embeddingů z behaviorálních dat, obvykle předpokládají homogenní populaci uživatelů a modelují úsudky o podobnosti tak, jako by všichni jedinci sdíleli identické konceptuální struktury. Tento předpoklad přehlíží bohaté spektrum lidského vnímání, které vzniká z kulturních rozdílů, osobních zkušeností a kognitivních rámců. Tato diplomová práce představuje POEM (Personalized Odd-one-out Embedding Model), nový přístup, který kombinuje embeddingy objektů a uživatelů s cílem zachytit uživatelsky specifické sémantické struktury. Model je trénován na tripletových úsudcích typu ``odd-one-out'', kde účastníci vybírají položku, která je nejméně podobná ze tří nabízených možností. Prostřednictvím rozsáhlého vyhodnocení ukazujeme, že POEM překonává existující základní modely v prediktivní přesnosti při zachování interpretovatelnosti. Analýza naučených uživatelských embeddingů odhaluje kognitivně smysluplné vzory, které seskupuje jednotlivce na základě konzistentních rozdílů v jejich sémantických úsudcích. Získané výsledky zdůrazňují přínos personalizace v kognitivním modelování a ukazují, jak lze individuální variabilitu využít k vytvoření detailnějších a orientovaných na člověka reprezentací konceptuálních znalostí.

Práce na DSpace

Dr. rer. nat. Rodrigo Augusto da Silva Alves

doc. Ing. Pavel Kordík, Ph.D.

Katedra aplikované matematiky

Tato práce představuje vícestupňový doporučovací systém, který kombinuje klasický přístup kolaborativního filtrování s rozsáhlými jazykovými modely pro vyhledávání a řazení kandidátních položek na základě preferencí uživatele. Velký jazykový model je vyladěn pomocí Prompt Tuning a Fine Tuning s LoRA. Konečné přerankování poskytuje také vysvětlení. Výsledky experimentů ukazují, že navrhovaná metoda překonává vybrané základní modely, jako je nevyladěný model a další. Na závěr je navržena a diskutována budoucí práce.

Práce na DSpace

Dr. rer. nat. Rodrigo Augusto da Silva Alves

Ing. Petr Kasalický

Katedra aplikované matematiky

Táto práca skúma, či je možné na základe podobnosti položiek zlepšiť odporúčacie modely, ktoré zachytávajú vývoj používateľských preferencií na základe expozície. Práca nadväzuje na model Ex2Vec, inšpirovaný efektom samotnej expozície (Mere Exposure Effect), podľa ktorého opakovaná expozícia najprv zvyšuje záujem, no neskôr môže viesť k presýteniu. Ex2Vec modeluje znalosť položky užívateľom len na základe jeho opakovaných interakcií s touto istou cieľovou položkou. Model tak nedokáže ťažiť z toho, že používateľ mohol prísť do kontaktu aj so súvisiacimi položkami. Táto práca preto navrhuje rozšírenia modelu Ex2Vec, ktoré zohľadňujú podobnosť položiek a prenášajú účinky expozície z predtým interagovaných položiek na podobné cieľové položky prostredníctvom ohraničenej funkcie relevancie. Navrhované varianty zahŕňajú priraďovanie váh podobnosti na základe vzdialenosti, priraďovanie váh pomocou predtrénovaných vektorových reprezentácií a funkciu relevancie založenú na viacvrstvovom perceptróne, ktorá využíva predtrénované vektorové reprezentácie skladieb zo služby Deezer. Modely sú vyhodnocované na filtrovanom datasete počúvania hudby zo služby Deezer a porovnávané s piatimi referenčnými modelmi: náhodným odporúčaním, predikciou poslednej položky, najpopulárnejšími položkami, radením podľa základnej aktivácie podľa ACT-R a modelom k-najbližších susedov, ktorý zohľadňuje základnú aktiváciu. Výsledky ukazujú, že rozšírenie založené na viacvrstvovom perceptróne, Ex2Vec-PMLP, vylepšuje pôvodný model Ex2Vec a dosahuje najlepšiu hodnotu MRR@50. Jednoduché referenčné modely zohľadňujúce opakovanie si však pri väčších prahoch hodnotenia zachovávajú vysokú konkurencieschopnosť v dôsledku výrazne opakujúcej sa povahy datasetu. Pri predikcii prvej interakcie, kde nie je dostupné priame opakovanie dvojice používateľ položka, dosahuje Ex2Vec-PMLP najlepšie výsledky pri všetkých hodnotených prahoch. To podporuje hlavnú hypotézu, že interakcie so súvisiacimi položkami poskytujú užitočné informácie o expozícii. Kvalitatívne analýzy ďalej ukazujú, že Ex2Vec-PMLP zachytáva bohatšiu dynamiku odporúčania závislého od expozície, vrátane správania zodpovedajúceho presýteniu a zotaveniu z nadmernej expozície. Tieto zistenia naznačujú, že podobnosť položiek môže zvýšiť predikčnú schopnosť a interpretovateľnosť odporúčacích modelov založených na expozícii, najmä v prostrediach s riedkymi dátami alebo v prostrediach zameraných na novosť.

Práce na DSpace

Dr. rer. nat. Rodrigo Augusto da Silva Alves

doc. Ing. Pavel Kordík, Ph.D.

Katedra aplikované matematiky

Velké jazykové modely se v doporučovacích systémech stále častěji používají ke generování embeddingů položek z textových metadat. Přestože jsou tyto embeddingy často považovány za dostatečné z hlediska ochrany soukromí, tato práce ukazuje, že stále mohou odhalovat informace o původních položkách. Zabýváme se identifikovatelností na úrovni položek a hodnotíme, zda útočník za různých předpokladů dokáže jednak identifikovat použitý embedding model, jednak odhalit původní položku. Experimenty na datasetech MovieLens a Goodreads Books ukazují, že sémantika položek může být odhalena skrze embedding, zejména pokud jsou k dispozici názvy nebo jejich podrobné popisy. Navrhujeme a vyhodnocujeme obranu, která snižuje úspěšnost útoků.

Práce na DSpace

Dr. rer. nat. Rodrigo Augusto da Silva Alves

doc. Ing. Štěpán Starosta, Ph.D.

Katedra aplikované matematiky

Doporučovací systémy se na základě historických interakcí učí reprezentace uživatelů, které pak používají pro řazení doporučení. Uživatelé však mají omezené možnosti, jak explicitně vyjádřit preference, které nejsou zachyceny v historických interakcích. Existující přístupy pro řízení doporučování obvykle operují nad naučenými modely a nemodifikují jejich interní reprezentace. Abychom umožnili přesnější a flexibilnější řízení pomocí přirozeného jazyka, navrhujeme univerzální postup, který zobrazí husté reprezentace uživatelů do řídkého prostoru, a s pomocí metadat položek se naučí mapovat textové reprezentace do tohoto řídkého prostoru. V době inference je pak požadavek v přirozeném jazyce namapován do řídkého prostoru a jeho řídká reprezentace je zkombinována s řídkou reprezentací uživatele. Použití takto modifikované reprezentace uživatele pak při řazení doporučení reflektuje požadavkem vyjádřenou preferenci. Navrhovaný postup testujeme pomocí čtyř různých modelů pro kolaborativní filtrování a dvou datasetů a výsledky naznačují, že tento postup položky odpovídající požadavku konzistentně řadí v doporučování výše. Podle našeho nejlepšího vědomí se jedná o první práci, která řídí doporučování na základě manipulace uživatelských reprezentací pomocí přirozeného jazyka.

Práce na DSpace

Dr. rer. nat. Rodrigo Augusto da Silva Alves

Ing. Miroslav Čepek, Ph.D.

Katedra aplikované matematiky

Tato práce se zabývá predikcí následujících událostí ve fotbalových zápasech bez využití detailních časoprostorových dat. Navrhuje se zde architektura STRIKER, což je permutačně ekvivariantní Transformer, který symetricky zpracovává události obou týmů a zároveň využívá vedlejší informace jako jsou sázkové kurzy, týmové statistiky a aktuální čas zápasu. Experimenty ukazují, že zahrnutí sázkových kurzů obvykle zlepšují predikce modelu. Následné přidání permutačně ekvivariantní architektury vede ve většině případů k dalšímu zlepšení výsledků. Celkově výsledky ukazují, že symetrické zpracování událostí obou týmů a využití vedlejších informací je efektivní způsob jak vylepšit přesnost predikcí událostí ve fotbalových zápasech.

Práce na DSpace

Dr. rer. nat. Rodrigo Augusto da Silva Alves

Mgr. Alexander Kovalenko, Ph.D.

Katedra aplikované matematiky

Tato studie navrhuje strategii pro hodnocení výkonu velkých jazykových modelů ve srovnání s přirozeným lidským chováním. Byl použit rozsáhlý dataset základních každodenních konceptů spárovaných s relevantními obrázky. Každý obrázek byl anotován pomocí tří metod popisu: BLIP, ViT a ChatGPT-4V. V následujících krocích byly vygenerované popisky spolu s původními názvy obrázků zpracovány prostřednictvím 24 state-of-the-art modelů na zpracování přirozeného jazyka z osmi různých rodin. Byly extrahovány vektorové reprezentace z posledních pěti vrstev těchto modelů a porovnány pomocí dvou hodnotících metrik. Tyto vektory byly následně využity k řešení úlohy ``najdi vetřelce`` na obsáhlém datasetu trojic obrázkú. Výsledky hodnocení ukazují, že přesné napodobení lidského vnímání zůstává pro většinu modelů obtížné. Nicméně modely z rodin GPT-2 a BERT dosáhly přibližné přesnosti 40-50% při analýze trojic. Zjištění rovněž naznačují, že delší a podrobnější vstupní texty usnadňují modelům vytvářet odpovědi podobnější těm lidským. Navzdory těmto pokrokům zůstává značný prostor pro zlepšení LLM, aby byla zajištěna jejich použitelnost v různých prostředích a lepší pochopení základních konceptů bez nutnosti rozsáhlých úprav.

Práce na DSpace