Výzkumná laboratoř s firmou Recombee (RecombeeLab)

Firma Recombee dlouhodobě vyvíjí doporučovací systém jako cloudovou službu. Na základě rozsáhlých dat nejrůznějšího charakteru (uživatelské chování a preference, informace o obsahu a produktech) doporučuje Recombee zajímavý obsah šitý na míru jednotlivým uživatelům. Tento systém využívají menší a střední firmy po celém světě (aktuálně z 27 zemí). Nepotřebují díky němu budovat interní data science týmy, aby svým uživatelům personalizaci nabídli.

Filosofií Recombee je „dobrá“ personalizace a jako tým tvůrců jsme nejvíce hrdí na use-cases, které skutečně přináší přidanou hodnotu uživatelům, ať už se jedná o doporučování podobných inzerátů v bazarech nebo doporučování multimediálního obsahu. Naopak prakticky vůbec se nezabýváme personalizací reklamy, která uživatelům hodnotu téměř nikdy nepřináší.

Jádro systému stojí na sofistikovaných algoritmech strojového učení a umělé inteligence, které dostupná data zpracovávají na nespočet nejrůznějších způsobů, s jednotným cílem vytvořit z nich pro uživatele užitečná doporučení.

Čemu se laboratoř věnuje?

V laboratoři se zabýváme primárně výzkumem doporučovacích algoritmů a explorací nejrůznějších výzkumných směrů v této oblasti. Oproti podobným laboratořím na světových univerzitách máme výraznou výhodu právě v kontaktu s praxí. Díky tomu, že systém Recombee má stovky produkčních integrací pro stovky milionů uživatelů po celém světě, máme k dispozici něco, co většina výzkumníků v dané oblasti nemá: reálné a rozsáhlé průmyslové datasety a možnost testovat prototypy algoritmů v reálném provozu pomocí A/B testování.

Členové laboratoře

doc. Ing. Pavel Kordík, Ph.D.

Ing. Tomáš Řehořek, Ph.D.

Vybavení

Ačkoli samotná laboratoř může na první pohled působit poměrně obyčejně, její pravé technické zázemí se skrývá mimo ni: v datových centrech, kde Recombee pronajímá výkonný hardware. Pro výpočetně intenzivní algoritmy dostávají studenti v rámci spolupráce (ať už na semestrálních projektech či bakalářských nebo magisterských pracích) výkonný hardware. Pro deep learning jsou k dispozici servery s grafickými kartami GeForce® GTX 1080, pro algoritmy náročné na tradiční výpočetní prostředky pak servery s 40CPU jádry či 256–512GB RAM.

Publikace

Comparing Offline and Online Evaluation Results of Recommender Systems

Autoři
Kordík, P.; Řehořek, T.; Bíža, O.; Bartyzal, R.; Podsztavek, O.; Povalyev, I.P.
Rok
2018
Publikováno
REVEAL RecSyS 2018 workshop proceedings. New York: ACM, 2018.
Typ
Stať ve sborníku
Pracoviště
Katedra aplikované matematiky
Anotace
Recommender systems are usually trained and evaluated on historical data. Offline evaluation is, however, tricky and offline performance can be an inaccurate predictor of the online performance measured in production due to several reasons. In this paper, we experiment with two offline evaluation strategies and show that even a reasonable and popular strategy can produce results that are not just biased, but also in direct conflict with the true performance obtained in the online evaluation. We investigate offline policy evaluation techniques adapted from reinforcement learning and explain why such techniques fail to produce an unbiased estimate of the online performance in the “watch next” scenario of a large-scale movie recommender system. Finally, we introduce a new evaluation technique based on Jaccard Index and show that it correlates with the online performance.

Jak to u nás vypadá

Kontaktní osoba

Ing. Tomáš Řehořek, Ph.D.

Kde nás najdete?

Výzkumná laboratoř s firmou Recombee
Katedra aplikované matematiky
Fakulta informačních technologií
České vysoké učení technické v Praze

Místnost TH:A-1354 (Budova A, 13. patro)
Thákurova 7
Praha 6 – Dejvice
160 00

Za obsah stránky zodpovídá: doc. Ing. Štěpán Starosta, Ph.D.