Laboratoř otevřených dat (OpenDataLab)

OpenDataLab je otevřená laboratoř, kterou jsme založili ve spolupráci s organizací Profinit EU. Je určena hlavně studentům, po domluvě ale mohou přijít i další zájemci o otevřená data. Naším hlavním cílem je nabídnout nápady, pomoc a zadání semestrálních a závěrečných prací studentům.

Více o nás

Čemu se laboratoř věnuje?

V laboratoři se zabýváme především zpracováním dostupných dat, kterých je velké množství, ale jejich využití pokulhává. V laboratoři budou vznikat nad těmito daty nové aplikace, analýzy a závěry usnadňující každodenní život. Zpracování těchto dat je tedy příležitost, jak ušetřit nebo zefektivnit stávající procesy a zlepšit život obyvatel.

Malou ochutnávku našich projektů najdete na GitHubu. Projekty jsou spojené například s  fakturami z ministerstev a dalších organizací, veřejnými zakázkami, nabídkovými cenami či pražskou integrovanou dopravou. Každým rokem však množství zveřejňovaných dat roste, existují datasety poskytnutých dotací solárních i evropských, datasety o počasí, volebních účastí, exekucí i mnoho dalších.

V laboratoři se zapojujeme do výzkumu v oblasti otevřených a propojených dat. Zaměřujeme se také na oblast efektivní explorace prostoru propojených dat či správy dat v heterogenních a dynamických prostředích. To pomáhá lépe řešit praktické úkoly nejen v těchto oblastech. Zároveň se tím vytváří poptávka po otevírání a propojování dalších zajímavých datových zdrojů veřejné správy, které mohou být následně všem dostupné v Národním katalogu otevřených dat.

Zajímavým směrem je také výzkum využití znalostních grafů a bází nejen pro obohacení otevřených dat, ale i opačným směrem. Rostoucí množství otevřených dat z různých oblastí může značně obohatit i samotné znalostní báze, které se využívají v mnoha dalších aplikacích.

V laboratoři řešíme také úlohy na zpracování textu. Například v registru smluv je k dispozici velké množství strojově čitelných dokumentů. Dokážeme řešit kategorizaci dokumentů, hledat adresy, kontaktní údaje a společné části v dokumentech v rozsahu srovnatelném s komerčními aplikacemi. Obdobně máme zadání na zpracování obrazu či zvuku.

Studenti si v laboratoři mohou vyzkoušet práci s otevřenými zdroji dat. Naskýtá se jim jedinečná příležitost zkoumat data o dopravní obslužnosti, hospodaření státu, životním prostředí a mnoha dalších oblastech, a to formou semestrálních a závěrečných prací.

Vybavení

Studenti většinou pracují samostatně z domova či ze školy. Zároveň však máme pro studenty OpenDataLabu vyhrazena čtyři místa s monitory v International Business Center. Dále je možné využít naše interní GPU či využít výpočetní cluster ČVUT.

Činnost laboratoře se dotýká těchto témat

Publikace

Detekce anomálií v otevřených datech o znečištění ovzduší polétavým prachem

Autoři
Podsztavek, O.; Kuchař, J.
Rok
2019
Publikováno
DATA A ZNALOSTI & WIKT 2019. Košice: Technická univerzita v Košiciach, 2019. p. 66-71. ISBN 978-80-553-3354-0.
Typ
Stať ve sborníku
Anotace
Senzorická síť veřejného osvětlení na pražském Karlínském náměstí poskytuje měření znečištění ovzduší polétavým prachem PM10 jako otevřená data. V této práci v nich detekujeme anomálie pomocí algoritmů strojového učení pro predikci časových řad a prahování. Chceme, aby se algoritmus strojového učení naučil pravidelnosti v datech a pokud se stane něco neočekávaného, tak to prahováním odhalíme. Experimentovali jsme s lineární regresí a LSTM rekurentní neuronovou sítí, které jsme mezi sebou porovnávali střední kvadratickou chybou. Ukázalo se, že lineární regrese, která predikuje z posledních dvou měření, dosahuje lepších výsledků. Anomálie jsme detekovali z rozdílů predikovaných a skutečných hodnot. Práh pro detekování anomálií jsme vypočítali z histogramu rozdílů predikcí a skutečně naměřených hodnot. Testování ukázalo, že takto navržená metoda dokáže odhalit některé anomálie v měřeních polétavého prachu PM10, ale mnoho anomálií (například postupně nabíhajících) nedetekuje.

Kontaktní osoba

Kde nás najdete?

Laboratoř otevřených dat
Katedra softwarového inženýrství
Fakulta informačních technologií
České vysoké učení technické v Praze

Thákurova 7
Praha 6 – Dejvice
160 00

Laboratoř otevřených dat provozuje Fakulta informačních technologií ČVUT ve spolupráci se společností Profinit EU

International Business Center
Pobřežní 620/3
Praha 8

Za obsah stránky zodpovídá: doc. Ing. Štěpán Starosta, Ph.D.