OpenDataLab je otevřená laboratoř, kterou jsme založili ve spolupráci s organizací Profinit EU. Je určena hlavně studentům, po domluvě ale mohou přijít i další zájemci o otevřená data. Naším hlavním cílem je nabídnout nápady, pomoc a zadání semestrálních a závěrečných prací studentům.
V laboratoři se zabýváme především zpracováním dostupných dat, kterých je velké množství, ale jejich využití pokulhává. V laboratoři budou vznikat nad těmito daty nové aplikace, analýzy a závěry usnadňující každodenní život. Zpracování těchto dat je tedy příležitost, jak ušetřit nebo zefektivnit stávající procesy a zlepšit život obyvatel.
Malou ochutnávku našich projektů najdete na GitHubu. Projekty jsou spojené například s fakturami z ministerstev a dalších organizací, veřejnými zakázkami, nabídkovými cenami či pražskou integrovanou dopravou. Každým rokem však množství zveřejňovaných dat roste, existují datasety poskytnutých dotací solárních i evropských, datasety o počasí, volebních účastí, exekucí i mnoho dalších.
V laboratoři se zapojujeme do výzkumu v oblasti otevřených a propojených dat. Zaměřujeme se také na oblast efektivní explorace prostoru propojených dat či správy dat v heterogenních a dynamických prostředích. To pomáhá lépe řešit praktické úkoly nejen v těchto oblastech. Zároveň se tím vytváří poptávka po otevírání a propojování dalších zajímavých datových zdrojů veřejné správy, které mohou být následně všem dostupné v Národním katalogu otevřených dat.
Zajímavým směrem je také výzkum využití znalostních grafů a bází nejen pro obohacení otevřených dat, ale i opačným směrem. Rostoucí množství otevřených dat z různých oblastí může značně obohatit i samotné znalostní báze, které se využívají v mnoha dalších aplikacích.
V laboratoři řešíme také úlohy na zpracování textu. Například v registru smluv je k dispozici velké množství strojově čitelných dokumentů. Dokážeme řešit kategorizaci dokumentů, hledat adresy, kontaktní údaje a společné části v dokumentech v rozsahu srovnatelném s komerčními aplikacemi. Obdobně máme zadání na zpracování obrazu či zvuku.
Studenti si v laboratoři mohou vyzkoušet práci s otevřenými zdroji dat. Naskýtá se jim jedinečná příležitost zkoumat data o dopravní obslužnosti, hospodaření státu, životním prostředí a mnoha dalších oblastech, a to formou semestrálních a závěrečných prací.
Vedoucí laboratoře
Vybavení
Studenti většinou pracují samostatně z domova či ze školy. Zároveň však máme pro studenty OpenDataLabu vyhrazena čtyři místa s monitory v International Business Center. Dále je možné využít naše interní GPU či využít výpočetní cluster ČVUT.
Činnost laboratoře se dotýká těchto témat
Publikace
Detekce anomálií v otevřených datech o znečištění ovzduší polétavým prachem
Autoři
Rok
2019
Publikováno
DATA A ZNALOSTI & WIKT 2019. Košice: Technická univerzita v Košiciach, 2019. p. 66-71. ISBN 978-80-553-3354-0.
Typ
Stať ve sborníku
Pracoviště
Anotace
Senzorická síť veřejného osvětlení na pražském Karlínském náměstí
poskytuje měření znečištění ovzduší polétavým prachem PM10 jako otevřená
data. V této práci v nich detekujeme anomálie pomocí algoritmů strojového učení
pro predikci časových řad a prahování. Chceme, aby se algoritmus strojového
učení naučil pravidelnosti v datech a pokud se stane něco neočekávaného, tak to
prahováním odhalíme. Experimentovali jsme s lineární regresí a LSTM
rekurentní neuronovou sítí, které jsme mezi sebou porovnávali střední
kvadratickou chybou. Ukázalo se, že lineární regrese, která predikuje z
posledních dvou měření, dosahuje lepších výsledků. Anomálie jsme detekovali z
rozdílů predikovaných a skutečných hodnot. Práh pro detekování anomálií jsme
vypočítali z histogramu rozdílů predikcí a skutečně naměřených hodnot.
Testování ukázalo, že takto navržená metoda dokáže odhalit některé anomálie v
měřeních polétavého prachu PM10, ale mnoho anomálií (například postupně
nabíhajících) nedetekuje.
Kontaktní osoba
Ing. Jaroslav Kuchař, Ph.D.
- +420224357961
- jaroslav.kuchar@fit.cvut.cz
- TH:A-922
Kde nás najdete?
Laboratoř otevřených dat
Katedra softwarového inženýrství
Fakulta informačních technologií
České vysoké učení technické v Praze
Thákurova 7
Praha 6 – Dejvice
160 00
Laboratoř otevřených dat provozuje Fakulta informačních technologií ČVUT ve spolupráci se společností Profinit EU
International Business Center
Pobřežní 620/3
Praha 8