HiSS-Cube: A scalable framework for Hierarchical Semi-Sparse Cubes preserving uncertainties

Rok
2021
Publikováno
Astronomy and Computing. 2021, 36 ISSN 2213-1337.
Typ
Článek
Anotace
A wide variety of approaches are available for big data cube visualization and analysis. However, few exploit the power of array databases and none preserve the scientific uncertainties in measurements when constructing lower resolutions. In machine learning applications, we often need to rapidly search data for regions of interest and then focus on these areas, but without having to retrain the model every time we change the resolution. However, the reliable verification of these areas also requires details of the accuracy of the measured values. In this study, we developed a new software infrastructure called Hierarchical Semi-Sparse Cube (HiSS-Cube) based on Hierarchical Data Format version 5. HiSS-Cube enables visualization and machine learning using combined heterogeneous data and it was designed to be scalable for big data. HiSS-Cube allows data from multiple domains (imaging, spectral, and timeseries data) to be combined and the construction of a multi-resolution semi-sparse data cube that preserves the uncertainties of scientific measurement at all resolutions. The functionality of HiSSCube was verified based on a subset of the Sloan Digital Sky Survey Stripe 82 survey. We compared the times and volumes for visualizations and machine learning data exported to HiSS-Cube and the original format (FITS). Using these data, we demonstrated that HiSS-Cube is faster by several orders of magnitude. HiSS-Cube supports export to the VOTable format and it is compatible with common Virtual Observatory tools. The source code for our prototype HiSS-Cube is available from GitHub and the data are available from Zenodo.

Joint direct and transposed sparse matrix-vector multiplication for multithreaded CPUs

Rok
2021
Publikováno
Concurrency and Computation: Practice and Experience. 2021, 33(13), 1-26. ISSN 1532-0634.
Typ
Článek
Anotace
Repeatedly performing sparse matrix‐vector multiplication (SpMV) followed by transposed sparse matrix‐vector multiplication (SpMᵀV) with the same matrix is a part of several algorithms, for example, the Lanczos biorthogonalization algorithm and the biconjugate gradient method. Such algorithms can benefit from combining parallel SpMV and SpMᵀV into a single operation we call ‘joint direct and transposed sparse matrix‐vector multiplication’ (SpMMᵀV). In this article, we present a parallel SpMMᵀV algorithm for shared‐memory CPUs. The algorithm uses a sparse matrix format that divides the stored matrix into sparse matrix blocks and compresses the row and column indices of the matrix. This sparse matrix format can be also used for SpMV, SpMᵀV, and similar sparse matrix‐vector operations. We expand upon existing research by suggesting new variants of the parallel SpMMᵀV algorithm and by extending the algorithm to efficiently support symmetric matrices. We compare the performance of the presented parallel SpMMᵀV algorithm with alternative approaches, which use state‐of‐the‐art sparse matrix formats and libraries, using sparse matrices from real‐world applications. The performance results indicate that the median performance of our proposed parallel SpMMᵀV algorithm is up to 45% higher than of the alternative approaches.

Active deep learning method for the discovery of objects of interest in large spectroscopic surveys

Rok
2020
Publikováno
Astronomy & Astrophysics. 2020, 643 ISSN 1432-0746.
Typ
Článek
Anotace
Context. Current archives of the LAMOST telescope contain millions of pipeline-processed spectra that have probably never been seen by human eyes. Most of the rare objects with interesting physical properties, however, can only be identified by visual analysis of their characteristic spectral features. A proper combination of interactive visualisation with modern machine learning techniques opens new ways to discover such objects. Aims. We apply active learning classification methods supported by deep convolutional neural networks to automatically identify complex emission-line shapes in multi-million spectra archives. Methods. We used the pool-based uncertainty sampling active learning method driven by a custom-designed deep convolutional neural network with 12 layers. The architecture of the network was inspired by VGGNet, AlexNet, and ZFNet, but it was adapted for operating on one-dimensional feature vectors. The unlabelled pool set is represented by 4.1 million spectra from the LAMOST data release 2 survey. The initial training of the network was performed on a labelled set of about 13 000 spectra obtained in the 400 Å wide region around Hα by the 2 m Perek telescope of the Ondˇrejov observatory, which mostly contains spectra of Be and related early-type stars. The differences between the Ondˇrejov intermediate-resolution and the LAMOST low-resolution spectrographs were compensated for by Gaussian blurring and wavelength conversion. Results. After several iterations, the network was able to successfully identify emission-line stars with an error smaller than 6.5%. Using the technology of the Virtual Observatory to visualise the results, we discovered 1 013 spectra of 948 new candidates of emission-line objects in addition to 664 spectra of 549 objects that are listed in SIMBAD and 2 644 spectra of 2 291 objects identified in an earlier paper of a Chinese group led by Wen Hou. The most interesting objects with unusual spectral properties are discussed in detail.

Efektivní paralelní vícecestný Quicksort algoritmus

Autor
Ondřej Voronecký
Rok
2023
Typ
Diplomová práce
Vedoucí
doc. Ing. Ivan Šimeček, Ph.D.
Oponenti
Ing. Daniel Langr, Ph.D.
Anotace
V této diplomové práci je představena nová verze paralelniho in-place Quicksort algoritmu MPQ- sort pro řazeni poli, s využitim OpenMP pro paralelizaci. Dosavadni implementace využivaji pro rozdělováni pouze jednoho pivota. MPQsort implementuje paralelni vicecestné rozdělováni a jedná se o prvni algoritmus svého druhu. V práci jsou diskutována sekvenčni vicecestná rozdělováni, následně paralelni dvoucestná rozdělováni a na jejich základě navržena a imple- mentována paralelni vicecestná varianta. Poté je provedeno experimentálni vyhodnoceni efek- tivity algoritmu a porovnáni s existujicimi implementacemi. V experimentech MPQsort dosa- huje dobrých výsledků a z uvažovaných algoritmů se umistil na druhém mistě v oblasti řazeni náhodných čisel. Naopak v připadě jiných typů uspořádáni dat dosahuje i nejlepšich výsledků.

Detekce těžby kryptoměn na základě rozšířených síťových toků

Autor
Richard Plný
Rok
2022
Typ
Bakalářská práce
Oponenti
Ing. Jiří Dostál, Ph.D.
Anotace
Tato bakalářská práce se zaměřuje na těžbu kryptoměn z bezpečnostní perspektivy s důrazem na nelegální těžbu. Zkoumá možnosti detekce těžení kryptoměn ve vysokorychlostních počítačových sítích na úrovni monitorování síťových toků. Práce obsahuje návrh plaformy pro kontinuální záchyt komunikace, která je použita k vytvoření datových sad obsahující komunikaci těžících softwarů z realného provozu. Dále je navržena metoda detekce, která je schopna provozu i na vysokorychlostních sítích. Navržené řešení je implementováno jako skupina modulů systému NEMEA. Tato skupina modulů byla nasazena a testována na národní síti provozované sdružením CESNET.

Fyzicky neklonovatelné funkce na platformě ESP32

Autor
Ondřej Staníček
Rok
2022
Typ
Bakalářská práce
Vedoucí
Ing. Jiří Buček, Ph.D.
Oponenti
Ing. Filip Kodýtek, Ph.D.
Anotace
Tato práce zkoumá možnost implementace fyzicky neklonovatelné funkce (PUF) na základě statické paměti (SRAM) na mikrokontroléru ESP32. Nejprve je provedena rešerše o problematice PUF se zaměřenim na SRAM PUF. Také jsou popsány vlastnosti SRAM PUFu. Jsou představeny dvě metody kontroly napájeni SRAM paměti. Pro obě je provedena analýza chováni neinicializovaných SRAM dat dle operačni teploty a doby vypnuti. Na základě těchto výsledků je posouzena vhodnost jejich využiti. Poté je představena implementace SRAM PUFu se spolehlivou rekonstrukci odpovědi. Dvě různé metody výběru stabilnich bitů a opakovaci samoopravný kód jsou použity ke stabilizaci odpovědi. Tato implementace kombinuje obě představené metody kontroly napájeni paměti, cimž dosahuje rychlejši a spolehlivějši extrakce odpovědi. Testováni spolehlivosti odhalilo, že je možné dosáhnout 100 % úspěšnosti rekonstrukce odpovědi při teplotách od -40 do +70 °C. Tyto odpovědi je možné použit jako kryptografické kliče k zabezpečeni ESP32. Nakonec je tento návrh SRAM PUFu implementován jako snadno použitelná ESP32 knihovna.

Správa důvěryhodnosti v bezdrátových ad hoc sítích

Autor
Ing. Yelena Trofimova
Rok
2022
Typ
Dizertační práce
Vedoucí
prof. Ing. Pavel Tvrdík, CSc.
Oponenti
Prof. Dr. Stefan Schmid
prof. Ing. Miroslav Vozňák, Ph.D.
doc. Ing. Zdeněk Bečvář, Ph.D.

Deobfuskace malware v jazyce VBScript

Autor
Matěj Havránek
Rok
2021
Typ
Bakalářská práce
Vedoucí
Ing. Josef Kokeš, Ph.D.
Oponenti
Ing. Jakub Souček
Anotace
VBScript je desktopový a webový skriptovací jazyk, který je často využíván škodlivým softwarem. Autoři tohoto software se často snaží skrýt jeho pravou funkcionalitu a zabránit ostatním ve čtení jeho kódu pomocí obfuskací. Tato práce se zaměřuje na analýzu těchto obfuskací, prozkoumání způsobů, jak je překonat, a implementaci nástroje schopného zlepšit čitelnost obfuskovaných programů pomocí statických a dynamických deobfuskačních metod.

Interpretovatelnost výsledků detekce malware založených na strojovém učení pomocí sady pravidel

Autor
Jan Dolejš
Rok
2021
Typ
Bakalářská práce
Vedoucí
Mgr. Martin Jureček, Ph.D.
Oponenti
prof. Ing. Róbert Lórencz, CSc.
Anotace
Metody strojového učení se prokázaly jako užitečný nástroj v řadě aplikací. Antivirové společnosti našly jejich využití i pro rychlou a spolehlivou detekci malwaru, poskytující jejich uživatelům bezpečnější prostředí před každodenními hrozbami. Metody strojového učení, jako jsou například hluboké neuronové sítě, jsou však často považovány za black boxy, jelikož důvody jejich rozhodnutí mohou být často nejasné. Jejich intepretovatelnost je důležitá a pomáhá pochopit potenciálně chybná rozhodnutí. Tato práce se zabývá algoritmy pro tvorbu pravidel a zkoumá jejich potenciál v rámci interpretace výsledků metod strojového učení. V práci bylo využito dvou veřejně dostupných datasetů, obsahujících atributy PE souborů, a na míru navržených implementací algoritmů pro tvorbu pravidel. Výsledky ukázaly, že algoritmus RIPPER je v tomto úkolu převážně úspěšný; vysokou přesnost vykazoval i při zachování kompaktních sad pravidel, což dělá z algoritmů pro tvorbu pravidel užitečnou alternativu metody založené na signaturách.

Vkládání interaktivních prvků a multimédií do PDF souborů prostřednictvím TeXu

Autor
Michal Vlasák
Rok
2021
Typ
Bakalářská práce
Vedoucí
RNDr. Petr Olšák
Oponenti
Ing. Ondřej Guth, Ph.D.
Anotace
Zaměřením této bakalářské práce je oblast interaktivních prvků a multimédií ve formátu PDF, obzvlášť pak ve spojitosti s TeXem. Kromě analýzy a diskuze toho, co specifikuje norma formátu PDF nebo co implementují existující TeXové balíčky, bylo zaměření práce také praktické - otestování co doopravdy funguje v dnešních PDF prohlížečích. Jak se ukázalo, tak interaktivních a multimediálních možností nabízí formát PDF celou řadu. Špatná je ale jejich podpora v PDF prohlížečích, která v této oblasti silně zaostává. Výjimkou je de facto referenční prohlížeč Acrobat a jím inspirovaný prohlížeč Foxit. Jsou ale i open-source prohlížeče (Evince, Okular), které mohou být pro některá využití, např. prezentace, naprosto vyhovující. Na základě všech získaných znalostí byl poté vytvořen balíček pro nový TeXový formát OpTeX. Ten implementuje v oblasti TeXu smysluplné a zároveň v praxi funkční interaktivní prvky a multimédia. Balíček je veřejný a volně dostupný. Výsledný balíček nabízí v oblasti multimédií možnosti vkládání audia, videa a 3D děl. V oblasti interaktivity pak například komplexně řeší akce, události nebo animované přechody.

Multimodální navigace a její nasazení v škálovatelné architektuře

Autor
Jan Sokol
Rok
2021
Typ
Diplomová práce
Vedoucí
Ing. Ondřej Guth, Ph.D.
Oponenti
Ing. Jan Fesl, Ph.D.
Anotace
Tato práce se zabývá návrhem plánovače cest v geoprostorových grafech, konkrétně s omezením na cesty ve městě. Plánovač nabízí různé způsoby dopravy a v určitých kombinacích také využívá vícera možností prostředků najednou. Plánovací služba je navržena dle principů tzv. mikroslužeb (microservices). K plánovací službě je přístup navržen pomocí REST API. Technologií jako Docker a Kubernetes je využito k nasazení aplikace do distribuovaného a škálovaného systému v druhé části práce. Při nasazení do Kubernetes je brán důraz na zabezpečení aplikace. Část práce je věnována možnostem škálování aplikace v distribuovaném systému Kubernetes. Je brán důraz na vysokou dostupnost aplikace jak při běžném provozu, tak při častém nasazování.

Zařízení pro testování bezpečnosti Wi-Fi

Autor
Petr Heřmánek
Rok
2021
Typ
Diplomová práce
Vedoucí
Ing. Josef Kokeš, Ph.D.
Oponenti
Ing. Tomáš Čejka, Ph.D.
Anotace
Narušení bezpečnosti bezdrátových sítí představuje závažné ohrožení soukromí, integrity a autentičnosti komunikace. Globálně rozšířené protokoly obsahují mnoho slabin, od nedostatků původního návrhu až po kritická pochybení programátorů. Cílem této práce je analýza opakujících se hrozeb za účelem vytvoření ucelené klasifikace a obranných direktiv. Na základě těchto znalostí jsme zkonstruovali přenosné demonstrační zařízení, které je určené k plně automatizovanému spuštění útoku Evil Twin, s možností využít další moderní nástroje pro testování zabezpečení.