Dr. Ing. Josef Šivic

Simulace molekulární dynamiky (MD) umožňují analyzovat fyzikální pohyby biomolekul. Generovaná data jsou sekvence snímků (řádově statisíce) simulovaných v předem definovaném časovém kroku. Každý snímek se skládá z pozic všech atomů proteinu (řádově desetitisíce), které jsou simulovány pomocí silového pole molekulární mechaniky. Analýza tak obrovského množství dat je často náročná zejména pro molekuly s konformační heterogenitou, jako je neuspořádaný Abeta peptid relevantní pro Alzheimerovu chorobu (AD). Abeta peptid je charakteristickým znakem onemocnění a vyskytuje se v různých konformacích. Pochopení dynamických vlastností proteinu Abeta je klíčem k určení účinků potenciálních léků na léčbu Alzheimerovy choroby. Cílem této práce je navázat na nedávné pokroky ve strojovém učení z video sekvencí a vyvinout nové metody pro automatickou analýzu simulací molekulární dynamiky a obecněji pro proteinové inženýrství. Toto téma bude řešeno společně s Dr. Stanislavem Mazurenkem a prof. Jiřím Damborským (Loschmidt Laboratories, Masarykova univerzita).

Více informací:

• https://loschmidt.chemi.muni.cz/peg/
• http://impact.ciirc.cvut.cz
• https://ellis.ciirc.cvut.cz/4-students/

• S Mazurenko, Z Prokop, J Damborsky. Machine learning in enzyme engineering, In ACS Catalysis, 10 (2), 1210-1223, 2020.
• A Miech, D Zhukov, JB Alayrac, M Tapaswi, I Laptev, J Sivic, Howto100m: Learning a text-video embedding by watching hundred million narrated video clips, In Proceedings of the IEEE/CVF International Conference on Computer Vision and Pattern Recognition, 2019.
• J-B Alayrac, P Bojanowski, N Agrawal, J Sivic, I Laptev, S Lacoste-Julien, Learning from Narrated Instruction Videos, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017.
• A Mardt, L Pasquali, H Wu, F Noe, VAMPnets for deep learning of molecular kinetics. In Nature Communications, 9, 5, 2018.

Lidé řeší efektivně a bezpečně každodenní manipulační úlohy. Jen na základě několika málo interakcí se naučí používat nástroje, aniž by předem znali jejich přesné fyzikální vlastnosti nebo vlastnosti okolního prostředí. Příklady takových úloh je zatloukání hřebíků, odhrnování sněhu, hrabání listí nebo vrtání děr do různých materiálů. V současné době neexistuje inteligentní autonomní systém s podobnou úrovní vizuomotorických schopností.

Cílem této práce je vyvinout modely strojového učení založené na fyzické a geometrické struktuře okolního prostředí, které umožní bezpečné automatické učení vizuomotorických dovedností pro robotickou manipulaci v nových prostředích.

Více informací:

• http://impact.ciirc.cvut.cz/
• http://ellisprague.eu/4-students

• Z Li, J Sedlar, J Carpentier, I Laptev, N Mansard, J Sivic, Estimating 3D Motion and Forces of Person-Object Interactions From Monocular Video, IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2019).
• Y Labbe, S Zagoruyko, I Kalevatykh, I Laptev, J Carpentier, M Aubry, J Sivic, Monte-Carlo Tree Search for Efficient Visually Guided Rearrangement Planning, IEEE Robotics and Automation Letters (2020).
• Y Labbe, J Carpentier, M Aubry, J Sivic, CosyPose: Consistent multi-view multi-object 6D pose estimation, European Conference on Computer Vision (ECCV) (2020).

Vytvořit stroje, které rozumí komplexním obrazovým vstupům, je jeden ze základních problémů umělé inteligence s aplikacemi v autonomní robotice, automatické průmyslové výrobě nebo zdravotnictví. Je to ale obtížný problém, protože vizuální svět je složitý a proměnlivý. Nedávné úspěchy vizuálního rozpoznáváni jsou z velké části kombinací reprezentací založených na neuronových sítích, technik strojového učení a rozsáhlých manuálně anotovaných obrazových dat. Dalším zásadním otevřeným problémem je vývoj vizuálních reprezentací, které nevyžadují pro učení detailní anotace ve formě vstupů a cílových výstupů, ale jsou učitelné pouze ze slabých, zašuměných a jen částečných anotací. Tato práce bude tento otevřený problém řešit.

Více informací:

• http://impact.ciirc.cvut.cz/
• http://ellisprague.eu/4-students

• Alayrac, J.-B., Bojanowski, P., Agrawal, N., Laptev, I., Sivic, J. and Lacoste-Julien, S., Learning from narrated instruction videos IEEE Transactions on Pattern Analysis and Machine Intelligence, 40 (9), 2194-2208 (2018)