|
Vyučující
|
-
Švarc Miroslav, Ing.
-
Kůstka Zdeněk, Ing. Ph.D.
|
|
Obsah předmětu
|
1. Opakování: vícevrstvý perceptron a algoritmus zpětného síření chyby. 2. Jazykové modely a Word2Vec. 3. Konvoluční neuronové sítě. 4. Rekurentní neuronové sítě. 5. LSTM, GRU, značkování. 6. Encoder-decoder architektura, strojový překlad. 7. Princip Attention. 8. Transformer architektura. 9. BERT a obdobné modely. 10. Adaptace předtrénovaných modelů na cílové úlohy. 11. Generativní modely. 12. Adversarial training v NLP. 13. Využití nástrojů pro hluboké učení na zpracování textových dat.
|
|
Studijní aktivity a metody výuky
|
Přednáška s diskusí, Přednáška s praktickými aplikacemi, E-learning, Diskuse, Výuka podporovaná multimédii, Prezentace práce studentů, Individuální konzultace, Samostatná práce studentů, Samostudium studentů, Přednáška, Cvičení
- Praktická výuka [vyjádření počtem hodin]
- 26 hodin za semestr
- Kontaktní výuka
- 26 hodin za semestr
- Projekt individuální [40]
- 60 hodin za semestr
- Příprava na dílčí test [2-10]
- 10 hodin za semestr
- Příprava na zkoušku [10-60]
- 40 hodin za semestr
|
| Předpoklady |
|---|
| Odborné znalosti |
|---|
| orientovat se v základních metodách pravděpodobnosti a statistiky |
| řešit informatické úlohy na úrovni Bc v oboru Informatika, či obdobného oboru |
| orientovat se v základních metodách strojového učení |
| Odborné dovednosti |
|---|
| dekomponovat úlohy na jednodušší celky |
| řešit úlohy lineární algebry |
| implementovat složitější programy v imperativní programovacím jazyce |
| Obecné způsobilosti |
|---|
| mgr. studium: používají své odborné znalosti, odborné dovednosti a obecné způsobilosti alespoň v jednom cizím jazyce, |
| Výsledky učení |
|---|
| Odborné znalosti |
|---|
| orientovat se v problematice vícejazyčného zpracování textů |
| orientovat se v základních metodách sumarizace textů |
| orientovat se v problematice vyhodnocování úspěšnosti metod zpracování přirozeného jazyka |
| popsat principy zpracování přirozeného jazyka a vyhledávání v textových datech |
| Odborné dovednosti |
|---|
| trénovat jazykové modely |
| vytvářet algoritmy pro větný rozbor |
| vytvářet algoritmy automatického hodnocení sémantické podobnosti slov, vět a dokumentů |
| vytvářet algoritmy značkování pojmenovaných entit |
| vytvářet algoritmy strojového učení |
| aplikovat strojové učení na oblast zpracování přirozeného jazyka |
| Obecné způsobilosti |
|---|
| mgr. studium: srozumitelně a přesvědčivě sdělují odborníkům i laikům informace o povaze odborných problémů a vlastním názoru na jejich řešení, |
| mgr. studium: srozumitelně a přesvědčivě sdělují odborníkům i širší veřejnosti vlastní odborné názory, |
| Vyučovací metody |
|---|
| Odborné znalosti |
|---|
| Samostudium, |
| Cvičení (praktické činnosti), |
| Přednáška s diskusí, |
| Přednáška s aktivizací studentů, |
| Diskuse, |
| Individuální konzultace, |
| E-learning, |
| Výuka podporovaná multimédii, |
| Odborné dovednosti |
|---|
| Samostatná práce studentů, |
| Obecné způsobilosti |
|---|
| Přednáška s aktivizací studentů, |
| Hodnotící metody |
|---|
| Odborné znalosti |
|---|
| Test, |
| Ústní zkouška, |
| Odborné dovednosti |
|---|
| Seminární práce, |
| Obecné způsobilosti |
|---|
| Ústní zkouška, |
|
Doporučená literatura
|
-
Aurélien Géron. Hands-On Machine Learning with Scikit-Learn and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems. O'Reilly Media, 2017. ISBN 1491962291.
-
Delip Rao, Brian McMahan. Natural Language Processing with PyTorch: Build Intelligent Language Applications Using Deep Learning. ISBN 1491978236.
-
François Chollet. Deep Learning with Python. 2017. ISBN 9781617294433.
-
Christopher D. Manning and Hinrich Schütze. Foundations of Statistical Natural Language Processing. MIT Press, Cambridge, MA, USA, 1999.
-
Ian Goodfellow, Yoshua Bengio, Aaron Courville. Deep Learning (Adaptive Computation and Machine Learning series). MIT press, 2016. ISBN 9780262035613.
-
Jacob Eisenstein. Introduction to Natural Language Processing (Adaptive Computation and Machine Learning series). MIT Press, 2019. ISBN 0262042843.
-
Jurafsky, Daniel; Martin, James H. Speech and language processing : an introduction to natural language processing, computational linguistics, and speech recognition. 2nd ed. Upper Saddle River : Pearson/Prentice Hall, 2009. ISBN 978-0-13-504196-3.
|