Statistical methods for machine learning

A.A. 2021/2022
6
Crediti massimi
48
Ore totali
SSD
INF/01
Lingua
Inglese
Obiettivi formativi
L'insegnamento descrive e analizza, in un contesto statistico rigoroso, alcuni delle più importanti tecniche algoritmiche di apprendimento automatico. Ciò fornisce allo studente un ricco insieme di strumenti concettuali e metodologici atti a comprendere il fenomeno dell'apprendimento nelle macchine.
Risultati apprendimento attesi
Al termine dell'insegnamento gli studenti saranno in grado di: (1) Comprendere il concetto di overfitting e il suo ruolo nel controllo del rischio statistico; (2) descrivere alcuni dei più importanti algoritmi di apprendimento automatico e spiegare come evitano l'overfitting; (3) eseguire esperimenti di apprendimento automatico usando la corretta metodologia statistica. Questi obiettivi verranno misurati attraverso la combinazione di due elementi: la relazione del progetto e la discussione orale. Il voto finale è basato sulla valutazione del progetto incrementato dalla valutazione della discussione orale.
Programma e organizzazione didattica

Edizione unica

Periodo
Secondo semestre
In relazione alle modalità di erogazione delle attività formative per l'a.a. 2021-22, verranno date indicazioni più specifiche nei prossimi mesi, in base all'evoluzione della situazione sanitaria.
Programma
Obiettivo del corso è fornire le basi metodologiche dell'apprendimento automatico. Un'attenzione particolare è rivolta al progetto e analisi di algoritmi di apprendimento con prestazioni teoriche garantite.

Introduzione
L'algoritmo Nearest Neighbour
Predittori ad albero
Apprendimento statistico
Stima degli iperparametri e cross-validazione
Analisi del rischio di Nearest Neighbor
Analisi del rischio dei predittori ad albero
Consistenza, funzioni surrogate e algoritmi non parametrici
Predittori lineari
Discesa del gradiente sequenziale
Da rischio sequenziale a rischio statistico
Funzioni kernel
Support Vector Machines
Analisi di stabilità e controllo del rischio in SVM
Boosting e metodi ensemble
Reti neuronali e apprendimento profondo
Prerequisiti
Si richiedono nozioni di base di analisi matematica, algebra lineare e statistica.

E` fortemente consigliato il superamento dei seguenti esami: Matematica del continuo, Matematica del discreto, Statistica e analisi dei dati.
Metodi didattici
Lezioni frontali.
Materiale di riferimento
Il riferimento principale sono le dispense disponibili presso ncesa-bianchismml.ariel.ctu.unimi.it/

Libro di testo di riferimento: Shai Shalev-Shwartz e Shai Ben-David, Understanding Machine Learning: From Theory to Algorithms, Cambridge University Press, 2014.
Modalità di verifica dell’apprendimento e criteri di valutazione
L'esame consiste nella scrittura di una relazione di circa 10-15 pagine contenente la descrizione di un'attività sperimentale (progetto sperimentale) o un'analisi approfondita di un risultato teorico (progetto teorico). La relazione viene discussa in un esame orale in cui allo studente vengono chieste domande dettagliate sugli algoritmi utilizzati nel progetto oltre a domande più ad alto livello sul resto del programma. Il voto finale (in trentesimi) è ottenuto combinando la valutazione del progetto con la discussione orale. In funzione del numero di studenti che seguono l'insegnamento la discussione orale potrà essere sostituita da una prova scritta.
INF/01 - INFORMATICA - CFU: 6
Lezioni: 48 ore
Docente/i
Ricevimento:
Mercoledì 9:30-12:30
via Celoria 18, stanza 7007