Statistical methods for machine learning
A.A. 2020/2021
Obiettivi formativi
L'insegnamento descrive e analizza, in un contesto statistico rigoroso, alcuni delle più importanti tecniche algoritmiche di apprendimento automatico. Ciò fornisce allo studente un ricco insieme di strumenti concettuali e metodologici atti a comprendere il fenomeno dell'apprendimento nelle macchine.
Risultati apprendimento attesi
Al termine dell'insegnamento gli studenti saranno in grado di: (1) Comprendere il concetto di overfitting e il suo ruolo nel controllo del rischio statistico; (2) descrivere alcuni dei più importanti algoritmi di apprendimento automatico e spiegare come evitano l'overfitting; (3) eseguire esperimenti di apprendimento automatico usando la corretta metodologia statistica. Questi obiettivi verranno misurati attraverso la combinazione di due elementi: la relazione del progetto e la discussione orale. Il voto finale è basato sulla valutazione del progetto incrementato dalla valutazione della discussione orale.
Periodo: Secondo semestre
Modalità di valutazione: Esame
Giudizio di valutazione: voto verbalizzato in trentesimi
Corso singolo
Questo insegnamento non può essere seguito come corso singolo. Puoi trovare gli insegnamenti disponibili consultando il catalogo corsi singoli.
Programma e organizzazione didattica
Edizione unica
Responsabile
Periodo
Secondo semestre
Qualora la situazione sanitaria non consentisse il regolare svolgimento delle lezioni in presenza, queste si svolgeranno in modalità sincrona sulla piattaforma Zoom sulla base dell'orario del secondo semestre. Al termine di ciascuna lezione, verrà reso disponibile a tutti gli studenti un link alla sua videoregistrazione. La modalità di erogazione e le istruzioni per la fruizione delle lezioni verranno rese note agli studenti attraverso avvisi sul sito dell'insegnamento (vedi sezione Materiale di Riferimento).
Il programma e il materiale di riferimento non subiranno variazioni.
Le modalità di verifica dell'apprendimento e i criteri di valutazione non subiranno variazioni, fermo restando che l'esame si svolgerà in presenza o tramite Zoom a seconda delle direttive vigenti al tempo dell'appello.
Il programma e il materiale di riferimento non subiranno variazioni.
Le modalità di verifica dell'apprendimento e i criteri di valutazione non subiranno variazioni, fermo restando che l'esame si svolgerà in presenza o tramite Zoom a seconda delle direttive vigenti al tempo dell'appello.
Programma
L'obiettivo del corso è di fornire i fondamenti metodologici all'apprendimento automatico. L'accento è sul progetto e l'analisi di algoritmi di apprendimento con prestazioni teoriche garantite.
Introduzione
L'algoritmo Nearest Neighbour
Predittori ad albero
Apprendimento statistico
Stima degli iperparametri e cross-validazione
Analisi del rischio di Nearest Neighbor
Analisi del rischio dei predittori ad albero
Consistenza, funzioni surrogate e algoritmi non parametrici
Predittori lineari
Discesa del gradiente sequenziale
Da rischio sequenziale a rischio statistico
Funzioni kernel
Support Vector Machines
Analisi di stabilità e controllo del rischio in SVM
Boosting e metodi ensemble
Reti neuronali e apprendimento profondo
Introduzione
L'algoritmo Nearest Neighbour
Predittori ad albero
Apprendimento statistico
Stima degli iperparametri e cross-validazione
Analisi del rischio di Nearest Neighbor
Analisi del rischio dei predittori ad albero
Consistenza, funzioni surrogate e algoritmi non parametrici
Predittori lineari
Discesa del gradiente sequenziale
Da rischio sequenziale a rischio statistico
Funzioni kernel
Support Vector Machines
Analisi di stabilità e controllo del rischio in SVM
Boosting e metodi ensemble
Reti neuronali e apprendimento profondo
Prerequisiti
Si richiedono nozioni di base di analisi matematica, algebra lineare e statistica.
E` fortemente consigliato il superamento degli esami seguenti: Matematica del continuo, Matematica del discreto, Statistica e analisi dei dati.
E` fortemente consigliato il superamento degli esami seguenti: Matematica del continuo, Matematica del discreto, Statistica e analisi dei dati.
Metodi didattici
Lezioni frontali.
Materiale di riferimento
Il riferimento principale sono le dispense disponibili tramite ncesa-bianchismml.ariel.ctu.unimi.it/
Un riferimento ulteriore è il libro di testo: Shai Shalev-Shwartz e Shai Ben-David, Understanding Machine Learning: From Theory to Algorithms, Cambridge University Press, 2014.
Un riferimento ulteriore è il libro di testo: Shai Shalev-Shwartz e Shai Ben-David, Understanding Machine Learning: From Theory to Algorithms, Cambridge University Press, 2014.
Modalità di verifica dell’apprendimento e criteri di valutazione
L'esame consiste nella scrittura di una relazione di circa 10-15 pagine contenente la descrizione di un'attività sperimentale (progetto sperimentale) o un'analisi approfondita di un risultato teorico (progetto teorico). La relazione viene discussa in un esame orale in cui allo studente vengono chieste domande dettagliate sugli algoritmi utilizzati nel progetto oltre a domande più ad alto livello sul resto del programma. Il voto finale (in trentesimi) è ottenuto combinando la valutazione del progetto con la discussione orale. In funzione del numero di studenti che seguono l'insegnamento la discussione orale potrà essere sostituita da una prova scritta.
Docente/i