Controllo stocastico e ottimizzazione
A.A. 2026/2027
Obiettivi formativi
Saranno presentati i problemi, i metodi e i risultati fondamentali dell'ottimizzazione di sistemi dinamici stocastici, a tempo discreto e continuo, su orizzonte finito o infinito. I sistemi a tempo continuo saranno per lo più descritti da equazioni differenziali stocastiche. Si considereranno gli approcci basati sulla programmazione dinamica, l'equazione di Hamilton-Jacobi-Bellman(compresi casi di soluzioni con bassa regolarità), le equazioni differenziali stocastiche "backward", il principio del massimo stocastico (nel senso di Pontryagin). Verranno anche più brevemente introdotti altri problemi di ottimizzazione quali l'arresto ottimo o il controllo impulsivo. Saranno presentate applicazioni ad alcune classi di modelli fondamentali, ad esempio i problemi di investimento ottimale in Finanza Matematica o il controllo ottimo lineare quadratico.
Risultati apprendimento attesi
Gli studenti che frequentano il corso avranno familiarità con varie classi di problemi di controllo e di ottimizzazione per sistemi stocastici (a tempo discreto, a tempo continuo per modelli descritti da equazioni differenziali stocastiche, su orizzonte finito o infinito) e conosceranno i metodi fondamentali per affrontarli: la programmazione dinamica e le equazioni di Hamilton-Jacobi-Bellman, le equazioni differenziali stocastiche retrograde ("backward"), il principio del massimo stocastico. Avranno anche visto l'analisi di modelli importanti quali i problemi di investimento ottimale in Finanza Matematica e i problemi lineari quadratici.
Periodo: Primo semestre
Modalità di valutazione: Esame
Giudizio di valutazione: voto verbalizzato in trentesimi
Corso singolo
Questo insegnamento può essere seguito come corso singolo.
Programma e organizzazione didattica
Edizione unica
Responsabile
Periodo
Primo semestre
Programma
1) Controllo ottimo stocastico a tempo discreto e reinforcement learning.
Processi decisionali di Markov: orizzonte finito, orizzonte stocastico, orizzonte infinito. Funzioni valore e relative equazioni di Bellman. Funzioni valore stato-azione. Policy evaluation, policy improvement, policy iteration, value iteration. Introduzione agli algoritmi di tipo model-free. Metodi Monte Carlo e temporal-difference.
2) Controllo ottimo stocastico a tempo continuo.
Equazioni differenziali stocastiche controllate, funzionali di costo o guadagno su orizzonte finito o infinito. Funzione valore e principio della programmazione dinamica. Equazione di Hamilton-Jacobi-Bellman (HJB) di tipo ellittico o parabolico. Soluzioni regolari dell'equazione HJB e teoremi di verifica. Introduzione alle soluzioni dell'equazione HJB nel senso della viscosità.
3) Equazioni differenziali stocastiche retrograde ("backward").
Formulazione e risultati di esistenza e unicità. Rappresentazione probabilistica per soluzioni di equazioni a derivate parziali semilineari e per la funzione valore di un problema di controllo stocastico. Principio del massimo stocastico nel senso di Pontryagin.
4) Cenni ad altri problemi e metodi.
Processi decisionali di Markov: orizzonte finito, orizzonte stocastico, orizzonte infinito. Funzioni valore e relative equazioni di Bellman. Funzioni valore stato-azione. Policy evaluation, policy improvement, policy iteration, value iteration. Introduzione agli algoritmi di tipo model-free. Metodi Monte Carlo e temporal-difference.
2) Controllo ottimo stocastico a tempo continuo.
Equazioni differenziali stocastiche controllate, funzionali di costo o guadagno su orizzonte finito o infinito. Funzione valore e principio della programmazione dinamica. Equazione di Hamilton-Jacobi-Bellman (HJB) di tipo ellittico o parabolico. Soluzioni regolari dell'equazione HJB e teoremi di verifica. Introduzione alle soluzioni dell'equazione HJB nel senso della viscosità.
3) Equazioni differenziali stocastiche retrograde ("backward").
Formulazione e risultati di esistenza e unicità. Rappresentazione probabilistica per soluzioni di equazioni a derivate parziali semilineari e per la funzione valore di un problema di controllo stocastico. Principio del massimo stocastico nel senso di Pontryagin.
4) Cenni ad altri problemi e metodi.
Prerequisiti
Il corso presuppone la conoscenza dei contenuti di un corso avanzato di probabilità. Costituiscono prerequisito del corso anche alcune nozioni sui processi stocastici, l'integrazione stocastica rispetto al moto browniano, il calcolo stocastico collegato e le equazioni differenziali stocastiche guidate dal moto browniano.
Metodi didattici
Lezioni frontali. La frequenza non è obbligatoria, ma molto consigliata.
Materiale di riferimento
Testi consigliati:
H. Pham. Continuous-time Stochastic Control and Optimization with Financial Applications. Springer, 2009.
R. S. Sutton, A. G. Barto. Reinforcement Learning: An Introduction. MIT Press, 2018, 2nd ed.
Altro materiale didattico sarà costituito da dispense del docente, disponibili liberamente sul sito web del corso.
H. Pham. Continuous-time Stochastic Control and Optimization with Financial Applications. Springer, 2009.
R. S. Sutton, A. G. Barto. Reinforcement Learning: An Introduction. MIT Press, 2018, 2nd ed.
Altro materiale didattico sarà costituito da dispense del docente, disponibili liberamente sul sito web del corso.
Modalità di verifica dell’apprendimento e criteri di valutazione
L'esame consiste di una prova orale. Durante tale prova verrà richiesto di illustrare alcuni argomenti del programma dell'insegnamento al fine di valutare le conoscenze e la comprensione degli argomenti trattati, nonché la capacità di saperli applicare.
MATH-03/B - Probabilita' e statistica matematica - CFU: 6
Esercitazioni: 12 ore
Lezioni: 35 ore
Lezioni: 35 ore
Docente:
Cosso Andrea
Docente/i
Ricevimento:
Su appuntamento per email
Dipartimento di Matematica, via Saldini 50, oppure tramite Microsoft Teams