Teoria dell'informazione e della trasmissione

A.A. 2014/2015
Insegnamento per
6
Crediti massimi
48
Ore totali
Lingua
Italiano
Obiettivi formativi
L'obiettivo del corso è fornire un'introduzione alla teoria dell'informazione secondo Shannon e dei concetti principali relativi alla codifica di sorgente e di canale. Il corso includerà anche alcuni cenni alla codifica universale di sorgente e alla teoria dell'informazione secondo Kolmogorov.

Struttura insegnamento e programma

Linea Milano
Edizione attiva
Programma
Introduzione al corso e nozioni matematiche di base. Entropia, entropia relativa e informazione mutua. La data processing inequality. La disuguaglianza di Fano. Codifica sorgente. Esempi di codice. Disuguaglianza di Kraft. Codici ottimi. La disuguaglianza di McMillan. Codici di Huffman e loro ottimalità. Codici di Shannon-Fano. Primo teorema di Shannon. Codifica di canale. La capacità di canale. Esempi di canale. Canali simmetrici. Secondo teorema di Shannon. Discussione. Cenni alla codifica universale di sorgente. Cenni alla complessità di Kolmogorov. Applicazioni della teoria dell'informazione alla gestione di portafogli finanziari ed ai problemi di predizione sequenziale.
Propedeuticità
Statistica e analisi dei dati.
Prerequisiti e modalità di esame
Metodi di accertamento: L'esame consiste di una prova scritta e di una prova orale, entrambe obbligatorie. La prova scritta punta ad accertare la capacità dello studente di applicare le conoscenze apprese durante il corso per risolvere esercizi. La prova orale verifica la conoscenza dello studente sugli aspetti teorici (concetti, definizioni, enunciati, dimostrazioni) della materia.
Metodi didattici
Modalità di esame: Scritto e orale; Modalità di frequenza: Fortemente consigliata; Modalità di erogazione: Tradizionale.
Materiale didattico e bibliografia
Thomas Cover e Joy Thomas, "Elements of Information Theory (2nd edition)". Wiley, 2006.
Dispense del docente.
Periodo
Secondo semestre
Periodo
Secondo semestre
Modalità di valutazione
Esame
Giudizio di valutazione
voto verbalizzato in trentesimi
Docente/i
Ricevimento:
Mercoledì 9:30-12:30
via Celoria 18, stanza 7007