Sistemi multimediali e interaction design
A.A. 2025/2026
Obiettivi formativi
L'insegnamento si propone di fornire agli studenti una conoscenza
avanzata dei sistemi multimediali interattivi, con particolare
attenzione alla modellazione, gestione, ricerca e fruizione di contenuti
multimediali in contesti complessi e data-driven.
Al termine del corso, lo studente sarà in grado di:
- comprendere e progettare sistemi multimediali interattivi basati su
modelli dati avanzati;
- applicare tecniche di Information Retrieval e Multimedia Retrieval,
incluse rappresentazioni vettoriali ed embedding semantici;
- integrare tecnologie di Intelligenza Artificiale generativa (Large
Language Models, Retrieval-Augmented Generation, agenti conversazionali)
in modo controllato e affidabile;
- valutare l'esperienza utente (UX) e l'accettazione tecnologica di
sistemi multimediali e AI-driven;
- analizzare i vincoli architetturali e real-time (QoS e QoE) che
influenzano la qualità dell'interazione.
Il corso fornisce una preparazione teorica e metodologica adeguata per
l'accesso a contesti di ricerca avanzata e sviluppo industriale
nell'ambito dei sistemi multimediali e dell'AI interattiva.
avanzata dei sistemi multimediali interattivi, con particolare
attenzione alla modellazione, gestione, ricerca e fruizione di contenuti
multimediali in contesti complessi e data-driven.
Al termine del corso, lo studente sarà in grado di:
- comprendere e progettare sistemi multimediali interattivi basati su
modelli dati avanzati;
- applicare tecniche di Information Retrieval e Multimedia Retrieval,
incluse rappresentazioni vettoriali ed embedding semantici;
- integrare tecnologie di Intelligenza Artificiale generativa (Large
Language Models, Retrieval-Augmented Generation, agenti conversazionali)
in modo controllato e affidabile;
- valutare l'esperienza utente (UX) e l'accettazione tecnologica di
sistemi multimediali e AI-driven;
- analizzare i vincoli architetturali e real-time (QoS e QoE) che
influenzano la qualità dell'interazione.
Il corso fornisce una preparazione teorica e metodologica adeguata per
l'accesso a contesti di ricerca avanzata e sviluppo industriale
nell'ambito dei sistemi multimediali e dell'AI interattiva.
Risultati apprendimento attesi
Conoscenza e capacità di comprensione.
Lo studente acquisirà conoscenze approfondite relative a:
- modelli di dati per contenuti multimediali;
- architetture di multimedia retrieval e multimodal retrieval;
- tecniche di text, image, audio e video retrieval;
- sistemi di AI generativa applicati all'interazione;
- metodologie di valutazione dell'esperienza utente.
Capacità di applicare conoscenza e comprensione.
Lo studente sarà in grado di:
- progettare sistemi di ricerca e fruizione di contenuti multimediali;
- utilizzare rappresentazioni semantiche ed embedding per il retrieval;
- sviluppare pipeline RAG e sistemi conversazionali AI-based;
- valutare criticamente soluzioni tecnologiche alternative.
Autonomia di giudizio.
Lo studente svilupperà capacità di:
- analisi critica delle architetture multimediali e AI-driven;
- valutazione dei trade-off tra qualità tecnica e qualità percepita;
- giudizio sull'affidabilità, usabilità e accettabilità dei sistemi
progettati.
Abilità comunicative.
Lo studente sarà in grado di:
- descrivere in modo chiaro e rigoroso architetture e soluzioni progettuali;
- discutere scelte tecnologiche con linguaggio tecnico appropriato;
- presentare risultati progettuali e sperimentali.
Capacità di apprendimento.
Lo studente acquisirà gli strumenti concettuali per:
- aggiornarsi autonomamente su tecnologie emergenti nel settore;
- approfondire temi di ricerca in multimedia, IR e AI interattiva.
Lo studente acquisirà conoscenze approfondite relative a:
- modelli di dati per contenuti multimediali;
- architetture di multimedia retrieval e multimodal retrieval;
- tecniche di text, image, audio e video retrieval;
- sistemi di AI generativa applicati all'interazione;
- metodologie di valutazione dell'esperienza utente.
Capacità di applicare conoscenza e comprensione.
Lo studente sarà in grado di:
- progettare sistemi di ricerca e fruizione di contenuti multimediali;
- utilizzare rappresentazioni semantiche ed embedding per il retrieval;
- sviluppare pipeline RAG e sistemi conversazionali AI-based;
- valutare criticamente soluzioni tecnologiche alternative.
Autonomia di giudizio.
Lo studente svilupperà capacità di:
- analisi critica delle architetture multimediali e AI-driven;
- valutazione dei trade-off tra qualità tecnica e qualità percepita;
- giudizio sull'affidabilità, usabilità e accettabilità dei sistemi
progettati.
Abilità comunicative.
Lo studente sarà in grado di:
- descrivere in modo chiaro e rigoroso architetture e soluzioni progettuali;
- discutere scelte tecnologiche con linguaggio tecnico appropriato;
- presentare risultati progettuali e sperimentali.
Capacità di apprendimento.
Lo studente acquisirà gli strumenti concettuali per:
- aggiornarsi autonomamente su tecnologie emergenti nel settore;
- approfondire temi di ricerca in multimedia, IR e AI interattiva.
Periodo: Secondo quadrimestre
Modalità di valutazione: Esame
Giudizio di valutazione: voto verbalizzato in trentesimi
Corso singolo
Questo insegnamento può essere seguito come corso singolo.
Programma e organizzazione didattica
Edizione unica
Responsabile
Periodo
Secondo quadrimestre
Programma
Introduzione generale
- Multimedia e comunicazione digitale: definizioni, ambiti applicativi, tendenze
- Recap di fondamenti dell'Interaction Design: principi, processi, modelli mentali, affordance e mapping
Progettazione di sistemi interattivi per contenuti multimediali
- Modellazione dei dati multimediali
- Sistemi di gestione di basi di dati orientati agli oggetti (ORDBMS)
- Estensioni multimediali in Oracle (es. Oracle Multimedia)
Gestione di testi digitali
- Modelli di Information Retrieval: booleano, vettoriale, probabilistico
- IR testuale vs database relazionali
- Oracle Text e sistemi IR come Solr
Gestione di immagini digitali
- Percezione visiva e modelli di colore (RGB, CMYK, HSV)
- Formati e standard per immagini digitali: GIF, PNG, TIFF, JPEG
- Image Retrieval: da contenuti a rappresentazioni semantiche
- Tecniche di IR su immagini: Query by Sample Example (QBSE), MediaPipe Image Embedders, OpenAI CLIP
Gestione di contenuti audio
- Campionamento, quantizzazione, rapporto segnale/rumore
- Standard e compressione: WAV, AIFF, MP3, AAC
- Psicoacustica: critical bands, mascheramento spaziale e temporale
Gestione di contenuti video
- Modelli di colore per il video, compressione (predictive coding, motion vectors)
- Standard video: MPEG, H.264
- Gestione integrata audio-video e IR in Oracle Multimedia
Sistemi informativi multimediali e metadati
- Standard per la descrizione di contenuti: MPEG-7
- Linguaggi per metadati, ontologie e semantic enrichment
Sistemi interattivi e AI generativa
- Progettazione di sistemi di Question Answering
- Progettazione con AI generative
- Retrieval-Augmented Generation (RAG): architettura e applicazioni
- Prompt engineering per l'ottimizzazione dell'esperienza generativa
Conversational Experience Design
- Modelli di conversazione e progettazione di flussi dialogici
- Costruzione di agenti conversazionali con DialogFlow e chatbot basati su LLM
- Criteri di coerenza, contesto, personalizzazione e engagement
Architetture e interazione in ambienti real-time
- Sistemi operativi e problematiche per media interattivi in tempo reale
- Sincronizzazione e gestione temporale di dati multimediali
- Qualità del servizio: parametri tecnici e qualità percepita
- Scheduling e protocolli di rete per multimedia real-time (es. RTP, RTCP)
Metodologie di valutazione dell'esperienza utente
- Usabilità, accessibilità e UX nei sistemi multimediali
- Tecniche di valutazione empirica e analitica: Misure quantitative: SUS (System Usability Scale), UTAUT, CTS, NASA-TLX e Feedback qualitativi
- Valutazione dell'integrazione di AI generativa nei progetti multimediali
Analisi del potenziale di adozione e accettazione tecnologica
- Attività progettuali e laboratoriali
- Esercitazioni con strumenti e tecnologie avanzate (es. Oracle Text, DialogFlow, MediaPipe, strumenti LLM-based)
- Analisi di casi studio reali
- Multimedia e comunicazione digitale: definizioni, ambiti applicativi, tendenze
- Recap di fondamenti dell'Interaction Design: principi, processi, modelli mentali, affordance e mapping
Progettazione di sistemi interattivi per contenuti multimediali
- Modellazione dei dati multimediali
- Sistemi di gestione di basi di dati orientati agli oggetti (ORDBMS)
- Estensioni multimediali in Oracle (es. Oracle Multimedia)
Gestione di testi digitali
- Modelli di Information Retrieval: booleano, vettoriale, probabilistico
- IR testuale vs database relazionali
- Oracle Text e sistemi IR come Solr
Gestione di immagini digitali
- Percezione visiva e modelli di colore (RGB, CMYK, HSV)
- Formati e standard per immagini digitali: GIF, PNG, TIFF, JPEG
- Image Retrieval: da contenuti a rappresentazioni semantiche
- Tecniche di IR su immagini: Query by Sample Example (QBSE), MediaPipe Image Embedders, OpenAI CLIP
Gestione di contenuti audio
- Campionamento, quantizzazione, rapporto segnale/rumore
- Standard e compressione: WAV, AIFF, MP3, AAC
- Psicoacustica: critical bands, mascheramento spaziale e temporale
Gestione di contenuti video
- Modelli di colore per il video, compressione (predictive coding, motion vectors)
- Standard video: MPEG, H.264
- Gestione integrata audio-video e IR in Oracle Multimedia
Sistemi informativi multimediali e metadati
- Standard per la descrizione di contenuti: MPEG-7
- Linguaggi per metadati, ontologie e semantic enrichment
Sistemi interattivi e AI generativa
- Progettazione di sistemi di Question Answering
- Progettazione con AI generative
- Retrieval-Augmented Generation (RAG): architettura e applicazioni
- Prompt engineering per l'ottimizzazione dell'esperienza generativa
Conversational Experience Design
- Modelli di conversazione e progettazione di flussi dialogici
- Costruzione di agenti conversazionali con DialogFlow e chatbot basati su LLM
- Criteri di coerenza, contesto, personalizzazione e engagement
Architetture e interazione in ambienti real-time
- Sistemi operativi e problematiche per media interattivi in tempo reale
- Sincronizzazione e gestione temporale di dati multimediali
- Qualità del servizio: parametri tecnici e qualità percepita
- Scheduling e protocolli di rete per multimedia real-time (es. RTP, RTCP)
Metodologie di valutazione dell'esperienza utente
- Usabilità, accessibilità e UX nei sistemi multimediali
- Tecniche di valutazione empirica e analitica: Misure quantitative: SUS (System Usability Scale), UTAUT, CTS, NASA-TLX e Feedback qualitativi
- Valutazione dell'integrazione di AI generativa nei progetti multimediali
Analisi del potenziale di adozione e accettazione tecnologica
- Attività progettuali e laboratoriali
- Esercitazioni con strumenti e tecnologie avanzate (es. Oracle Text, DialogFlow, MediaPipe, strumenti LLM-based)
- Analisi di casi studio reali
Prerequisiti
È consigliabile ma non obbligatorio possedere conoscenze di base su insegnamenti quali database e Interazione Uomo-Macchina.
Metodi didattici
Lezioni frontali con discussioni e presentazioni di casi di studio
Materiale di riferimento
Lucidi dell'insegnamento in MyARIEL
Nelle diapositive sono indicati libri, articoli e siti web per studio ed approfondimenti.
Letture consigliate:
- Z. Li, M. Drew. Fundamentals of Multimedia, Pearson Educational, 2004
- Multimedia Applications. In B. Fuhrt (ed), Handbook of Internet Computing, CRC Press, 2000
Nelle diapositive sono indicati libri, articoli e siti web per studio ed approfondimenti.
Letture consigliate:
- Z. Li, M. Drew. Fundamentals of Multimedia, Pearson Educational, 2004
- Multimedia Applications. In B. Fuhrt (ed), Handbook of Internet Computing, CRC Press, 2000
Modalità di verifica dell’apprendimento e criteri di valutazione
Le modalità di verifica si suddividono in fasi diverse così articolate:
1. Prova scritta (voto massimo 30/30)
2. Prova orale, approfondimento o progetto (opzionale) che poterà a un incremento o decremento del voto dello scritto di + o - 3 punti
I criteri di valutazione della prova scritta riguardano:
- Grado di conoscenza della materia
- Aderenza della risposta alla traccia
- Capacità di fare collegamenti
- Pertinenza dei contenuti in relazione alla richiesta
I criteri di valutazione della prova orale/approfondimento/progetto riguardano:
- focalizzazione della tematica
- rigore logico e utilizzo di linguaggio tecnico
- correttezza e chiarezza di esposizione
- consapevolezza critica, capacità di interpretazione personale, ricchezza e pertinenza espositiva
1. Prova scritta (voto massimo 30/30)
2. Prova orale, approfondimento o progetto (opzionale) che poterà a un incremento o decremento del voto dello scritto di + o - 3 punti
I criteri di valutazione della prova scritta riguardano:
- Grado di conoscenza della materia
- Aderenza della risposta alla traccia
- Capacità di fare collegamenti
- Pertinenza dei contenuti in relazione alla richiesta
I criteri di valutazione della prova orale/approfondimento/progetto riguardano:
- focalizzazione della tematica
- rigore logico e utilizzo di linguaggio tecnico
- correttezza e chiarezza di esposizione
- consapevolezza critica, capacità di interpretazione personale, ricchezza e pertinenza espositiva
Siti didattici
Docente/i