Candidato: Emiliano Daddario

Relatore: Marco Bertola ; Correlatore: Gianluca Susi

Abstract:

Nel presente lavoro, incentrato sullo sviluppo e la progettazione software di interfacce utente naturali (NUI, Natural User Interface) multimodali musicali, sarà introdotto SeeInteracting Sound Spaces (SISS), un sistema interattivo musicale motionsensitive, multiutente e multimodale per luoghi pubblici (musei, scuole, ecc.). Esso è basato su Kinect, ed è stato ideato, progettato e realizzato presso il Master in Ingegneria del Suono dell'Università di Roma "Tor Vergata", dal seguente team: dott. Marco Bertola, dott. Emiliano Daddario (programmatore e autore del presente lavoro di tesi), maestro Maurizio Massarelli, prof. Marco Re, prof. Mario Salerno, dott. Gianluca Susi. 

Il software è stato presentato al festival di arte contemporanea FAST 2011 di Terni in un'installazione interattiva di "dipinti sonori" che rispondono musicalmente all'avvicinamento del visitatore, ed è stato recensito positivamente dalla stampa locale e dal quotidiano nazionale Il Messaggero. Gli sviluppi futuri, probabili o possibili, comprendono: un'installazione interattiva di danza, musica, grafica 3D e luci per il Live Performers Meeting internazionale l'8 e 9 giugno 2012 a Roma; interfacciamento con Gesture Follower dell'IRCAM; navigazione vision-based per robot o non vedenti; pavimento interattivo; arpa laser; aiuti alla pre-diagnosi basata sull'osservazione dei movimenti introducendo nuovi "stili" di monitoraggio di questi ultimi rispetto al sistema [29] già esistente. 

In [28] la multimodalità nell'interazione uomo-computer (HCI, Human-Computer Interaction) è definita come la capacità del sistema di comunicare con un utente attraverso differenti tipi di canali di comunicazione, o modalità. Il mercato richiede che le interfacce multimodali (e non solo) siano immediate, e dirette, ovvero che consentano una manipolazione diretta (la differenza p. es. tra un touchscreen e un touchpad). In altre parole, l'HCI multimodale odierna è sempre più strettamente legata alle interfacce utente naturali (NUI). Infatti, con il termine NUI o post-WIMP, si intende uno stile di interazione avente il requisito dell'immediatezza, in contrapposizione allo stile WIMP basato su mouse e tastiera, mentre la manipolazione diretta è una caratteristica desiderabile nelle NUI, ed è presente esplicitamente in alcune definizioni, ma nessuna di queste ultime prevede esplicitamente la multimodalità, essendo le NUI un concetto distinto. Secondo vari autori, nell'HCI i contesti che traggono i maggiori vantaggi dalla multimodalità sono quelli di interazione mobile, o di uso in condizioni di stress [38]. La musica, soprattutto live, rientra spesso in uno di questi, dal punto di vista dell'esperienza di uso dell'esecutore. Peraltro, in base alla definizione esposta, si può considerare un'interazione uomo-computer multimodale persino suonare uno strumento MIDI con mani e pedali, interpretandola come una combinazione di gesti delle mani e del corpo. Inoltre, la multimodalità può apportare benefici anche allo spettatore, grazie alle possibilità di interazione sinestetica e talvolta crossmodale che essa può offrire. Gli altri potenziali vantaggi del tipo di interazione trattato, rispetto all'unimodalità, sono diversi. Uno dei principali è la maggiore accessibilità, sia per gli esecutori diversamente abili, sia contro il situation impairment di esecutori normodotati. Altri ancora sono i seguenti: la maggiore robustezza agli errori tramite la disambiguazione reciproca tra modalità; la maggiore rapidità di input e output di informazioni; conseguentemente, a maggiore facilità di correzione degli errori, soprattutto nei live; la maggiore vicinanza alla naturalezza dell'interazione uomo-uomo (che si avvale anch'essa di più sensi contemporaneamente); il maggiore coinvolgimento; l'adattabilità alle preferenze dell'utente; infine, le possibilità creative, anche per gli sviluppatori. 

Anche in ambito desktop, inoltre, già con Xtion PRO si è sviluppato un nuovo mercato di interfacce multimodali, non solo musicali. I produttori di hardware e software sembrano essere intenzionati a investire in questo mercato a lungo termine, come testimonia per esempio l'uscita, il 10 febbraio 2012, di Kinect for Windows (supportato in Windows 8 Developer Preview, Windows 7 e Windows Embedded Standard 7 ), a più di un anno dall'uscita di Kinect per Xbox 360, oppure il prototipo ufficiale di notebook con depth-aware camera integrata mostrato al CES 2012 [9], ed equipaggiato con Windows 8, che suggerisce la presenza di una più stretta sinergia tra il produttore del sistema operativo e quelli di computer.

Abstract ENG

In the following work, focused on the software developing and design of natural user interfaces (NUI), SeeInteracting Sound Spaces (SISS), an interactive system, will be introduced. SISS is a motion-sensitive, multi-user, multimodal system for public places (museum, schools, etc.). It is based on Kinect, and it was devised, designed and realized at the first level Master degree in Sound Engineering of Roma "Tor Vergata" University, by the following team: Marco Bertola, Emiliano Daddario (programmer and author of the present work), Maestro Maurizio Massarelli, professor Marco Re, professor Mario Salerno, Gianluca Susi.

The software was presented at contemporary art FAST 2011 festival in Terni, in an interactive exhibit of "sonic paintings" which react musically to visitors approaching, and was positively reviewed by local press and the Messaggero national newspaper. Likely or possible future work include: an interactive dance, music, 3D graphics and light exhibit for the international Live Performers Meeting on June 8th-9th in Rome; interoperation with IRCAM's Gesture Follower; vision-based navigation for robots or visually impaired people; interactive floor; laser harp; medical aid to pre-diagnosis based on observation of movements, by introducing new monitoring "styles" of these with respect to the already existing system [29].

In [28] multimodality in human-computer interaction (HCI) is defined as the ability of the system to communicate with a user through different types of communication channels, or modalities. Market demands easy to use and straightforward multimodal (and not only multimodal) interfaces, that is, directly manipulable ones (e.g. the difference between a touchscreen and a touchpad). In other words, today multimodal HCI is increasingly correlated to natural user interfaces (NUI). In fact the term NUI or post-WIMP means an interaction style with the requirement  of ease of use, in contrast with WIMP style based on mouse and keyboard, while direct manipulability is a desiderable feature of NUIs, and it is explicitly cited in some definitions, but none of these explicitly consider multimodality, since NUI is a distinct concept. According to various authors, in HCI the contexts that capitalize the most from multimodality are mobility, or use under stress conditions [38]. Music, especially live, often falls whithin one of those, from the perspective of user experience of the performer. Moreover, according to the aforementioned definition, even playing a MIDI instrument with hands and pedals can be considered a multimodal humancomputer interaction, by interpreting it as a combination of hand and body gestures. Furthermore, multimodality can be to spectator's benefit, thanks to the possibilities of synesthetic (and sometimes cross-modal) interaction that it can provide. There are many other possible advantages of the interaction type covered, with respect to unimodality. One of the major is the better accessibility, both to impaired performers, and situation impairment of able-bodied performers. Among others are the following: greater error robustness through reciprocal disambiguation between modalities; greater input and output information rate; consequently, easier error correction, especially in live music; greater closeness to the naturalness of human to human interaction (which uses many senses at once, too); better involvement; greater adaptability to user preferences; lastly, creative possibilities, even for developers.

In desktop computing, too, a new market of multimodal interfaces, not only musical ones, arose, already beginning with Xtion PRO. Hardware and software manufacturers seem to be interested to make long term investments in this market, as it turns out for example from the release (on February 10th, 2012) of Kinect for Windows (supported in Windows 8 Consumer Preview, Windows 7 and Windows Embedded Standard 7 ), more than a year after the release of Kinect for Xbox 360 ; or the official prototype of a netbook with an integrated depth-aware camera showcased at CES 2012 [9], and powered by Windows 8, which suggests a tighter synergy between operating system and computer manufacturers.