ASSISTIVE MAGIC
GENERE
Accessibilità, realtà aumentata, companion app
ENGINE
Unity — EasyAR, Vosk, Wit.ai
RUOLO
Ricerca, UX/interaction design, sviluppo (tracking AR, pipeline vocale, integrazione dati)
Dimensione team
1 (progetto di tesi individuale, supervisione accademica)
Stato del gioco
Prototipo validato — testato con 20 utenti
Obiettivi
-
Ridurre la manipolazione fisica delle carte durante il turno di gioco, senza rimuovere le carte, il tavolo e l'avversario dall'esperienza.
-
Offrire un'interazione realmente multimodale — tocco e voce ridondanti tra loro — che resti fruibile anche quando uno dei due canali si degrada.
-
Preservare intatte l'autenticità, il controllo del giocatore e la componente sociale del gioco fisico tradizionale.
Assistive Magic è un'applicazione mobile di realtà aumentata pensata per giocatori di Magic: The Gathering con impedimenti motori agli arti superiori, sviluppata come progetto di tesi magistrale in Informatica.
La meccanica distintiva dell'app combina riconoscimento AR delle carte fisiche e comandi vocali per permettere al giocatore di pescare, muovere le carte tra le zone di gioco e consultarne il testo senza doverle sollevare o maneggiare ripetutamente — mantenendo le carte, il tavolo e l'avversario fisicamente presenti, invece di sostituirli con uno schermo.
APP
Il mio contributo
Essendo un progetto di tesi individuale, ricerca, design e implementazione sono interamente miei. Di seguito le aree su cui mi sono concentrato più direttamente.
-
Pipeline vocale a due stadi (Vosk + Wit.ai)
-
Risultato: comandi vocali affidabili anche in attivazione offline, con un vocabolario di comando che può crescere senza dover riaddestrare un modello locale.
-
Problema: riconoscere il parlato e interpretarlo come comando di gioco strutturato, restando utilizzabile anche con connessione instabile e senza latenza percepibile in fase di attivazione.
-
Soluzione: trascrizione locale on-device con Vosk (nessun round-trip di rete per la wake word), interpretazione semantica via Wit.ai su richiesta REST, con recupero controllato degli errori di rete e sequenziamento basato su coroutine per eliminare le race condition tra i due stadi.
-
-
Interazione multimodale ridondante (tocco + voce)
-
Risultato: ogni funzione di gioco resta accessibile anche quando uno dei due canali si degrada — confermato poi nei test con utenti reali.
-
Problema: garantire che un giocatore con mobilità ridotta agli arti superiori potesse sempre completare un'azione, anche quando il riconoscimento vocale falliva o un tocco preciso non era praticabile.
-
Soluzione: architettura a doppio canale in cui tocco e voce convergono sullo stesso stato di gioco senza dipendenza reciproca — ogni funzione accessibile da bottone ha un comando vocale equivalente, e viceversa.
-
-
Tracciamento AR delle carte e gestione delle zone
-
Risultato: pescare, muovere e consultare le carte senza sollevarle dal tavolo, con lo stato di gioco (mano, campo di battaglia, cimitero) sincronizzato automaticamente.
-
Problema: riconoscere le carte fisiche in modo affidabile con luce, angolazione e occlusione variabili — tipiche di un tavolo da gioco reale — senza sostituire l'esperienza fisica con una puramente digitale.
-
Soluzione: tracking per immagine (EasyAR) su un mazzo precaricato con marker QR sul retro delle carte, che alimenta una query verso l'API di Scryfall per testo, keyword e metadati — mantenendo la carta fisica come "ancora" tangibile dell'interazione.
-
VALIDAZIONE: Test con utenti
Obiettivo del test: verificare se l'interazione multimodale riduce davvero la manipolazione fisica delle carte, resta efficace quando un canale si degrada, e preserva l'autenticità e la componente sociale del gioco fisico — senza sacrificare l'esperienza di gioco.
Framework e riferimenti: questionario unico somministrato a fine sessione, costruito su strumenti validati — System Usability Scale, Raw NASA-TLX, Game Experience Questionnaire adattato — più item originali mappati su 4 research question, con il design degli item multimodali informato dal Customizable Interactions Questionnaire.
Risultati principali:
-
20 partecipanti: 8 con impedimento motorio agli arti superiori e 12 di controllo.
-
System Usability Scale: 84.0 per il gruppo di controllo, 75.0 per il gruppo con impedimento — entrambi in fascia "buona usabilità".
-
Il carico di lavoro percepito (NASA-TLX) resta basso per entrambi i gruppi.
-
Il gradimento del gioco (Positive Affect, GEQ) è pressoché identico tra i due gruppi (4.62 vs 4.50) — l'app riduce la manipolazione fisica senza intaccare il divertimento.