In che misura i più diffusi assistenti vocali comprendono e rispondono a domande complesse?

La chiave per garantire una user experience soddisfacente per le tecnologie vocali è l’accuratezza della comprensione del linguaggio parlato naturale, ottenuta attraverso test e formazione.
Nell’intento di approfondire le modalità di test sulle capacità di riposta delle tecnologie vocali, Bespoken, una società americana specializzata nel testing e nel training delle AI, ha provato a testare le capacità di NLU (Natural Language Understanding) dei tre assistenti vocali più diffusi sul mercato.
Per stabilire il benchmark, sono state prese una serie di quasi 1.000 domande da un set di dati e sono state sottoposte ad Amazon Alexa, Apple Siri e Google Assistant. I risultati sono stati buoni, ma non eccellenti: le domande non erano complesse e gli assistenti le hanno gestite spesso con accuratezza, ma le percentuali di risposte corrette mostrano che ancora molto deve essere fatto.
Il migliore è stato Google Assistant che ha avuto una percentuale di risposte corrette del 73,19%, segue Alexa con il 55,38% di risposte esatte e in ultima posizione si trova Siri con il 43,17% di risposte esatte.
Come si vede, anche per i colossi delle tecnologie l’interazione voce-macchina è ancora lontano dalla perfezione e il processo comunque richiederà una costante messa a punto e aggiornamento a seconda degli ambiti e delle applicazioni.
La formazione e la messa a punto è il processo indispensabile per ridurre gli errori: significa rivedere e ritestare il modello fino a raggiungere un livello ottimale.
Questo è un processo continuo, che è essenziale per la creazione di user experience valide: in genere vediamo riduzioni significative degli errori utilizzando tecniche di monitoraggio e controlli incrociati svolti costantemente nel tempo.