Cosa possono fare e quanto sono efficaci i chatbot? Ho voluto provare quello realizzato dall’azienda sanitaria trentina. Ecco i risultati.
C’è chi li odia, chi trova frustante adoperarli, altri che li ritengono inutili, chi invece ripone molte aspettative su questi strumenti per offrire risposte e servizi ai cittadini in aggiunta ai tradizionali call center che spesso non riescono a far fronte alla domanda.
In sanità i chatbot non sono ancora molto diffusi e, quelli che ci sono, sono circoscritti ad ambiti ben precisi.
L’Azienda Provinciale dei Servizi Sanitari di Trento, un’eccellenza nel campo della sanità digitale, insieme alla fondazione Bruno Kessler, hanno realizzato Covibot, un bot per rispondere a domande su vaccini, tamponi e isolamento.
Covibot è stato sviluppato prendendo i 160 quesiti più frequenti a cui risponde il numero verde dell’Azienda sanitaria di Trento che sono state forniti a un algoritmo per la fase di addestramento. Per costruire il modello della lingua italiana sono stati impiegati più di un milione di documenti. La difficoltà con i chatbot è riconoscere i tanti modi in cui una domanda può essere posta. Per questa ragione si è partiti da circa 20-30 domande per ogni quesito per poi allargare la casistica a più di 8.000.
Covibot ha debuttato ad aprile e in due mesi ha ricevuto più di 100.000 domande che hanno permesso di affinare l’algoritmo. La APSS stima che circa l’80-90% delle risposte che il chatbot ha restituito agli utenti sono state corrette ed è stato in grado di indirizzare le persone verso la soluzione al loro quesito.
A fronte di questi dati, molto positivi, ho deciso di provare Covibot sottoponendo 30 domande su tamponi, quarantena e vaccini.
La prima domanda che ho rivolto è se Covibot comprenda l’inglese, dal momento che un servizio di questo genere sarebbe molto utile per chi non parla la nostra lingua. La risposta è purtroppo negativa. Covibot parla e comprende soltanto l’italiano.
Ho poi fatto alcune domande sui tamponi a cui Covibot ha risposto correttamente ed esaurientemente, fornendo anche i link ai servizi disponibili. Alla domanda se il tampone è fastidioso non è stato in grado di fornire una risposta.
Ho poi sottoposto alcune domande su contagi e infezioni con esito positivo, ad eccezione sulla domanda su cosa fare in caso di vicinanza con una persona infetta, la cui risposta è stata poco pertinente.
Sulla quarantena ho notato alcune lacune su domande a mio avviso abbastanza comuni, come dove sia possibile trascorrere la quarantena o se si possa uscire per fare la spesa.
Molto accurate le risposte alle domande sui vaccini. Ho anche provato a porre la domanda se, da vaccinato, dovessi portare la mascherina a cui il bot non è stato in grado di rispondere.
Non ho infine ottenuto una risposta puntuale alla domanda su cosa fare se non si è ricevuto il green pass dopo la vaccinazione. La risposta ottenuta è stata un po’ generica.
In conclusione su 30 domande le risposte corrette ed esaurienti sono state 21, 7 quelle errate, 2 quelle poco precise. Si tratta di un test veloce, senza nessuna pretesa statistica, che ho eseguito per curiosità. Nel complesso posso dire che i risultati ottenuti sono eccellenti. Alla APSS di Trento e alla fondazione Bruno Kessler vanno i miei complimenti per l’ottimo lavoro svolto e per aver dimostrato che, se correttamente addestrati, questi strumenti possono davvero risultare utili e risolvere il problema delle linee intasate dei call center.
Chi volesse leggere tutto lo script del test lo può fare accedendo al documento che trovate qui di seguito.