L’AI del Service Desk entra in coaching: dalla fiducia alla prova continua

Il nuovo segnale: l’agente AI diventa oggetto di quality management

La prima fase dell’AI nel supporto è stata dominata dalla capacità: classificare, riassumere, cercare conoscenza, suggerire una risposta ed eseguire azioni. La fase che sta emergendo riguarda invece la prova. Se un agente AI prende in carico incident, propone risoluzioni e aggiorna record operativi, l’organizzazione deve sapere non soltanto se ha lavorato, ma se ha lavorato bene, per quali casi e con quale stabilità.

Le release note ServiceNow del 9 luglio 2026 introducono un segnale concreto: AI Quality Assessment per l’L1 AI Specialist, descritto come valutazione automatica delle risoluzioni degli incident all’interno dell’applicazione di coaching. L’obiettivo dichiarato è misurare la qualità su volumi enterprise e intercettare regressioni senza dipendere soltanto da campioni manuali. Nella stessa release compaiono analytics sulle ragioni di riassegnazione, note di lavoro più ricche con collegamenti alle fonti e una vista consolidata del feedback.

Microsoft indica una direzione analoga nel piano Dynamics 365 Customer Service 2026 release wave 1, previsto tra aprile e settembre 2026. I quattro agenti già resi generalmente disponibili nell’ottobre 2025 — tra cui Quality Evaluation Agent e Customer Knowledge Management Agent — ricevono telemetria più ricca e strumenti più evoluti per i supervisori. Sono fatti di prodotto, non prove di efficacia universale; insieme mostrano però che la qualità dell’AI sta entrando nel processo operativo, non restando un test pre-go-live.

Perché il campionamento manuale non basta più

Il quality monitoring tradizionale del Service Desk seleziona una quota di ticket o conversazioni e li valuta con una scorecard. Il metodo resta utile perché consente giudizio contestuale e coaching umano, ma diventa insufficiente quando l’automazione moltiplica le interazioni, cambia rapidamente e opera su combinazioni di dati, knowledge article e strumenti difficili da riprodurre.

Un campione può non vedere un errore raro ma ad alto impatto, una degradazione concentrata su una lingua, un servizio o una tipologia di utente, oppure un cambiamento introdotto da una nuova knowledge base o da un nuovo modello. La valutazione continua amplia la copertura e riduce il tempo tra regressione e rilevazione. Non elimina il controllo umano: lo indirizza verso eccezioni, casi ad alto rischio e disaccordi tra valutatori.

La mia interpretazione è che il QA debba diventare un sistema a due livelli. Il primo esegue controlli automatici su ogni interazione o su una quota molto ampia; il secondo usa revisioni umane indipendenti per calibrare scorecard e valutatori automatici. Se l’AI giudica l’AI senza un riferimento esterno, l’organizzazione rischia una precisione apparente: punteggi coerenti con la rubrica, ma non necessariamente con l’outcome reale.

Una scorecard che parte dall’outcome, non dallo stile

È relativamente semplice misurare struttura della risposta, tono, presenza di una citazione o compilazione dei campi. È più difficile stabilire se l’utente abbia ripreso a lavorare, se la procedura fosse autorizzata e se il problema sia ricomparso. Eppure sono proprio queste le dimensioni che separano una buona conversazione da un buon servizio.

La scorecard dovrebbe collegare almeno cinque prospettive: correttezza tecnica; aderenza a policy e autorizzazioni; uso e qualità delle fonti; outcome verificato; esperienza del passaggio umano. Una sesta prospettiva riguarda il comportamento nel tempo: ricorrenze, variazioni per segmento, errori dopo aggiornamenti e aumento delle escalation. Il punteggio complessivo serve meno dei pattern che spiegano dove la qualità si rompe.

Anche le metriche economiche devono essere complete. Il costo per risoluzione automatica va letto insieme al costo degli errori, delle revisioni, dei rollback, della manutenzione delle scorecard e della conoscenza. Un’automazione che riduce il tempo medio ma aumenta i contatti ripetuti trasferisce il costo, non lo elimina.

• Evidenza: la risposta usa fonti pertinenti, aggiornate e tracciabili.
• Outcome: il servizio verifica che il lavoro possa effettivamente riprendere.
• Sicurezza: azioni, dati e privilegi rispettano policy e contesto.
• Handoff: l’operatore riceve storia, tentativi e motivazione dell’escalation.
• Drift: la qualità viene confrontata nel tempo e per segmento.

Il rischio nascosto del feedback che alimenta la memoria

Le stesse release note ServiceNow descrivono per Zero Touch Service Desk una memory bank che permette agli AI Specialist di fare riferimento a risoluzioni passate associate a outcome positivi. La funzione è indicata come disabilitata di default e attivabile dagli amministratori; viene inoltre consolidata la visibilità del feedback per manager e amministratori.

Il concetto è promettente: trasformare il lavoro riuscito in contesto riutilizzabile. Ma un feedback positivo non equivale automaticamente a una procedura valida. Una soluzione può essere stata efficace per un’eccezione, aver aggirato un controllo o aver funzionato prima di un cambio tecnologico. Prima che un’esperienza entri nella memoria operativa servono provenienza, data, ambito, proprietario, criterio di scadenza e possibilità di revoca.

Qui quality management e knowledge management convergono. Le risoluzioni ad alto punteggio possono generare candidati per la conoscenza, non verità immediate. Il passaggio editoriale deve separare segnale, validazione e pubblicazione. La velocità dell’apprendimento conta; la capacità di dimenticare in modo controllato conta altrettanto.

Governance: chi controlla il valutatore

Il NIST Generative AI Profile, pubblicato il 26 luglio 2024 e aggiornato nella pagina ufficiale l’8 aprile 2026, è un profilo volontario del framework AI RMF pensato per integrare considerazioni di affidabilità nella progettazione, nello sviluppo, nell’uso e nella valutazione dei sistemi generativi. Applicato al Service Desk, il messaggio è pratico: la valutazione non è una dashboard finale, ma una capacità lungo l’intero ciclo di vita.

Serve quindi un proprietario della scorecard, distinto dal proprietario del prodotto quando possibile; versionamento dei criteri; dataset di riferimento protetti; soglie diverse per rischio e autonomia; registrazione dei cambiamenti a modello, prompt, strumenti e fonti. Va misurato anche il valutatore: accordo con revisori umani, falsi positivi, falsi negativi e variazioni tra gruppi o lingue.

Le responsabilità devono essere esplicite. Il service owner decide quali outcome contano; operations gestisce failure mode ed escalation; security e privacy definiscono limiti; knowledge owner governa le fonti; supplier manager assicura accesso a log, metriche e portabilità dei dati. Il vendor può fornire il motore di valutazione, ma non può decidere da solo cosa significhi qualità per l’organizzazione.

Una roadmap per passare dalla demo alla prova

Il punto di partenza è un caso d’uso delimitato e una baseline precedente all’automazione. Si definiscono outcome, errori inaccettabili e criteri di handoff; si costruisce una scorecard con pochi indicatori osservabili; si esegue una valutazione parallela tra revisori umani e sistema automatico. Solo dopo aver misurato l’accordo si usa il punteggio per guidare coaching, routing o livelli di autonomia.

La review operativa dovrebbe mostrare distribuzioni e segmenti, non soltanto medie: quali categorie generano errori, dove cresce il drift, quali fonti sono più citate, quali escalation proteggono davvero il servizio. Ogni regressione deve poter essere collegata a un cambiamento e produrre un’azione: rollback, aggiornamento della conoscenza, nuova regola o riduzione temporanea dell’autonomia.

La direzione delle release 2026 è chiara: gli agenti AI non saranno valutati soltanto per presenza o volume gestito. Entrano nel perimetro del coaching e del continual improvement. È un passaggio sano, a condizione che la misura non diventi autocelebrazione tecnologica. La fiducia non nasce da un punteggio alto: nasce dalla possibilità di spiegare come è stato ottenuto, dove fallisce e chi interviene quando cambia.