OpenAI pubblica un benchmark clinico per valutare l'AI in salute mentale

OpenAI ha rilasciato MentalHealthBench, un benchmark aperto per valutare le prestazioni dei sistemi di intelligenza artificiale in contesti di salute mentale. Lo strumento è stato sviluppato con il contributo di oltre 80 psicologi e psichiatri abilitati distribuiti in 22 paesi e copre 19 lingue.

Il set di valutazione comprende 1.215 conversazioni sintetiche organizzate in tre categorie: stress quotidiano, disagio serio senza carattere di emergenza, e situazioni di crisi che richiedono l’attivazione di risorse reali. I punteggi migliori registrati fino a oggi sono quelli di GPT-6 Astra (57,3%) e Claude Opus 5.5 (52,4%): numeri che segnalano margini di miglioramento considerevoli.

La natura completamente aperta del benchmark è il dettaglio operativamente più rilevante: può essere eseguito su qualunque applicazione, indipendentemente dal modello sottostante, testando prompt e guardrail specifici. Questo apre la possibilità di utilizzo anche per sviluppatori di sistemi più piccoli o specializzati, non solo per i grandi lab.

Da monitorare: come verrà recepito questo standard dalla comunità clinica europea e se diventerà un riferimento nelle discussioni regolatorie sull’AI Act per i sistemi classificati ad alto rischio in ambito sanitario.