Auditorii din Ontario, Canada, constată că sistemele de IA folosite de medici pentru luarea notițelor greșesc frecvent informații elementare și „halucinează” probleme medicale

[COSMIN]

Instrumentele de luare a notițelor bazate pe inteligență artificială, destinate utilizării de către medicii din Ontario, au furnizat informații incorecte și incomplete sau au demonstrat „halucinații” și nu au fost evaluate în mod adecvat, afirmă auditorul general al provinciei într-un nou raport.

Auditorul general al provinciei Ontario, Shelley Spence, a făcut această constatare în cadrul unei anchete ample privind utilizarea inteligenței artificiale în serviciul public provincial.

În timpul unui proces de achiziții publice la nivel provincial pentru sisteme medicale bazate pe IA, care transcriu conversațiile dintre medici și pacienți, evaluatorii guvernamentali au descoperit erori grave în transcrierile generate de 20 de programe, a spus auditorul general, potrivit The Register.

Constatările provin de la Biroul Auditorului General din Ontario, Canada, și sunt incluse într-un raport mai amplu privind starea utilizării IA de către serviciile publice din provincie. Acestea se referă în mod specific la programul AI Scribe, inițiat de Ministerul Sănătății din Ontario pentru medici, asistenți medicali și alți profesioniști din domeniul sănătății din întregul sector.

Sistemele de IA ale medicilor „halucinează” probleme medicale inexistente în timpul consultațiilor cu pacienții

Ca parte a procesului de achiziție, oficialii au efectuat evaluări în care au folosit înregistrări simulate între medic și pacient. Profesioniștii din domeniul medical au analizat apoi înregistrările originale alături de notele generate de IA pentru a evalua acuratețea acestora.

Ceea ce au descoperit a fost, sincer, șocant pentru oricine este preocupat de acuratețea IA în situații critice.

Nouă din cele 20 de sisteme de IA ar fi „fabricat informații și făcut sugestii privind planurile de tratament ale pacienților” care nu fuseseră discutate în înregistrări. Conform raportului, evaluatorii au identificat informații incorecte, potențial devastatoare, în rapoartele eșantion, cum ar fi identificarea unor probleme medicale sau etichetarea pacienților drept anxioși, chiar dacă aceste aspecte nu au fost discutate niciodată în înregistrări.

Transcrierile create de 12 dintre cele 20 de programe conțineau informații incorecte, cum ar fi menționarea unui medicament diferit de cel prescris de medic.

Șaptesprezece dintre sisteme „au omis detalii cheie despre problemele de sănătate mintală ale pacienților” care au fost discutate în înregistrări. Șase dintre sisteme „au omis total sau parțial problemele de sănătate mintală ale pacienților ori au omis detalii cheie”, conform raportului.

OntarioMD, un grup care oferă sprijin medicilor în adoptarea noilor tehnologii și care a fost implicat în procesul de achiziție a AI Scribe, a recomandat ca medicii să își verifice manual notele generate de IA pentru a se asigura de acuratețea acestora, dar raportul menționează că nu există o funcție obligatorie de atestare în niciunul dintre sistemele aprobate de AI Scribe.

Evaluările preliminare legate de acuratețe, securitate și confidențialitate au reprezentat doar o mică parte din scorul total

Faptul că sistemele de IA fac greșeli nu este tocmai șocant. Platformele IA orientate către consumatori au tendința de a furniza informații medicale eronate utilizatorilor, iar unele studii au constatat că modelele LLM nu au reușit să producă diagnostice adecvate în aproximativ 80% din cazurile testate. Dar instrumentele evaluate aici sunt destinate medicilor, nu consumatorilor, iar o astfel de performanță slabă necesită o explicație. O bună parte a raportului pune vina pe modul în care au fost evaluate sistemele.

Conform raportului, ponderea acordată diverselor categorii de performanță ale AI Scribe a fost dezechilibrată. În timp ce 30% din scorul de evaluare al unei platforme depindea exclusiv de prezența acesteia pe piața din Ontario, acuratețea notelor medicale a contribuit cu doar 4% la scorul total.

Controalele privind prejudecățile sistemelor au reprezentat doar 2% din scorul total de evaluare; evaluările privind amenințările, riscurile și confidențialitatea au reprezentat încă 2%; iar conformitatea SOC 2 Tip 2 a contribuit cu încă 4 puncte procentuale.

Cu alte cuvinte, criteriile legate de acuratețe, controalele privind prejudecățile și măsurile cheie de securitate și confidențialitate au reprezentat doar o mică parte din scorul total de evaluare pentru sistemele AI Scribe.

Toți acești factori au contribuit la concluzia generală a auditorului general că aceste sisteme AI Scribe „nu au fost evaluate în mod adecvat”. „Este important ca sistemele AI Scribe să fie testate pentru a oferi garanții cu privire la calitatea notelor generate și pentru a minimiza inexactitățile.” De asemenea, se recomandă ca departamentele IT care utilizează aceste sisteme să oblige medicii să „confirme verificarea notelor generate” înainte de a le introduce în dosarele pacienților.

„Ponderile inexacte ar putea duce la selectarea unor furnizori ale căror instrumente AI pot genera dosare medicale inexacte sau părtinitoare ori care nu dispun de protecție adecvată pentru a proteja informațiile sensibile privind sănătatea personală”, se menționează în raport cu privire la sistemul de punctare.

Auditorul a dezvăluit, de asemenea, că cel puțin cinci dintre cei 20 de furnizori nu au prezentat rapoarte de evaluare a riscurilor și a impactului asupra confidențialității, așa cum se cerea în cadrul procedurii de licitație, dar au fost aprobați oricum.

Serviciile de sănătate din sectorul public din Ontario nu sunt obligate să utilizeze aceste sisteme de transcriere bazate pe IA în activitatea lor și pot achiziționa servicii de transcriere de la furnizori neaprobați, dacă doresc.

Articolul Auditorii din Ontario, Canada, constată că sistemele de IA folosite de medici pentru luarea notițelor greșesc frecvent informații elementare și „halucinează” probleme medicale apare prima dată în Go4IT.

View the full article