Chatbot
ChatGPT is niet perfect, maar slaagt wel voor psychiatrie-examen
Moet je antidepressiva doorslikken als je bent opgeknapt? Welke pillen werken het beste bij volwassenen met ADHD? Psychiaters hebben de spraakmakende chatbot ChatGPT getest op medische kennis.
Ggz-behandelaren hebben veel stoornissen en bijbehorende klachten paraat, zegt Christiaan Vinkers, psychiater en hoogleraar aan het Amsterdam UMC. “Maar je zoekt toch ook regelmatig dingen op, over landelijke richtlijnen of criteria van stoornissen. Die vind je op internet of in handboeken, maar je kun het ook aan ChatGPT vragen. Dat gaat misschien sneller.”
De chatbot van het bedrijf OpenAI oogst al maanden veel lof voor zijn spitse en soepel geformuleerde antwoorden op de meest uiteenlopende vragen. Maar hoeveel weet ChatGPT van de psychiatrie, vroegen Vinkers en collega Jurjen Luykx zich af. Hoe ‘correct, compleet en genuanceerd’ zijn dan de antwoorden?
Beide psychiaters stelden een lijst op met veertig vragen, waarvan menig behandelaar het antwoord niet uit zijn mouw schudt. Voor het examen slaagt ChatGPT met gemak: een 8,5 voor correctheid, en net onder de 8 voor compleetheid en genuanceerdheid. Vinkers: “Dat is beter dan ik dacht.”
Zullen patiënten daar ook baat bij hebben? “Zeker, want we hebben ook vragen voorgelegd die patiënten stellen zoals: welke vormen van psychotherapie werken goed bij een zware depressie? Ik vermoed ook dat veel patiënten deze chatbot al gebruikt hebben.”
‘Soms zit ChatGPT er faliekant naast’
De onderzoekers beperkten zich niet tot een examen, maar hebben ChatGPT ook vergeleken met Google en studieboeken. Vijftig psychiaters in opleiding deden hieraan mee. En ja, zoeken met ChatGPT lijkt tijd te schelen, de chatbot blijkt ruim 20 procent sneller, al moet de praktijk uitwijzen of het klopt, zegt Vinkers.
Er zijn ook minpunten. “Soms zit ChatGPT er faliekant naast, maar presenteert die onzin toch heel zelfverzekerd. Zo is er een vraag: wat zijn de meest schadelijke geneesmiddelen voor vrouwen met een bipolaire stoornis, die zwanger willen worden. Daarbij gaat-ie volledig de mist in en noemt de verkeerde medicatie. Maar hij doet dat met zoveel overtuiging dat sommige hulpverleners die er weinig van weten, het voor waar zullen aannemen. Dus we kunnen echt nog niet blindvaren op deze technologie.”
Weten wat je niet weet is ook belangrijk
ChatGPT weet vermoedelijk meer dan de gemiddelde psychiater, zegt Luykx. “Alleen weet de gemiddelde behandelaar ook wat hij niet weet. En dat is belangrijk als je patiënten behandelt.”
Een ander programma dat volgens Luykx hoge ogen gooit, is Glass AI. Voer een reeks klachten in en Glass AI komt met de diagnose. Luykx heeft aardig wat klachtenbeelden getest en meestal rolde er de juiste diagnose uit, plus een reeks van mogelijke, andere stoornissen.
“Fascinerend”, noemt hij het, al zullen behandelaren het niet in de eerste plaats gebruiken om diagnoses te stellen. “Je moet het net als ChatGPT zien als een hulpmiddel. De chatbot vormt een extra kennisbron en Glass AI dwingt je om breed te blijven kijken en meerdere diagnoses in het oog te houden.”
Onethisch experiment
Op de Amerikaanse website Koko kunnen bezoekers terecht voor psychische hulp, vragen over depressie of advies over medicatie. Daarover chatten ze met andere patiënten en vrijwilligers. Een prima service, maar begin januari barstte een storm van kritiek los. Bij wijze van experiment hadden bezoekers, vaak jongeren, geen steun van vrijwilligers gekregen maar, zonder dat ze het wisten, van chatbot ChatGPT. Ethisch onverantwoord, klonk het van alle kanten. Saillant: de gebruikers waardeerden de hulp van de chatbot meer dan die van de vrijwilligers, zo bleek uit tevredenheidsscores.
Lees ook:
Zorgt tekstrobot ChatGPT voor een schoolrevolutie? ‘Je bent gek als je nog je huiswerk maakt’
Veel leerlingen gebruiken de populaire tekstrobot ChatGPT werkstukken en verslagen te schrijven. Niet alle experts vinden dat een probleem.
