Wenn der Chatbot zum Arzt wird: KI versagt als medizinischer Ratgeber kläglich

Millionen Menschen vertrauen mittlerweile blindlings auf Künstliche Intelligenz, wenn es um ihre Gesundheit geht. Ein Ziehen in der Schulter? Kopfschmerzen nach dem Aufstehen? Statt den Hausarzt aufzusuchen, wird ChatGPT befragt. Schnell, anonym, rund um die Uhr verfügbar – so das Versprechen. Doch eine aktuelle Studie entlarvt nun, was kritische Beobachter längst vermuteten: Die digitalen Wundermaschinen sind als medizinische Berater schlichtweg unbrauchbar.

Menschen recherchieren besser als die Maschine

Die Ergebnisse der Untersuchung sind so eindeutig wie ernüchternd. Ein Ärzteteam entwickelte zehn detaillierte, fiktive Krankheitsfälle – komplett mit Symptomen, Lebensumständen und Vorerkrankungen. Rund 1.000 Freiwillige aus Großbritannien wurden anschließend in vier Gruppen aufgeteilt. Drei Gruppen arbeiteten jeweils mit einem der großen Sprachmodelle: GPT-4o von OpenAI, Llama 3 von Meta oder Command R+ von Cohere. Die vierte Gruppe durfte ganz klassisch recherchieren – mit Suchmaschinen und medizinischen Webseiten.

Das Resultat dürfte den Silicon-Valley-Propheten die Schamesröte ins Gesicht treiben. Die Kontrollgruppe, die auf herkömmliche Weise recherchierte, identifizierte mit anderthalbfach höherer Wahrscheinlichkeit eine passende Verdachtsdiagnose als jene Teilnehmer, die sich auf die vermeintlich überlegene KI verließen. Der gute alte gesunde Menschenverstand, gepaart mit einer simplen Google-Suche, schlug also die milliardenschweren Sprachmodelle. Welch eine Ironie.

Fatale Fehleinschätzungen bei der Dringlichkeit

Noch beunruhigender als die mangelhaften Diagnosen ist ein weiterer Befund: Sowohl KI-Nutzer als auch Selbstrecherchierende trafen in mehr als der Hälfte der Fälle eine falsche Entscheidung beim empfohlenen nächsten Schritt. Besonders häufig wurde die Dringlichkeit der Situation unterschätzt – etwa wenn eigentlich eine rasche ärztliche Abklärung notwendig gewesen wäre. Man stelle sich vor, was das in der Realität bedeuten könnte: Ein Patient mit ernsthaften Symptomen vertraut dem Chatbot, der zur Ruhe rät, während tatsächlich der Notruf angebracht wäre. Die Konsequenzen einer solchen Fehleinschätzung können tödlich sein.

Ein genauerer Blick in die Chatverläufe offenbarte zudem ein strukturelles Problem. In einigen Fällen nannten die Chatbots durchaus korrekte oder zumindest plausible Diagnosen. Doch die Nutzer griffen diese Vorschläge schlicht nicht auf oder gewannen aus dem Gespräch keine klare Entscheidungsgrundlage. Die Qualität der KI-Antwort allein reichte also nicht aus, um zu besseren Entscheidungen zu führen. Ein faszinierendes Paradoxon: Die Maschine weiß es manchmal besser, kann es aber nicht vermitteln.

Das eigentliche Problem liegt in der Mensch-Maschine-Interaktion

Interessanterweise zeigte die Studie auch, dass die Sprachmodelle deutlich besser abschnitten, wenn ihnen die vollständigen Fallbeschreibungen ohne Zwischenfragen vorgelegt wurden. Auch in einem Test, bei dem ein Sprachmodell selbst die Rolle eines Nutzers simulierte, übertraf die KI reale Menschen. Das deutet auf einen zentralen Schwachpunkt hin: Nicht die medizinische Wissensbasis der Modelle ist das Problem, sondern die Interaktion mit echten Menschen. Unvollständige Angaben, missverständliche Nachfragen, das selektive Aufgreifen von Antworten – all das sabotiert das theoretische Potenzial der Systeme im Alltag.

Iryna Gurevych, Professorin an der Technischen Universität Darmstadt, bestätigte diese Einschätzung. Es sei nicht überraschend, dass große Sprachmodelle in realen Interaktionen schlechter abschnitten als in Benchmarks. Diese seien oft vereinfacht, stark strukturiert und häufig öffentlich zugänglich, was die Wahrscheinlichkeit erhöhe, dass Modelle sie auswendig lernten, anstatt echte Generalisierungsfähigkeiten zu entwickeln. Die Diskrepanz zwischen simulierten und realen Nutzern zeige, dass Benchmark-Ergebnisse die Leistung in der realen Welt systematisch überschätzten.

Der Mensch braucht den Menschen – nicht die Maschine

Was lehrt uns das? In einer Zeit, in der die Digitalisierung als Allheilmittel für sämtliche gesellschaftlichen Probleme angepriesen wird – auch und gerade im maroden deutschen Gesundheitssystem –, sollte diese Studie als Weckruf dienen. Statt Milliarden in KI-gestützte Gesundheitsplattformen zu pumpen, wäre es vielleicht ratsamer, zunächst die Grundversorgung durch niedergelassene Ärzte sicherzustellen. Doch das passt natürlich nicht in die Narrative einer politischen Klasse, die lieber auf technologische Scheinlösungen setzt, als die strukturellen Probleme im Gesundheitswesen anzugehen.

Anne Reinhardt von der Ludwig-Maximilians-Universität München forderte, man müsse einerseits die Kompetenzen der Nutzer stärken – etwa durch einfache Leitfragen oder Checklisten für den Umgang mit KI im Gesundheitskontext. Andererseits müssten die Systeme selbst besser gestaltet werden: Sie sollten aktiv fehlende Informationen abfragen, die Sicherheit ihrer Einschätzungen transparent machen und Warnzeichen klar hervorheben. Nur so lasse sich das Risiko reduzieren, dass überzeugende Sprache mit verlässlicher medizinischer Beratung verwechselt werde.

Ute Schmid, geschäftsführende Direktorin des Bamberger Zentrums für Künstliche Intelligenz, brachte es auf den Punkt: KI-Systeme könnten Menschen bei komplexen Entscheidungsprozessen unterstützen – aber nur, wenn Fachwissen und ein Grundverständnis der Funktionsweise vorhanden seien. Ohne dieses Fundament drohten falsche Erwartungen sowie Über- oder Untervertrauen in die Ausgaben der Systeme.

Ein Symptom unserer Zeit

Die blinde Technikgläubigkeit, die sich in der massenhaften Nutzung von Chatbots als Gesundheitsberater manifestiert, ist letztlich nur ein Symptom einer tiefergehenden gesellschaftlichen Entwicklung. Wir haben verlernt, auf bewährte Strukturen zu vertrauen – auf den Hausarzt um die Ecke, auf das persönliche Gespräch, auf menschliche Expertise. Stattdessen delegieren wir existenzielle Entscheidungen an Algorithmen, die zwar beeindruckend formulieren können, aber weder Empathie noch klinische Erfahrung besitzen. Qualitätsgeprüfte Chatbots könnten zwar als Ergänzung sinnvoll sein – etwa über gesetzliche Krankenkassen angeboten und von Hausarztpraxen als Erstzugang empfohlen. Doch der direkte menschliche Kontakt dürfe niemals ersetzt werden.

Die Studie macht eines überdeutlich: Wenn es um die eigene Gesundheit geht, ist der Gang zum Arzt durch keine Maschine der Welt zu ersetzen. Wer sein Wohlbefinden einem Chatbot anvertraut, spielt russisches Roulette – mit seinem eigenen Körper als Einsatz.