Erklärung zur Notwendigkeit, KI neu zu denken

Vor einigen Wochen hat uns unsere Infrastrukturabrechnung etwas vor Augen geführt, was unsere Roadmap nicht vorhergesehen hatte: Die automatischen KI-Prozesse, die unser Ökosystem zusammenhalten indem sie doppelte Patientenakten zusammenführen und fragmentierte Ereignisse zu einem einzigen Behandlungspfad verknüpfen, verursachten Kosten, die weit über dem Wert der einzelnen Operationen lagen. Jeder Zusammenführungsprozess lief über große Modelle, die vollständig abgefragt werden mussten, um Fakten abzurufen, die im Grunde nur wenige Bytes umfassen. Dies war keine Abrechnungsanomalie, sondern ein Symptom.

Wir haben dies auf das Problem zurückgeführt, wie Modelle als Gewichte eines großen neuronalen Netzes gespeichert werden. Diese Gewichte werden einmal gelernt und dann eingefroren. Dieser Ansatz funktioniert und hat jene Fähigkeiten hervorgebracht, auf denen heute alle aufbauen. Doch in dem Moment, in dem man dieses Wissen pflegen und nicht nur einfach abrufen muss, zeigen sich die Risse.

Genauer gesagt sind es vier:

• Opazität (Undurchsichtigkeit): Ein Urteil wie „erster und zweiter Datensatz beschreiben dieselbe Person“ ist nirgendwo greifbar gespeichert. Es ist über Millionen von Parametern verteilt, und das Modell kann nicht erklären, warum es so entschieden hat.
• Keine sauberen Korrekturen: Die Korrektur eines einzigen veralteten Faktums erfordert ein erneutes Training oder ein Fine-Tuning ohne Garantie, dass die Korrektur auch dort bleibt, wo man sie platziert hat.
• Vergessen: Bringt man dem Modell etwas Neues bei, verschlechtert es sich klammheimlich bei Dingen, die es bereits wusste. Die Fachwelt nennt dies „katastrophales Vergessen“ (catastrophic forgetting), und dieser Name ist keine Übertreibung.
• Kosten: Sowohl das Training als auch die tägliche Inferenz verschlingen Energie und Kapital, und die Rechnung steigt mit der Skalierung, nicht mit dem Nutzen.

Hier ist der Punkt, über den es sich nachzudenken lohnt: Das menschliche Gehirn erbringt eine vergleichbare und weitaus umfassendere Leistung mit etwa zwanzig Watt. Es schafft dies durch eine starke funktionale Modularität und überwiegend lokales Lernen, bei dem sich eine Verbindung basierend auf den zwei verknüpften Neuronen ändert, anstatt durch eine Neuberechnung des gesamten Systems. Wir behaupten nicht, das Gehirn zu kopieren. Wir weisen lediglich darauf hin, dass die dichte Gewichtsmatrix eine Option und kein Naturgesetz ist und dass etwas weitaus Kostengünstigeres nachweislich möglich ist.

Deshalb haben wir begonnen, an einem anderen Fundament zu arbeiten. Die technischen Argumente dafür haben wir in einem Whitepaper mit dem Titel „Beyond the Weight Matrix“ dargelegt; die Kurzfassung lautet wie folgt:

Anstelle eines einzigen großen, eingefrorenen Netzwerks lebt das Wissen in vielen kleinen Kompartimenten (Teilbereichen). Jedes Kompartiment besitzt ein einzelnes Fragment dessen, was das System weiß, und jedes kann für sich allein ausgelesen oder ausgetauscht werden, ohne den Rest zu stören. Innerhalb eines Kompartiments wird ein Fragment als explizite Gleichung und nicht als verborgenes Muster von Gewichten kodiert. Dieser Unterschied ist bedeutender, als es klingt: Im Gegensatz zu einem Gewicht kann eine Gleichung von einem Menschen gelesen und direkt vor Ort umgeschrieben werden.

Auch Aktualisierungen verhalten sich anders. Neue Informationen verändern einen gespeicherten Wert nicht stillschweigend. Sie schlagen stattdessen eine Änderung vor, und diese Änderung wird erst zugelassen, nachdem sie eine Verifizierungsprüfung (ein Gate) bestanden hat. Hierbei wird sie mit verwandten Kompartimenten und, sofern relevant, mit externen Belegen abgeglichen. Wenn die eingehende Information die Prüfung nicht besteht, kann das System sie ablehnen. Jede Änderung, die akzeptiert wird, enthält ein Protokoll darüber, warum sie vorgenommen wurde.

Das schwierigere Problem ist die sprachliche Gewandtheit (Fluenz). Das meiste, was ein kompetenter Sprachnutzer weiß, ist kein eindeutiger Fakt. Wir bevorzugen im Englischen „strong tea“ gegenüber „powerful tea“, aber wir bevorzugen „powerful engine“ gegenüber „strong engine“ und keine Grammatikregel erklärt diesen Unterschied. Dieses nuancierte, kontextabhängige Wissen macht den größeren Teil der Sprachkompetenz aus, und es sträubt sich dagegen, starr niedergeschrieben zu werden. Unser Ansatz hält es dennoch explizit: Jede Präferenz wird zusammen mit ihrer Gewichtung in einem benannten, editierbaren Slot gespeichert. So wird die Dimension, die ein herkömmliches Modell vergraben würde, für einen Prüfer lesbar und für einen Entwickler änderbar.

Warum ist das gerade im Gesundheitswesen so wichtig? Weil Eigenschaften, die anderswo lediglich praktisch sind, hier zu zwingenden Voraussetzungen werden:

• Eine Entscheidung zur Zusammenführung von Patientenakten, die sich auf die Versorgung eines Patienten auswirkt, muss überprüfbar sein und darf keine Blackbox sein.
• Ein Fakt, der sich als falsch herausstellt, muss in Minuten korrigiert werden können, nicht erst beim nächsten Trainingszyklus.
• Jede klinische oder administrative Schlussfolgerung sollte in der Lage sein, offenzulegen, worauf sie basierte.

Regulierte, prüfungsintensive Arbeit ist genau der Bereich, in dem sich editierbares und verifizierbares Wissen bezahlt macht und sie erfordert in der Regel einen hohen Anteil an präzisen, überprüfbaren Fakten. Deshalb fangen wir hier an und nicht bei der ungebundenen, offenen Sprache.

Wir sind Ihnen jedoch auch die ehrliche Wahrheit schuldig. Dies ist eine Richtung, kein fertiges Produkt, und im Kern gibt es ein echtes, ungelöstes Problem. Da nuancierte Präferenzen vom Kontext abhängen und der Kontext sie umkehren kann, kann das System nicht einfach eine Regel für jedes Ausdruckspaar speichern. Im schlimmsten Fall bräuchte es eine Regel für jeden Kontext und die Anzahl der Kontexte in der natürlichen Sprache ist groß genug, um genau jene Gewichtsmatrix wieder aufzubauen, die wir eigentlich vermeiden wollten, nur eben langatmig ausformuliert. Die Arbeit, die diesen Vorschlag in ein laufendes System verwandelt, besteht zu einem großen Teil darin, dieses Wachstum zu komprimieren: gemeinsame Strukturen zu faktorisieren und Kontexte in Hierarchien zu organisieren, sodass die Repräsentation nur langsam wächst. Ob dies gelingen kann, während gleichzeitig die Editierbarkeit erhalten bleibt, die den Anstoß für dieses Projekt gab, ist die Frage, mit der die gesamte Architektur steht oder fällt.

Aus diesem Grund veröffentlichen wir unsere Arbeit, anstatt sie intern unter Verschluss zu halten. Kein Unternehmen wird das Komprimierungsproblem allein lösen, und die Fachwelt hat Jahre damit verbracht, ein einziges Paradigma zu verfeinern, während in Alternativen zu wenig investiert wurde. Die Energiekosten eingefrorener Gewichtsmatrizen entwickeln sich zu einer Belastung für die gesamte Branche, nicht nur zu einem Posten auf einer einzelnen Bilanz. Insbesondere das Gesundheitswesen kann sich keine Modelle leisten, die es weder prüfen noch korrigieren kann, und keine Organisation verfügt allein über genügend Daten, Methoden oder klinischen Kontext, um dieses Ziel im Alleingang zu erreichen.

Deshalb bitten wir die Forschungsgemeinschaft, einen Teil ihrer Aufmerksamkeit in diese Richtung zu lenken:

• Gemeinsame Benchmarks dafür, wie sauber ein Modell editiert werden kann und wie stabil es bleibt, nachdem es editiert wurde.
• Offene Methoden zur Komprimierung von kontextabhängigem Wissen. Dies ist der Flaschenhals, und er betrifft jeden, der in diesem Bereich arbeitet.
• Gemeinsame Schnittstellen zwischen den Kompartimenten, sodass ein in einem Labor erzieltes Ergebnis an anderer Stelle wiederverwendet werden kann, anstatt von Grund auf neu gebaut werden zu müssen.

Wir werden weiterhin veröffentlichen, was wir lernen einschließlich der Ansätze, die scheitern. Wenn Sie an neurosymbolischen Systemen, Modell-Editierung, effizienter Inferenz oder klinischer Wissensrepräsentation arbeiten, würden wir uns über die Gelegenheit zum Erfahrungsaustausch freuen. Das Whitepaper ist der ideale Ausgangspunkt dafür.