In meinen Artikeln (1) Wie versteht eine KI eigentlich Whole Slide Images? und (2) Wie kommt eine KI in den Pathologie-Alltag? habe ich mich mit der konkreten Anwendung einer Whole-Slide-Image-KI im Laboralltag beschäftigt. Ich habe erwähnt, dass ein solches Modell für die Praxisanwendung, als Basis ein sogenanntes Foundation Model verwendet.
In diesem Beitrag werde ich nun detaillierter erklären, was ein Foundation Model in der (Histo-)Pathologie ist. Ich empfehle, zumindest Artikel (1) als Einführung zu lesen, da hier das Verständnis einiger Begriffe (z.B. WSI-Patch, Feature) vorausgesetzt wird.
Wo kommt das Foundation Model ins Spiel?
Ein Foundation Model ist ein auf Millionen histologischer Bilder trainiertes KI-Modell, das allgemeine visuelle Eigenschaften von Gewebe lernt und anschließend für viele spezifische diagnostische Aufgaben genutzt werden kann.
Ein Foundation Model kann nicht direkt im Pathologie-Alltag verwendet werden. Es ist viel mehr eine nützliche Vorstufe für die Entwicklung einer praxistauglichen KI.
Man übergibt einem trainierten Foundation Modell als Input ein WSI-Patch und erhält die Features dieses WSI-Patches zurück. Die Features können in der Folge von einem weiteren KI-Modell verarbeitet werden, um Diagnose-Vorschläge für Patholog:innen zu generieren.
Wie entwickelt man nun so eine Grundlagen-KI?
Training eines Foundation Models
Zur Entwicklung jeder Bilderkennungs-KI benötigt man große Mengen an Input-Daten.
Viele bekannte Image-Modelle wurden mit "annotierten" Daten trainiert. Annotiert bedeutet, dass zu jedem Bild ein beschreibendes Label verfügbar ist. Für allgemeine Modelle, die auf Bildern aus dem Internet trainiert werden, wären das beispielsweise Millionen von Bildern von Hunden mit der dazugehörigen Beschreibung "Hund".
In der Pathologie bedeutet annotiert, dass für jedes WSI eine dazugehörige Diagnose oder Beschreibung der entscheidenden Merkmale des Bildes vorhanden ist. Es ist für Entwickler:innen jedoch sehr schwierig und kostspielig an ausreichend große Mengen annotierter Whole Slide Images zu gelangen.
Man ging daher dazu über, die Methode des Self-Supervised Learnings für das Training von Foundation Models in der Pathologie anzuwenden. Beim Self-Supervised Learning wird ein neuronales Netz mit WSIs ohne dazugehörige Labels gefüttert.
Es wird mit dieser Methode und diesem Datenmaterial also kein Modell entwickelt, das ein WSI mit einer passenden Diagnose verknüpft, sondern ein Modell, das die Besonderheiten (Features) aus den WSIs herausfiltert.
Deep Dive: Self-Supervised Learning
Es gibt mehrere spezialisierte Ansätze im Self-Supervised Learning für WSIs. Eine gängige Subgruppe des Self-Supervised Learning ist das "Contrastive Learning".
Bei dieser Methode erstellt man rein artifiziell aus einem WSI-Patch mehrere unterschiedliche Versionen. Zum Beispiel kann dasselbe Patch in zwei verschiedenen Farbtönen generiert werden.
Die Idee hinter diesen multiplen Versionen eines Bildes ist, dass die veränderten Versionen weiterhin die gleichen inhaltlich relevanten Informationen enthalten. Beispielsweise sollten bestimmte Zellstrukturen eines WSI-Patches sowohl in einer Version mit grünlichem als auch in einer Version mit bläulichem Farbton erkennbar sein. Ein gänzlich anderes WSI-Patch, das zufällig aus dem Datenpool ausgewählt wird, enthält jedoch nicht die gleichen Zellstrukturen.
Die augmentierten Versionen des gleichen Patches und ein drittes zufällig ausgewähltes Patch werden nun in ein neuronales Netz geschickt. Die Gewichte des Netzes werden mittels einer mathematischen "Loss-Funktion" so angepasst, dass es die beiden Versionen des selben Bildes als "ähnlich" zurückgibt. Die beiden Versionen des Patches gegenüber dem dritten, zufällig ausgewählten Bild, werden als weniger ähnlich ins Netz eingewoben.
Technisch gesprochen werden beim Contrastive Learning ähnliche Daten durch nahe beieinander liegende "Latent-Space-Repräsentationen" abgebildet. Details dazu werde ich in meinem nächsten Artikel behandeln.
Der zentrale intuitive Aspekt: Das Foundation Model reduziert die Informationsdichte der riesigen WSIs auf ihre wesentlichen Aspekte (Features) und lernt, welche Bildstrukturen ähnlich sind. Ein weiteres KI-Modell kann diese komprimierte Darstellung der hochkomplexen WSIs deutlich einfacher mit einer Diagnose verknüpfen (siehe Artikel (1) ).
Was bringt ein Foundation Model in der Praxis?
Ein Foundation Model beschleunigt die Entwicklung spezifischer praxisrelevanter Modelle. Die Diagnose-KI muss nicht mehr lernen, was für Strukturen es in histologischen Bildern gibt, sondern die herausgefilterten Strukturen "nur" mehr mit einer Diagnose verknüpfen.
Man möchte nun zum Beispiel ein KI-Modell trainieren, das Brustkrebs in histologischen Bildern erkennen kann.
Durch den Einsatz eines Foundation Models
- benötigt man signifikant weniger annotierte histopathologische WSIs für das Training
- reduziert man die notwendige Rechenleistung (Serverinfrastruktur!) signifikant
- verkürzt man die Trainingsdauer deutlich
Die Kosten für die Entwicklung eines speziellen KI-Modells werden durch den Einsatz eines Foundation Models also signifikant gesenkt.
Welche Foundation Models gibt es?
Die großen KI-Firmen haben wenig Anreiz ihre besten Grundlagen-Modelle frei zur Verfügung zu stellen. Die öffentlich zugänglichen KI-Modelle sind daher zumeist nur zur wissenschaftlichen Nutzung zugelassen.
Selbst zur wissenschaftlichen Nutzung wird meist nicht die komplette "Secret Sauce", also die Trainingsdaten und wie das Modell entwickelt wurde, öffentlich gemacht ("Open Source"). Es werden jedoch die Gewichte und Anleitungen wie man das Modell selbst hosten kann zur Verfügung gestellt ("Open Weights").
Eine Auswahl bekannter Foundation Models:
Links zu den Modellen: Google Path Foundation | Paige Virchow | Owkin Phikon-v2 | Bioptimus H-optimus-0 | Mahmood Lab UNI