Der Prozess vom histopathologischen Whole Slide Image bis zum künstlichen "Verständnis" kann in 3 Schritte heruntergebrochen werden: Tiling, Feature Extraktion, Training.
Tiling
Ein Whole Slide Image (WSI) ist ein hochauflösendes Bild eines Glasplättchens, einer "Slide", auf der menschliches Gewebe in einem Pathologielabor präpariert wird. Ein einzelnes WSI ist zumeist zwischen 1 GB und 2 GB groß. Selbst die teuerste GPU stößt beim KI-Training mit solchen Dateigrößen an ihre Grenzen. Das WSI muss daher beim Tiling in viele kleinere Bilder, genannt "Patches", zerschnitten werden. Tiling ist also ein notwendiger Umweg, durch den die KI-Entwicklung für WSIs noch etwas komplexer als für gewöhnliche Bilder wird.
Feature Extraktion
Die kleinen Patches liegen im Rohdatenformat als Pixelwerte vor. Für jedes Pixel wird u.a. der RGB-Wert gespeichert, der aussagt, welche Farbe das Pixel trägt. Nun haben einzelne Pixel nur wenig Informationsgehalt, daher versucht man die Unterschiede und Zusammenhänge zwischen nebeneinander liegenden Pixeln und Pixelgruppen festzustellen. Helle Pixel neben einer Reihe sehr dunkler Pixel können beispielsweise auf eine Kante im Bild hindeuten. Solche auffälligen Unterschiede und Zusammenhänge werden Features genannt.
Die Feature Extraktion geschieht mit Hilfe einer mathematischen Funktion, dem berühmten "neuronalen Netz". Das neuronale Netz filtert dabei simple Elemente wie Kanten oder Farbkontraste aber auch komplexere Formen aus dem WSI heraus. Die großen KI-Player in der Industrie stellen ihre neuronalen Netze zur Feature Extraktion von WSIs öffentlich für Forschungszwecke zur Verfügung (z.B. PaigeAI - Virchow ).
Training
Durch das Herausfiltern der Features "versteht" die Funktion aber noch rein gar nichts davon, ob es sich um krankhafte oder unbedenkliche Elemente handelt. Um dieses Verständnis zu erlangen wird ein weiteres neuronales Netz mit großen Datensätzen trainiert.
Stark vereinfacht gesagt sehen die Daten für dieses neuronale Netz so aus:
WSI 1 (Features der Patches) --> Diagnose "Tumor präsent"
WSI 2 (Features der Patches) --> Diagnose "Tumor nicht präsent"
...
WSI 7308717 (Features der Patches) --> Diagnose "Tumor präsent"Man möchte anhand dieser Daten herausfinden, welche Features und Patches die relevanten Informationen enthalten, um die dazugehörige Diagnose wahrscheinlicher zu machen. Dafür werden beim Training kontinuierlich die vielen Stellschrauben ("Gewichte") des neuronalen Netzes so angepasst, dass die Korrelationen zwischen den Features der Patches und Diagnosen möglichst gut abgebildet werden.
Ein Beispiel: Bildabschnitte eines WSI mit unbedenklicher Haut werden bei der zugehörigen Diagnose "Tumor präsent" nach vielen Trainingsrunden Schritt für Schritt als immer weniger relevant eingestuft. Ein paar aneinander grenzende Bildteile auf denen bösartige Tumorstrukturen zu sehen ist, sind jedoch hoch relevant für die Diagnose. Die Gewichte des Netzes werden so angepasst, dass diese Bildteile bei der Vorhersage der Diagnose immer stärker ins Gewicht fallen.
Am Ende des Prozesses erhält man ein trainiertes neuronales Netz, das man in der Praxis als KI-Modell bezeichnet.
Versteht die KI jetzt?
Wenn man sagt eine KI "versteht", bedeutet das also eigentlich "die Funktion bildet eine hohe Korrelation zwischen WSI und einer Diagnose ab". Oder ganz grob gesagt als Beispiel "Feature A" im WSI macht "Tumor präsent" wahrscheinlicher als "Tumor nicht präsent".
Wie man dieses Verständnis nun wieder aus dem Modell heraus und in den Laborprozess hinein bekommt werde ich versuchen in meinem nächsten Post zu erklären.