Ronald Boellaard

Amsterdam UMC, locatie VUMC

Kort samengevat, behelst het onderzoek van Ronald Boellaard het volgende: 

'Artificial intelligence and machine learning for FDG PET/CT response prediction in diffuse large B cell lymphoma

The project aims at the application of artificial intelligence (AI) methods to improve prognosis and treatment response prediction based on FDG PET/CT studies of diffuse large B-cell lymphoma patients. This project is an extension of a successfully running international consortium project PETRA (petralymphoma.org). The Hanarth Fonds grant will be used to investigate the use of radiomics analysis in combination with machine learning as well as the use of convolution neural networks for deep radiomics analysis of FDG PET/CT to better predict response to treatment, thereby avoiding futile treatments, as compared to current FDG PET/CT reads.'

Korte samenvatting van voortgang / resultaten mei 2024

Het afgelopen jaar hebben we een convolution neural network voor de voorspelling van 2 jaars tijd tot progressie (TTP) van diffuus grootcellig B-cel lymfoom patienten ontwikkeld. We gebruikten hiervoor 296 FDG PET scans. Deze hebben we eerst omgezet naar 2D coronale en sagittale maximum intensiteitsprojecties (MIP). Hiermee wordt de grootte van de databestanden verkleind en daarmee de rekentijd om het model te trainen verkort. Het bleek dat ons CNN model in staat is om de TTP te voorstellen met een AUC van 0.72 (vergeleken met 0.68 verkregen met de klinisch gebruikte internationale prognostische index). Het model hebben we extern gevalideerd met een tweede dataset van 340 patienten en liet een prestatie zien van AUC=0.74. Vervolgens hebben we naar de gevoeligheid van het CNN model voor variaties in PET reconstructie instellingen (PET beeldkwaliteit). We vonden dat de TTP voorspellingen veranderde door variatie in beeldkwaliteit. We hebben daarna gekeken naar 2 methoden om hiervoor te compenseren, namelijk de COMBAT methode en PET beeld filtering. De laatste methode bleek zeer effectief on de verschillen in TTP voorspellingen tussen de verschillende PET beeld reconstructies op te heffen. Recentelijk hebben we dit model getest op 6 external trial datasets en we vonden dat ook op deze datasets het deep learning model beter de uitkomst kon voorspellen dan de klinisch gebruikte IPI score.

Momenteel werken we aan een volledig 3D CNN waarbij we de 3D PET beelden in plaats van 2D MIPs gebruiken. De prestaties van dit 3D CNN gaan we dan vergelijken met het eerder genoemde 2D MIP CNN om na te gaan of we met alleen 2D MIPs al voldoende informatie voor het voorspellen van overleving hebben verkregen. Tenslotte bestuderen we momenteel het gebruik van een aantal open/vrij verkrijgbare AI gebaseerde tumor segmentatie modellen en willen we deze segmentaties gebruiken als startpunt van onze radiomics-machine learning analyse procedures. Verder willen we deze AI-radiomics procedure gaan vergelijken of combineren met onze deep learning methode en daarbij de meest optimale benadering te vinden om de overlevingsuitkomst zo goed mogelijk te kunnen voorspellen.

Korte samenvatting van voortgang / resultaten mei 2023

Het afgelopen jaar hebben we een convolution neural network voor de voorspelling van 2 jaars tijd tot progressie (TTP) van diffuus grootcellig B-cel lymfoom patienten ontwikkeld. We gebruikten hiervoor 296 FDG PET scans. Deze hebben we eerst omgezet naar 2D coronale en sagittale maximum intensiteitsprojecties (MIP). Hiermee wordt de grootte van de databestanden verkleind en daarmee de rekentijd om het model te trainen verkort. Het bleek dat ons CNN model in staat is om de TTP te voorstellen met een AUC van 0.72 (vergeleken met 0.68 verkregen met de klinisch gebruikte internationale prognostische index). Het model hebben we extern gevalideerd met een tweede dataset van 340 patienten en liet een prestatie zien van AUC=0.74.

Vervolgens hebben we naar de gevoeligheid van het CNN model voor variaties in PET reconstructie instellingen (PET beeldkwaliteit). We vonden dat de TTP voorspellingen veranderde door variatie in beeldkwaliteit. We hebben daarna gekeken naar 2 methoden om hiervoor te compenseren, namelijk de COMBAT methode en PET beeld filtering. De laatste methode bleek zeer effectief on de verschillen in TTP voorspellingen tussen de verschillende PET beeld reconstructies op te heffen.

Momenteel werken we aan een volledig 3D CNN waarbij we de 3D PET beelden in plaats van 2D MIPs gebruiken. De prestaties van dit 3D CNN gaan we dan vergelijken met het eerder genoemde 2D MIP CNN om na te gaan of we met alleen 2D MIPs al voldoende informatie voor het voorspellen van overleving hebben verkregen. Tenslotte, kijken we ook naar de toepassing van zogenaamde interim PET studies, die na 2 tot 4 kuren wordt gemaakt. Het doel is om ook hiervoor een CNN te ontwikkelen om de overleving te voorspellen en deze later te combineren met het eerdere model om daarmee mogelijk nog beter de 2 jaars TTP te kunnen voorspellen.

Korte samenvatting van voortgang / resultaten mei 2022

Gedurende de eerste 6 maanden is er gekeken naar methoden die kunnen corrigeren voor tumor PET data variaties ten gevolge van variatie in PET beeld reconstructie instellingen (zoals je in multicenter studies ziet) en door variatie in gebruik tumor delineatie methoden (zoals je in verschillende softwarepakketten ziet). Uit deze studies is gebleken dat data harmonisatie met deze zogenaamde COMBAT methoden mogelijk en noodzakelijk wanneer gebruik gemaakt wordt van sommige type delineatie methodes, maar dat als de tumor segmentaties op contouren met een vaste drempel waarden zijn gebaseerd dit niet nodig bleek te zijn. 

Verder hebben we een deep learning methode (CNN) ontwikkeld, toegepast en gevalideerd. De methode gebruikt FDG PET maximum intensiteits beelden als input en geeft een voorspelling (kans) op 2 jaars tijd tot progressie op basis van baseline FDG PET studies in DLBCL patienten. We hebben aangetoond dat het mogelijk om met deep learning de 2 jaars TTP te voorspellen met een extern gevalideerde ROC-AUC=0.7. Op dit moment breiden we de methode uit door ook andere PET features en klinische gegevens mee te nemen in de voorspelling en daarmee de prestaties te verbeteren. Verder voegen we explainable componenten toe zodat de gebruiker informatie krijg op basis van welke beeld eigenschappen (bijvoorbeeld aanwezigheid, locatie en spreiding van tumoren) de voorspelling is gebaseerd waardoor de gebruiker in staat is om in te schatten of de voorspelling aannemelijk is.