Datahackaton, waardevolle leerervaring


Wanneer is een model goed genoeg om te gebruiken in de kliniek?

Kunnen we een voorspelmodel maken voor de behandeling van patiënten met uitgezaaide longkanker en immunotherapie. Het is in 2018 een actiepunt bij het starten van de Personalised Healthcare Alliantie. Met behulp van data en Artificiële Intelligentie (AI) een voorspelmodel opstellen. Personalisatie is immers technologisch goed mogelijk. Behandelingen van ziektes evolueren van ‘one size fits all’ naar focussen op ‘de verschillen tussen mensen en op eigenschappen die een patiënt uniek kenmerken’. Geen twee mensen zijn precies hetzelfde. Als we de specifieke kenmerken van ziekte en de unieke eigenschappen van de patiënt kennen, kunnen we behandelingen op maat aanbieden die het resultaat voor een individu optimaliseren. Het voorspelmodel is gemaakt. De datahackaton achter de rug. De zorg en datascience zijn bij elkaar gebracht. Met welk resultaat? En hoe ging dat?

Daan Hurkmans is arts/promovendus bij de afdelingen Medische Oncologie en Longgeneeskunde in het Erasmus Medisch Centrum te Rotterdam. Hij was betrokken bij de hackaton, en doet zelf onderzoek naar patiënten met uitgezaaide longkanker en melanoom. “Ik doe onderzoek waarbij we kijken naar het afweersysteem van patiënten met kanker die worden behandeld met immunotherapie. Dat moet meer inzicht gaan bieden in de vraag: waarom is dezelfde behandeling effectief bij de ene persoon wel en de ander niet?” Na het afstuderen heeft Daan in de kliniek gewerkt en is doorgestroomd naar een promovenduspositie. “Het is leuk om in een nieuw veld te werken, de combinatie van oncologie en immunologie fascineert enorm.”

Laury van Bedaf studeerde neuroscience en werkt als data science manager bij Accenture. “Ik wil vooral weten hóe dingen werken, een fascinatie voor feiten. Zodat je écht weet hoe het zit. Ik zoek antwoorden. De meeste technieken die we gebruiken zijn machinelearning technieken. Wat we doen is dat het algoritme laten leren van de data en het algoritme komt dan met een predictiemodel.” Prachtig, toch! Laury zegt een tikkeltje ontnuchterend: “Wát de exacte drijvers zijn dat die ene patiënt een verhoogde kans heeft op overleving en de andere niet, dat is vaak moeilijker te achterhalen. Maar je kan wel een voorspelling maken per patiënt.”

Twee werelden bij elkaar brengen

“Patiënten worden altijd betrokken in de behandelkeuzes. Dat geeft wrijving omdat er nog onvoldoende inzicht bestaat welke factoren een rol spelen bij het effectief zijn van immunotherapie”, zegt Daan Hurkmans. “Daarom is het maken van een voorspelmodel interessant. We hebben in de hackaton kunnen werken met hele rijke gegevens. In een beveiligde dataroom met geanonimiseerde gegevens van 1.000 patiënten die werden behandeld met immunotherapie in een trialsetting. Het is heel uitdagend om twee werelden bij elkaar te brengen, de medische en de datascience. De uitdaging zit hem vooral in ‘elkaar begrijpen’. Het vertalen van mijn vakgebied naar iets wat de datascientist kan begrijpen en omgekeerd.”

Laury van Bedaf: “We beschikten over veel geanonimiseerde data. Honderden kenmerken, leeftijd, geslacht, BMI, ziekte- en medicatiegeschiedenis, gedrag zoals roken, genetische mutaties en een rijke set aan labwaardes, echt heel tof. We toetsten vier hypotheses aan de data. In samenwerking met de onderzoekers hebben we richting gegeven aan het onderzoek. Met Daan hebben we gewerkt aan het voorspelmodel. Het doel is uiteindelijk toewerken naar een beslissingstool die de arts kan gebruiken samen met de patiënt om een behandeling wel of niet te doen.”

“Het is gelukt een predictiemodel te maken dat het béter deed dan de benchmark”

“De hackaton is voor een deel een succes”, zegt Laury van Bedaf. “Het model dat we hebben gemaakt heeft het beter gedaan dan de wetenschappelijke benchmark dat recent is uitgebracht in een paper. Het is jammer dat dat paper precies uitkwam, toen wij begonnen te werken met deze data, omdat wij anders als eersten hierover hadden kunnen communiceren. Het is gelukt een predictiemodel te maken dat op het voorspellen van de totale overleving over twee jaar het béter deed dan de benchmark, dat is ongelofelijk leuk. Het is ook een succes omdat we met deze hackaton wilden onderzoeken of de effect van antibiotica ook later in de behandeling nog zichtbaar was. Dit was niet het geval. Daar hebben we een responsbrief over kunnen schrijven, die gepubliceerd is in Annals of Oncology.”

Daan Hurkmans

Daan Hurkmans: “Als je antwoord geeft op dezelfde vraag, dan kan iemand vanuit de geneeskunde en de datascience tot verschillende antwoorden komen. Het voorspelmodel dat we maakten is statistisch accuraat. Maar als je met het model gaat gebruiken, en het model zegt dat je de therapie niet moet geven, dan is de kans dat het model het fout heeft toch nog 10%. Statistisch heeft het model dus hele mooie waarden, maar voor een arts is het misschien niet acceptabel dat je 1 op de 10 patiënten een therapie ontneemt die werkzaam zou zijn.”

Laury van Bedaf

Laury: “Het zou écht een succes zijn als we met onze bevindingen kunnen dóórpakken om dit te toetsen in de kliniek, zodat het daadwerkelijk waarde gaat toevoegen voor de patiënt. En het zou waardevol zijn om de bevindingen te verrijken, bijvoorbeeld met de vraag wat de kwaliteit van leven is als je na twee jaar nog leeft.” Daan: “In mijn promotie ben ik bezig met een studie in de klinische praktijk die veel raakvlakken heeft met wat hier gebeurt. Bij een registratiestudie gaat het om een trialsetting met honderden patiënten, na registratie worden ineens duizenden patiënten behandeld via behandelrichtlijnen. Feitelijk wil je die gegevens uit de klinische praktijk óók gebruiken om de antwoorden te krijgen op vragen die nog niet beantwoord zijn. Dat is een kansrijke vervolgstap, met gebruik van big data.”

Predictiemodel opstellen

In de afgelopen jaren hebben veel professionals zich aangesloten bij de PHC Alliantie om mee te denken over het creëren van nieuwe waarde door het combineren van kennis, ideeën en netwerken (combinatorial innovation). Daan Hurkmans (Erasmus Medisch Centrum) en Laury van Bedaf (Accenture) hebben de handen uit de mouwen gestoken om via een datahackaton te werken aan een voorspel- of predictiemodel. Er is gewerkt met data van Roche aan een voorspelmodel voor patiënten met uitgezaaide longkanker die worden behandeld met checkpointremmers (immunotherapie) of chemotherapie. Immunotherapie is een vorm van behandeling die zich richt op het eigen afweersysteem om kanker te bestrijden. Door informatie over de specifieke eigenschappen van een patiënt te combineren met behulp van machinelearning en AI, is het mogelijk de behandelresultaten voor elke patiënt afzonderlijk te voorspellen aan het begin van het behandeltraject. Modellen die nauwkeurig voorspellen welke patiënten baat zouden kunnen hebben bij immunotherapie, kunnen de behandelingskeuzes beïnvloeden en bijdragen aan een hogere kwaliteit van leven. Door middel van een serie workshops zijn onderzoeksvragen geselecteerd, zoals “Kunnen we voorspellen welke patiënten na twee jaar nog in leven zijn?” en “Welke voorspellende variabelen zijn gecorreleerd met de totale overleving na twee jaar?”.