Waarschuwing voor te veel en verkeerd gebruik van machine learning

Machine learning (ML) klinkt innovatief en kan patronen ontdekken die wij met het blote oog niet direct kunnen zien

Machine learning is een heuse hype. Maar volgens statistisch redacteur en neurochirurg in opleiding Victor Volovici wordt het vaak onnodig en soms zelfs verkeerd gebruikt. Dat moet stoppen. In Nature Medicine publiceerde hij samen met andere wetenschappers zijn aanbevelingen.  

Machine learning (ML) klinkt innovatief en kan patronen ontdekken die wij met het blote oog niet direct kunnen zien. Zoals kleine veranderingen op MRI-scans. Maar neurochirurg in opleiding en statistisch redacteur Victor Volovici is niet altijd een voorstander. ‘Ik geloof absoluut in de kracht van Machine Learning’, zegt hij, ‘maar het moet wel een relevante toevoeging zijn.’ 

Samen met een groep wetenschappers, waaronder prof. Nan Liu (Duke-NUS Medical School, Singapore) en Ari Ercole (Cambridge, Engeland), publiceerde hij daarom in Nature Medicine aanbevelingen omtrent Machine Learning. 

Clinicus met te weinig tijd
‘Het probleem is dat ML nu vaak als eerste de beste analyse wordt gebruikt, terwijl een normale statistische methode even goed of zelfs beter werkt. En veel makkelijker te begrijpen is voor een clinicus met te weinig tijd.’ Over die clinicus maakt Volovici zich zorgen: ‘Die moet nu een artikel naast zich neer leggen omdat hij of zij de methode of limitaties niet goed kan begrijpen. Of hij of zij moet blind vertrouwen op de conclusies van een computer. Dat kan natuurlijk niet, het gaat om de patiënt.’  

‘Veel mensen geloven dat ML een revolutie in de gezondheidszorg teweeg zal brengen, omdat machines objectievere keuzes maken dan mensen. Maar zonder goed toezicht kunnen ML-modellen meer kwaad dan goed doen’, zegt prof. Nan Liu.

Aanbevelingen
Voor wetenschappers die aan de slag willen met Machine Learning, hebben Volovici en zijn collega’s de volgende aanbevelingen: 

1. ML moet gebruikt worden voor waar het goed in is. Men moet kunnen aantonen dat het beter werkt dan traditionele statistische modellen. Leg de keuze goed uit. Gebruik geen ML voor te kleine datasets. 
2. Probeer met name deep learning (zelfsturende ML-algoritmen) methoden zo transparant en begrijpelijk mogelijk te maken. Publiceer de parameters en als het kan ook de analyse en de dataset.
3. Benoem de limitaties en wees er eerlijk over. Leg uit op basis waarvan het algoritme conclusies trekt. 

Black box 
Ongesuperviseerde deep learning-algoritmen (ML-algoritmen die geen expliciete instructies krijgen over de uitkomst) zijn nu nog te vaak een soort black box. Zo publiceerden wetenschappers aan het begin van de coronacrisis een algoritme dat aan de hand van longfoto’s coronainfecties kon voorspellen. Achteraf bleek dat het algoritme conclusies had getrokken op basis van de letter R, voor Rechterlong, die steeds op een net ander plekje op de scans te vinden was.  

‘We moeten af van het idee dat ML patronen kan ontdekken in data die wij niet kunnen begrijpen’, zegt Volovici over het voorval: ‘ML kan heel goed patronen ontdekken die we niet direct kunnen zien, maar dan moet je wel kunnen uitleggen hoe je tot die conclusie bent gekomen. En eigenlijk moet het algoritme daarvoor kunnen aantonen welke stappen het genomen heeft, daar is innovatie voor nodig.’ 

Zelfrijdende auto 
Bovendien is er in de geneeskunde bij lange na niet zoveel data beschikbaar als in andere commerciële velden, zoals bij zelfrijdende auto’s of facial recognition. ‘Ik zie nog te vaak artikelen voorbijkomen die ML loslaten op een dataset van een paar honderd patiënten. We moeten juist richting grote internationale samenwerkingen. Waarbij we van tevoren met zijn allen afspreken: dit zijn de vele variabelen, die we klinisch kunnen onderbouwen. Daarbij hebben we duizenden patiënten en deze modellen zijn hiervoor het meest geschikt. Dáár ligt de kracht van Machine Learning.’ 

Tags bij dit artikel:

• innovatie
• wetenschappers
• Erasmus MC
• data
• deep learning algoritmes
• algoritme