Hoe vaak zouden we niet willen dat we gewoon in het brein van iemand anders konden kijken en erachter konden komen wat hij of zij denkt? We zouden hun toekomstplannen kunnen zien, hun dagdromen, of misschien verborgen bedoelingen. Dit klinkt misschien als iets uit sciencefictionverhalen zoals Minority Report of Inception, maar dankzij recente ontwikkelingen op het gebied van neuro-imaging is het idee van “hersenlezen” niet langer een fictie. In dit artikel duiken we in de huidige stand van zaken van het lezen van hersenen, de mechanismen en verschillende toepassingen van technieken voor het lezen van hersenen, van het spelen van games tot het aanpakken van psychologische en lichamelijke beperkingen.

Hoe kijken we in de hersenen?
Er zijn verschillende manieren om gegevens over de hersenen te verzamelen. In het verleden gebruikten wetenschappers vooral elektroden die tijdens een hersenoperatie werden geïmplanteerd om de neuronale activiteit direct te meten of via elektro-encefalografie (EEG), waarbij die activiteit indirect via de schedel wordt opgepikt in de vorm van elektrische signalen. Deze methoden hebben de afgelopen decennia al tot enkele zeer indrukwekkende resultaten geleid via brein-computer interfaces (BCI's), waarover we eerder dit artikel hebben geschreven. Sommige toepassingen zijn zeer nuttig voor patiënten die lijden aan een sterke verlamming van het lichaam, vooral locked-in patiënten (die volledig bij bewustzijn zijn maar hun lichaam niet kunnen bewegen). Met behulp van een op EEG gebaseerde BCI hebben patiënten bijvoorbeeld geleerd om een robotarm te besturen en weer enige fysieke autonomie terug te krijgen in hun dagelijks leven.

Hoe is dit allemaal mogelijk? Stel je voor dat je de kunstwerken van twee schilders wilt vergelijken. Schilder A houdt van felle kleuren, zachte penseelstreken en ronde vormen. Schilder B daarentegen houdt van monochrome schilderijen met grove penseelstreken en schuine objecten. Dit betekent dat de stijlen van de twee kunstenaars langs deze drie dimensies (kleuren, penseelstreken, vormen) kunnen worden onderscheiden. Je vraagt nu een kunstkenner, die deze twee schilders goed kent, om naar een schilderij te kijken dat hij nog nooit eerder heeft gezien. Hij of zij zal een gefundeerde gok doen of het door Schilder A of door Schilder B is geschilderd op basis van hoe goed de drie kenmerken van dit nieuwe schilderij overeenkomen met de stijl van een van beide schilders. Dit is precies hoe we dat ook doen met data over het brein!

(Bron: freepik)

Laten we deze analogie eens toepassen op de hersenen: Stel, als eenvoudig voorbeeld, dat je een robotarm naar links en naar rechts wilt sturen met behulp van hersenactiviteit. Je kiest ervoor om de activiteit van 9 neuronen in het armgebied van de supplementary motor area (SMA) te meten, omdat dit de bedoelde bewegingsrichting van de arm vertegenwoordigt. Elk van deze 9 neuronen is een kenmerk (bijv. kleuren, vormen, enz.), ook wel datapunt genoemd, met zijn eigen neuronale activeringsniveau. Het activeringsniveau van het neuron varieert op een spectrum van lage tot hoge activering. Als we de analogie met een schilderij gebruiken, is dit net zoals bijvoorbeeld de kleuren van een schilderij kunnen variëren op een spectrum tussen uitgebleekt en levendig.

Samen karakteriseren de combinaties van kenmerken en hun intensiteiten (d.w.z. de combinatie van neuronen en hun activeringsniveaus) het hele schilderij (d.w.z. de toestand van de hersenen). Als de hersenen nu bijvoorbeeld een armbeweging naar links bevelen, activeren de 9 neuronen elk met een bepaalde intensiteit, wat uitmondt in het karakteristieke “schilderij” van kenmerken die geassocieerd worden met de hersenstaat “links” (zie figuur, linksboven). Op dezelfde manier schildert een unieke combinatie van kenmerken een uniek schilderij dat geassocieerd wordt met “rechts” (zie figuur, rechtsboven).

(Figuur gemaakt door auteur)

Wat nog ontbreekt is een expert - iets om deze hersentoestanden te groeperen. Het machine-learning equivalent van de kunstexpert wordt een classifier genoemd. Als de classifier eenmaal getraind is om onderscheid te maken tussen de “linker” en “rechter” activeringspatronen van onze 9 neuronen, kan hij een onderbouwde gok maken over breintoestanden die hij nog nooit eerder heeft gezien en beoordelen of ze ‘linker’ of “rechter” toestanden zijn. (Als je naar de figuur kijkt, neem dan de rol aan van de kunstkenner: zou je zeggen dat de nieuwe hersenstatus meer op “links” of “rechts” lijkt?)

De beslissing van de classificator kan dan uiteindelijk worden doorgegeven aan de robotarm, die de bedoelde beweging uitvoert. Natuurlijk zal de classificator, net als elk mens (zelfs een kunstexpert), niet altijd correct zijn. Classifiers kunnen echter een zeer goede nauwkeurigheid van 90% of meer bereiken na voldoende training (ongeveer 20-300 proeven in 10-90 minuten, afhankelijk van je BCI-methode).
Merk op dat voor de eenvoud in dit voorbeeld 9 neuronen zijn gebruikt, wat betekent dat twee hersentoestanden op precies 9 manieren kunnen verschillen (d.w.z. in het activeringsniveau van elk neuron). Hoewel een classifier kan werken met 9 datapunten, zijn meer datapunten over het algemeen te verkiezen. Dat komt omdat elk extra datapunt een extra kenmerk toevoegt waardoor twee hersentoestanden kunnen verschillen, waardoor het voor de classifier makkelijker wordt om dat verschil te detecteren.

De toegevoegde waarde van fMRI
Dit alles is erg opwindend, maar de bovenstaande technieken zijn beide behoorlijk lastig: Elektrodenopnames vereisen een operatie, waardoor ze erg onpraktisch en invasief zijn om toe te passen, terwijl EEG lijdt aan een slechte ruimtelijke resolutie, omdat ze alleen de oppervlakte van de hersenen bestrijken en minder de diepere lagen van de hersenen. Beide methoden zijn beperkt als het gaat om welke gebieden in kaart worden gebracht, waarbij elektroden meestal op één bepaalde plek in de hersenen worden aangebracht en EEG-signalen voornamelijk worden veroorzaakt door elektrische signalen die afkomstig zijn uit de cortex van de hersenen. Dit is waar fMRI om de hoek komt kijken, met zijn vermogen om de hele hersenen niet-invasief in beeld te brengen met een verbazingwekkend aantal datapunten (meer dan een miljoen manieren waarop de schilderijen kunnen verschillen) met behulp van moderne scanners met ultrahoge velden. Nu kunnen we elk gebied in de hersenen bereiken met een formidabele resolutie en de activeringspatronen interpreteren. In de begindagen van fMRI moesten alle gegevens na afloop van het experiment in bulk worden geanalyseerd, maar dankzij de vooruitgang in computerverwerking konden onderzoekers de fMRI-gegevens in real time analyseren, dat wil zeggen terwijl de proefpersoon nog in de scanner zat. Op die manier konden ze elk nieuw signaal interpreteren op het moment dat het binnenkwam. Als proof of concept implementeerden onderzoekers van de Universiteit Maastricht op speelse wijze een “Brain Pong”-functie in hun real time fMRI-software: Ze ontdekten dat het mogelijk was om twee deelnemers, elk in een andere scanner, Pong met elkaar te laten spelen, alleen op basis van hun kortstondige hersenactivatie die door een classificator werd gedecodeerd om te beslissen of de speler wilde dat zijn balk (zie afbeelding) omhoog of omlaag ging.

(Bron: Wikimedia Commons)

Letterlijk Hersenen Lezen?
We weten nu hoe we een fMRI-signaal kunnen uitlezen om mensen met hun gedachten te laten interageren met hun omgeving. Nu, om dichter bij de letterlijke betekenis van de term hersenlezen te komen: wat als we de gedachten zouden willen weten die in iemands hoofd opkomen? Anders gezegd, wat als iemand zijn gedachten woordeloos zou willen communiceren? Met een aantal slimme aanpassingen in eerdere onderzoeken konden deelnemers woorden spellen met hun gedachten door gebruik te maken van BCI's die letters spellen.

Een team onderzoekers gaf deelnemers in de fMRI-scanner bijvoorbeeld de opdracht om letters uit te drukken door verschillende mentale taken uit te voeren. Op die manier was er één unieke hersentoestand voor elk van de 26 letters van het alfabet, als in een woordenboek. Een classificator kon dan de hersentoestand opzoeken in dat woordenboek en de corresponderende letter decoderen. Als je naar de onderstaande opzoektabel kijkt, zul je zien dat als een deelnemer bijvoorbeeld 30 seconden lang motorische beeldvorming uitvoerde (bijvoorbeeld zich voorstellen dat hij rent/klimt/etc.), de classificator de letter “B” zou decoderen. Met behulp van deze methode konden proefpersonen langzaam maar zeker woorden spellen in realtime, waarbij ze nauwkeurig persoonlijke vragen en zelfs onbeschreven vervolgvragen beantwoordden!

Figuur van Sorger et al. (2012)

Deze benadering is echter gebaseerd op een willekeurig lettercoderingsschema dat door de onderzoekers is ingesteld. Het is immers niet zo dat de letter “B” typisch wordt weergegeven in de hersenen door je voor te stellen dat je 30 seconden rent. Dit roept de vraag op: zijn dit soort benaderingen eigenlijk wel geschikt om hersenen te lezen?

Er zijn zeker meer directe pogingen gedaan om hersenactiviteit te decoderen. Zo was er een onderzoek dat letters wilde decoderen door gebruik te maken van de retinotopische eigenschappen van de hersenen, dat wil zeggen de manier waarop onze visuele cortex ruimtelijke relaties in kaart brengt op een manier die het werkelijke beeld in de visuele wereld die we zien weerspiegelt. Eerst bepaalden de onderzoekers welke delen van de visuele cortex welk deel van de visuele ruimte coderen. Met andere woorden, ze bepaalden voor elk deel van de visuele cortex met welk punt in het visuele veld het verbonden is. Op die manier konden de onderzoekers met behulp van activatiegegevens van de visuele cortex contouren van bekeken vormen reconstrueren, zoals de letters “H”, “T”, ‘S’ en “C”. Nog verbazingwekkender was dat hetzelfde gold voor het zich voorstellen van de letters! Hoewel de contouren zwakker waren, waren de letters nog steeds identificeerbaar.

were weaker, the letters were still identifiable.

Figuur van Sorger & Goebel (2020)

Dit bewijs van concept roept de vraag op hoeveel verder we kunnen gaan met dit idee van letterlijk lezen van de hersenen. Er loopt zelfs al een nieuw onderzoek waarbij dezelfde methoden worden gebruikt, maar dit keer willen ze alle 26 letters van het alfabet in kaart brengen. We kunnen gerust zeggen dat er spannende tijden aankomen. Vooral met de bouw van de 14 Tesla MRI-scanner (twee keer zo sterk als gewone scanners met ultrahoge velden) in Nijmegen zullen hogere resoluties met nog betere hersenlees prestaties waarschijnlijk mogelijk worden.

Neurofeedback
Naast het uitlezen van en conclusies trekken uit het neurale signaal, kan het ook gebruikt worden om mensen te helpen hun eigen hersenactiviteit in real time te reguleren. Deze benadering wordt neurofeedback genoemd, waarbij (een getransformeerde versie van) het real time fMRI-signaal wordt teruggekoppeld naar de proefpersoon die in de scanner ligt, zodra het is verkregen. Hoe werkt dit precies? Het blijkt dat proefpersonen snel een regulatiestrategie aanleren om het activiteitsniveau van een geselecteerd hersengebied te controleren (bijv. denken aan gezichten om het gezichtsgebied te activeren). Het huidige activeringsniveau van dat gebied wordt vervolgens weergegeven op een scherm (meestal met een thermometerachtige schaal). Op die manier krijgen proefpersonen feedback over of hun hersenactiviteit verandert zoals bedoeld of niet.

Dit opent een heel nieuw gebied van mogelijkheden, vooral voor klinische toepassingen. In een baanbrekend neurofeedback onderzoek werden deelnemers die leden aan chronische pijn aangemoedigd om het activiteitsniveau van hun eigen anterior cingulate cortex (ACC) te controleren, een hersengebied dat is gekoppeld aan pijnperceptie. Met behulp van het activiteitsniveau dat op het scherm voor hen werd weergegeven, regelden de deelnemers met succes de ACC-activiteit met behulp van verschillende strategieën, zoals het verschuiven van de aandacht naar/van pijnlijke sensaties. De coole bevinding hier is dat de hogere activatie in de ACC gecorreleerd was met lagere subjectieve pijnwaarderingen. Dit opent de mogelijkheid om chronische pijnpatiënten te helpen door hen regulatiestrategieën te laten ontwikkelen om de ACC-activiteit te verhogen. Vergelijkbare studies zijn uitgevoerd voor andere psychopathologieën zoals depressie, ook met veelbelovende resultaten.

Sommige onderzoeken hebben ook zogenaamde overdrachtseffecten gerapporteerd. Dit betekent dat wanneer deelnemers eenmaal met succes hebben geleerd hoe ze hun eigen hersenactiviteit kunnen reguleren met behulp van neurofeedback, ze dezelfde strategie ook buiten de scanner kunnen toepassen en niet meer afhankelijk zijn van neurofeedback. Dit opent een heel nieuw gebied van mogelijkheden, vooral voor klinische toepassingen. In een baanbrekend neurofeedbackonderzoek, waarbij deelnemers die aan neurofeedback leden hun persoonlijke regulatiestrategieën deelden met controlepersonen die geen toegang hadden tot neurofeedback, bleek dat deze strategieën minder effectief waren voor de controlepersonen. Dit kan als volgt worden geïnterpreteerd: om hun volledige effect te bereiken, hebben regulatiestrategieën veel geïndividualiseerde fijnafstemming nodig. Neurofeedback maakt een dergelijke fijnafstemming mogelijk door deelnemers hun eigen regulatiestrategie te laten ontwikkelen als reactie op hun individuele neurale dynamiek.

Hoe gaat het nu verder met het lezen van hersenen?
Dit zijn slechts enkele van de veelbelovende wegen die realtime fMRI heeft verkend. Dan blijven er nog enkele problemen over, namelijk de kosten en de draagbaarheid. Zoals je misschien weet, zijn fMRI-scanners zowel erg duur als erg groot, waardoor het regelmatig lezen van de hersenen voor veel patiënten erg moeilijk is. Gelukkig zien we op dit moment de opkomst van functionele nabij-infrarood spectroscopie (fNIRS), dat dezelfde soort activiteit meet als fMRI, maar in plaats daarvan detecteert met relatief goedkope en draagbare elektroden die infrarood licht door de cortex sturen. Dit veelbelovende hulpmiddel heeft tot nu toe nog niet al te veel populariteit verworven, maar naarmate er in de toekomst meer BCI-onderzoek wordt gedaan, zou realtime fNIRS wel eens een veelgebruikt alternatief voor realtime fMRI kunnen worden, waardoor de alledaagse taken van patiënten zoals beweging en communicatie in veel omgevingen gemakkelijker worden.

Auteur: Emil Stroecker

Referenties:

Alexander GE, Crutcher MD. Preparation for movement: neural representations of intended direction in three motor areas of the monkey. J Neurophysiol. 1990 Jul;64(1):133-50. doi: 10.1152/jn.1990.64.1.133. PMID: 2388061.

deCharms, R. C., Maeda, F., Glover, G. H., Ludlow, D., Pauly, J. M., Soneji, D., Gabrieli, J. D. E., & Mackey, S. C. (2005). Control over brain activation and pain learned by using real-time functional MRI. Proceedings of the National Academy of Sciences, 102(51), 18626–18631. https://doi.org/10.1073/pnas.0505210102

Looned, R., Webb, J., Xiao, Z., & Menon, C. (2014). Assisting drinking with an affordable BCI-controlled wearable robot and electrical stimulation: a preliminary investigation. Journal of NeuroEngineering and Rehabilitation, 11(1), 1–13. https://doi.org/10.1186/1743-0003-11-51

Mur, M., Bandettini, P. A., & Kriegeskorte, N. (2009). Revealing representational content with pattern-information fMRI—an introductory guide. Social Cognitive and Affective Neuroscience, 4(1), 101–109. https://doi.org/10.1093/scan/nsn044

Senden, M., Emmerling, T. C., Van Hoof, R., Frost, M. A., & Goebel, R. (2019). Reconstructing imagined letters from early visual cortex reveals tight topographic correspondence between visual mental imagery and perception. Brain Structure and Function, 224(3), 1167–1183. https://doi.org/10.1007/s00429-019-01828-6

Sorger, B., & Goebel, R. (2020). Real-time fMRI for brain-computer interfacing. Handbook of Clinical Neurology, 289–302. https://doi.org/10.1016/b978-0-444-63934-9.00021-4

Sorger, B., Reithler, J., Dahmen, B., & Goebel, R. (2012). A Real-Time FMRI-Based spelling device immediately enabling robust Motor-Independent communication. Current Biology, 22(14), 1333–1338. https://doi.org/10.1016/j.cub.2012.05.022

Quiles, E., Dadone, J., Chio, N., & García, E. (2022). Cross-Platform Implementation of an SSVEP-Based BCI for the Control of a 6-DOF Robotic Arm. Sensors (Basel, Switzerland), 22(13). https://doi.org/10.3390/s22135000

Weiskopf N. Real-time fMRI and its application to neurofeedback. Neuroimage. 2012 Aug 15;62(2):682-92. doi: 10.1016/j.neuroimage.2011.10.009. Epub 2011 Oct 14. PMID: 22019880.