Neurowetenschappers leren computers om woorden rechtstreeks uit de hersenen van mensen te lezen.
Kelly Servick, die voor Science schrijft, rapporteerde deze week over drie artikelen die op de preprint-server bioRxiv waren gepost, waarin drie verschillende teams van onderzoekers aantoonden dat ze spraak konden decoderen uit opnames van afvallende neuronen. In elk onderzoek registreerden elektroden die direct op de hersenen waren geplaatst neurale activiteit terwijl hersenchirurgische patiënten naar spraak luisterden of woorden voorlezen. Vervolgens probeerden onderzoekers erachter te komen wat de patiënten hoorden of zeiden. In elk geval konden onderzoekers de elektrische activiteit van de hersenen omzetten in op zijn minst enigszins verstaanbare geluidsbestanden.
Het eerste artikel, geplaatst op bioRxiv op 10 oktober 2018, beschrijft een experiment waarin onderzoekers spraakopnames speelden voor patiënten met epilepsie die midden in een hersenoperatie zaten. (De neurale opnames die in het experiment werden gemaakt, moesten zeer gedetailleerd zijn om te worden geïnterpreteerd. En dat detailniveau is alleen beschikbaar in de zeldzame gevallen waarin hersenen aan de lucht worden blootgesteld en elektroden er rechtstreeks op worden geplaatst, zoals bij hersenchirurgie) .)
Terwijl de patiënten naar de geluidsbestanden luisterden, namen de onderzoekers neuronen op die vuren in de delen van de hersenen van de patiënt die geluid verwerken. De wetenschappers probeerden een aantal verschillende methoden om die neuronale schietgegevens om te zetten in spraak en ontdekten dat 'deep learning' - waarbij een computer een probleem min of meer zonder toezicht probeert op te lossen - het beste werkte. Toen ze de resultaten speelden via een vocoder, die menselijke stemmen synthetiseert, voor een groep van 11 luisteraars, konden die individuen de woorden 75 procent van de tijd correct interpreteren.
Je kunt hier audio van dit experiment beluisteren.
Het tweede artikel, geplaatst op 27 november 2018, was gebaseerd op neurale opnames van mensen die een operatie ondergingen om hersentumoren te verwijderen. Terwijl de patiënten woorden met één lettergreep hardop lazen, namen de onderzoekers zowel de geluiden op die uit de mond van de deelnemers kwamen als de neuronen die vuren in de spraakproducerende gebieden van hun hersenen. In plaats van computers diepgaand op elke patiënt te trainen, leerden deze onderzoekers een kunstmatig neuraal netwerk om de neurale opnames om te zetten in audio, wat aantoonde dat de resultaten op zijn minst redelijk begrijpelijk waren en vergelijkbaar met de opnames gemaakt door de microfoons. (De audio van dit experiment is hier, maar moet worden gedownload als zip-bestand.)
Het derde artikel, geplaatst op 9 augustus 2018, vertrouwde op het opnemen van het deel van de hersenen dat specifieke woorden omzet die een persoon besluit te spreken in spierbewegingen. Hoewel er geen opname van dit experiment online beschikbaar is, rapporteerden de onderzoekers dat ze hele zinnen konden reconstrueren (ook opgenomen tijdens hersenchirurgie bij patiënten met epilepsie) en dat mensen die naar de zinnen luisterden ze correct konden interpreteren op een meerkeuzevraag test (van de 10 keuzes) 83 procent van de tijd. De methode van dat experiment was gebaseerd op het identificeren van de patronen die betrokken zijn bij het produceren van individuele lettergrepen, in plaats van hele woorden.
Het doel van al deze experimenten is om het mensen op een dag mogelijk te maken om te spreken (als gevolg van amyotrofe laterale sclerose of vergelijkbare aandoeningen) om via een computer-naar-herseninterface te spreken. De wetenschap voor die toepassing is er echter nog niet.
Het interpreteren van de neurale patronen van een persoon die zich alleen maar een voorstelling van spraak maakt, is ingewikkelder dan het interpreteren van de patronen van iemand die luistert naar of spraak produceert, meldde Science. (De auteurs van het tweede artikel zeiden echter dat het interpreteren van de hersenactiviteit van iemand die zich een voorstelling maakt van spraak mogelijk kan zijn.)
Het is ook belangrijk om in gedachten te houden dat dit kleine onderzoeken zijn. Het eerste artikel was gebaseerd op gegevens van slechts vijf patiënten, terwijl het tweede artikel zes patiënten en het derde slechts drie onderzocht. En geen van de neurale opnamen duurde meer dan een uur.
Toch gaat de wetenschap vooruit, en apparaten voor kunstmatige spraak die rechtstreeks op de hersenen zijn aangesloten, lijken op een bepaald moment op de weg een reële mogelijkheid.
