Kan man forbedre taleforståelsen ved at styre fremtidens høreapparater ud fra synsretning og hjernebølger ? Ja, er det korte svar, når man spørger Carina Graversen, der er forsker ved Oticons selvstændige forskningscenter Eriksholm Research Center i udkanten af Helsingør.
Sammen med sine kolleger har hun de seneste fem år undersøgt, hvordan man kan bruge hjernens og øjnenes elektriske signaler til at fokusere et høreapparat på den taler, brugeren kigger på.
Helt konkret måler Carina Graversen de elektriske signaler fra hjernen, der opstår, når de mere end 11 milliarder nerveceller i hjernen er på arbejde, samt de elektriske signaler, der hele tiden er til stede i øjnene. Det gør hun med en lille elektrode, der placeres inde i øret. Efter flere års test har hun og hendes kolleger udviklet en metode til forholdsvist simpelt at måle, hvordan øjnene bevæger sig i forhold til næsen, hvilket giver en klar indikation af, hvem en høreapparatbruger taler med i et lokale med mange mennesker.
Hvis man ved, hvor en høreapparatbruger kigger hen, kan man justere høreapparatet, så lyden bedre modtages herfra, mens den omkringliggende støj filtreres væk.
»Vi prøver at forstå, hvordan man bedst kan styre høreapparatet, så vi kan hjælpe hørehæmmede med bedre at fokusere i situationer med meget baggrundsstøj,« siger Carina Graversen.
Hendes arbejde med at udnytte EEG-signaler begyndte som en del af EU-projektet Cocoha tilbage i 2015.
»Projektet startede oprindeligt med at anvende hjernens signaler, hvor udfordringen dengang var, at det tog et minut at foretage den beregning, og det er alt for lang tid at vente, når man står midt i en samtale på en restaurant, ligesom målingen blev lavet med en stor upraktisk hætte med elektroder, som ingen ville gå med ude i virkeligheden,« siger Carina Graversen.
Ret hurtigt fik det forskerne til at fokusere på øjnenes elektriske signaler som en indikator for, hvor brugeren kigger hen med stor nøjagtighed i retning og i, hvornår personen flytter blikket.
Siden de første forsøg for fire-fem år siden er der sket meget. Elektroderne er blevet bedre og mindre, så Oticon i dag har funktionelle elektroder, der kan placeres inde i øret, ligesom de matematiske modeller, der sorterer i hjernens forskellige elektriske impulser, er blevet mere effektive.
»I dag er vi nede på otte sekunders beregninger af hjernebølgerne for at bestemme, hvem man lytter til. Beregninger for at bestemme øjenbevægelserne er dog langt mindre og kan foretages stort set uden forsinkelse. Dette skyldes, at i traditionelle EEG-målinger er signalerne fra øjnenes bevægelser en af de helt store støjkilder. Fordi det signal er meget kraftigere end de andre signaler, kræver det ikke store matematiske modeller at isolere,« siger siger Carina Graversen.
Med udsigten til at få adgang til nye, endnu hurtigere enheder til signalbehandling, er det håbet, at Oticon i løbet af de næste år kan presse svartiden ned på millisekunder fra en EEG-elektrode i øregangen, som er koblet på en høreapparat.
Men kroppen er ikke altid helt så simpel at måle på, for når vi flytter blikket fra en person til en anden, sker det ikke kun med øjnene; vi bruger også hovedet og hele kroppen til at fokusere.
Derfor har Oticon-forskerne også brug for et gyroskop/accelerometer, der måler hovedets bevægelser.
Det at lave såkaldte brain-computer interfaces, hvor signaler fra hjernen omdannes til handlinger i f.eks. et høreapparat, en protese eller noget helt tredje er langtfra en ny disciplin. Ud over høreapparater har Carina Graversen arbejdet med proteser.
»Den type interfaces skal være nemme. Det dur ikke, at du skal løfte skulderen for at bevæge benet, for det er ikke en naturlig bevægelse. Det gode ved vores øjenstyring er, at det foregår helt naturligt, og man skal ikke anstrenge sig for at gøre det rigtigt,« siger Carina Graversen.
»En af de første brugertests var med min mor tilbage i 2016, og hun bliver ved med at spørge, hvornår løsningen kommer på markedet, og det er nogenlunde samme reaktion, vi får fra alle testpersoner. Så det kommer til at have en stor betydning for mange mennesker med høretab.
Oticon har også testet løsningen på almindeligt hørende, og her er tilbagemeldingen den samme - det virker, selv hvis man ikke har problemer med hørelsen i forvejen.
Oticon kalder indtil videre deres EEG-løsning for en restaurant problem solver, for det er netop i den type situationer, når vi sidder ved et bord i et lokale med meget støj, at en høreapparatbruger kan få ekstra glæde af den retningsbestemte styring.
»Hvis vi rejser os op og bevæger os rundt, så bliver udfordringen lige en tak større,« siger Carina Graversen.
Det indikerer samtidig, at løsningen kun er et skridt på vejen til at løse det endnu mere komplekse cocktail party problem: at kunne adskille stemmer fra hinanden, når de bevæger sig rundt i et støjende miljø.
Foreløbig kan restaurant-løsningen nemlig ikke direkte overføres til eksempelvis trafikken, hvor det kan have katastrofale konsekvenser, hvis al baggrundstøj sorteres fra.
»Vi er et godt skridt på vejen, men der dukker hele tiden nye udfordringer op. Eksempelvis kan det være trættende, og måske endda socialt akavet, hvis man hele tiden skal holde fokus på den person, man taler med. Der skal helst være plads til at kigge ned på tallerkenen eller tale kort med en tjener, uden at fokus forsvinder, og lydbilledet mudres,« siger Carina Graversen.
En bud på den udfordring kan være at bruge machine learning-algoritmer til at analysere, hvornår man taler direkte med en person i længere tid, og hvornår der kun er tale om en kort afbrydelse.
Selvom Oticon har arbejdet med at styre høreapparater med hjernebølger i snart fem år, er projektet stadig under udvikling, og der går formentlig omkring fem år, før et kommercielt tilgængeligt høreapparat kan justeres ved hjælp af elektriske signaler fra hjernen.
»Lige nu fokuserer vi på at fremstille udviklingshøreapparater med adgang til de nødvendige sensorer. De kan p.t ikke kobles trådløst på vores høreapparater. Vi er stadig på forskningsniveau, og vi er endnu ikke klar til at integrere det i selve høreapparatet.«
Hun nævner to primære udfordringer. Dels skal hardware kunne håndtere de nye ekstra beregninger, uden at batterilevetiden bliver forkortet, dels skal det pakkes ind i ekstremt små og lette høreapparater.
»Derudover skal vi have undersøgt, hvordan vi kommer tættest på en naturlig adfærd, altså hvordan vi bedst justerer høreapparatet efter input fra de elektriske signaler. Og vi skal hele tiden undersøge, hvordan andre teknologier påvirker vores høreapparater,« siger Carina Graversen.
For hvis det lykkes Oticon at fremstille en lille EEG-måler, der kan integreres i et høreapparat, åbnes der for en række nye teknologiske muligheder. Fremtidens høreapparater vil kunne styres direkte fra hjernen og øjnene uden brug af knapper og fjernbetjeninger, ligesom det løbende vil kunne tilpasse sig brugerens behov for mere eller mindre hjælp.
