Neuromorphic computing: Fremtidens computer skal arbejde som en menneskehjerne

13. maj 2019 kl. 16:1817
Neuromorphic computing: Fremtidens computer skal arbejde som en menneskehjerne
Intel har udviklet en speciel chip kaldet Loihi til brug ved forskning i neuromophic computing. Chippen består af 2,07 milliarder transistorer og er opbygget, så de fungerer som 131.072 neuroner og 130.000.000 synapser. Illustration: Intel.
Energiforbruget bliver den største udfordring for fremtidens computere til kunstig intelligens. Derfor forsøger forskere på Aarhus Universitet at udvikle teknologi, der er i stand til at fungere som den menneskelige hjerne: med enorm kraft og lille energiforbrug.
Artiklen er ældre end 30 dage

Neuromorphic computing Fremtidens computer skal arbejde som en menneskehjerne

bg@ing.dk

Flashback til ingeniørstudiet omkring 1990 - vi er tre håbefulde studerende, som har fået til opgave at programmere en simpelt stykke software, som skal efterligne neuroner i en hjerne. Lokaliteten er en stor såkaldt data- bar på universitetet, med et utal af små skærme med grøn skrift og en enorm linjeskriver i et tilstødende lydisoleret rum.

Vi har fået tildelt et meget begrænset antal sekunder på den centrale computer og bakser med at få Fortran-programmet til at kompilere vores kodning af de enkelte hjerneneuroner. Jeg husker ikke, hvor mange neuroner vi havde med i programmet, eller hvordan de interagerede, men antallet var helt sikkert lavt, og deres indbyrdes forhold simpelt.

Artiklen fortsætter efter annoncen

I dag har hardwareudviklingen for længst mangedoblet mulighederne for at gøre programmer ekstrem komplekse og antallet af knudepunkter enormt. Den udvikling er især blevet brugt til mere og mere avancerede neurale netværk ført an af giganter som Googles Tensorflow og Microsoft Azure.

Grundlæggende bygger den type systemer på det, vi normalt kender som ‘von Neumann’-computerteknologi, og vil i takt med, at antallet af processer stiger, forbruge enorme mængder energi.

Det kom tydeligt til udtryk, da Apple besluttede at lægge et datacenter ved Viborg og i den forbindelse kunne fortælle, at centret ville forbruge cirka tre procent af Danmarks samlede elforbrug.

Lavt energiforbrug

Men hvad nu, hvis det kan gøres anderledes – både hurtigere og med langt lavere energiforbrug? Princippet hedder neuromorphic computing, og de første ideer begyndte at opstå i slutningen af 1980’erne. Udgangspunktet dengang og i dag er, at den menneskelige hjerne fungerer helt anderledes end både traditionelle computere og neurale netværk. Hjernen er i stand til at udføre helt ekstremt komplicerede funktioner, som for eksempel genkendelse af ansigter, lynhurtigt og med et meget lille energiforbrug.

Artiklen fortsætter efter annoncen

Også begreber som beslutninger på basis af begrænset information (hvad vi mennesker måske kunne kalde for intuition) og lagring af information på en måde, der ikke kræver enorme fysiske lagre, er noget af det, forskerne forfølger.

Siden de første ideer til neuro­morphic computing opstod, har det udviklet sig til en bred vifte af systemer, der både kan bygge på rene softwareplatforme og fysiske chips, som for eksempel Intels forskningschip kaldet ‘Loihi’. Med Loihi er det muligt blandt andet at simulere processer, som de muligvis foregår i den menneskelige hjerne, ved hjælp af 130.000 neuroner, som hver især kan kommunikere med tusindvis af andre neuroner.

I runde tal vurderer eksperter, at de nuværende neuromorphiske computersystemer allerede er i stand til at udføre beregninger med et energiforbrug, der er op mod en million gange lavere end traditionelle CMOS-teknologier, hvis der alene ses på antallet af operationer/sekund/watt/cm3.

Forskere kigger på ny teknologi

Derfor skal neuromorphic computing også ses som et interdisciplinært forskningsfelt, hvor biologi, fysik, matematik, it og elektronik mødes.

På Aarhus Universitet er lektor Farshad Moradi involveret i flere europæiske projekter omkring neuromorphic computing, der har til formål at udforske og forstå, hvordan hjernen håndterer data, og derigennem kopiere processerne ved hjælp af nye teknologier:

»Vi kigger på ny teknologi, der kan efterligne hjernens synapser og neuroner og indgå i et neuralt netværk. Allerede i dag kan vi se, at vi med ny teknologi vil kunne opbygge en kunstig neuron med en størrelse på cirka 20x20x20 nm3, hvor vi med traditionel teknologi skal op i måske 100x100x250 um3,« fortæller han.

Konkret arbejder forskerne med memristorer til at efterligne synapser og spintronics til at efterligne neuroner, og et af de praktiske resultater kunne være at opbygge en komponent, som kunne indopereres i en hjerne som erstatning for et område, der er blevet skadet.

»Vi har gennem årene set neurale netværk komme i bølger. Jeg tror, at hvis vi skal videre herfra, hvor vi er nu, så vil det være nødvendigt at skifte teknologi – for eksempel til memristorer og nye teknologier som spintronics,« siger Farshad Moradi.
Farshad Moradi taler 27. maj kl. 16.00 på konferencen Deep Tech Day i Aarhus om ‘Emerging technologies bring Neuromorphic computing closer to the Brain’. Læs mere om konferencen i spalten til højre.

Intel har udviklet en speciel chip kaldet Loihi til brug ved forskning i neuromophic computing. Chippen består af 2,07 milliarder transistorer og er opbygget, så de fungerer som 131.072 neuroner og 130.000.000 synapser. Foto: Intel

17 kommentarer.  Hop til debatten
Debatten
Log ind eller opret en bruger for at deltage i debatten.
settingsDebatindstillinger
17
14. maj 2019 kl. 18:57

Do you use an FPAA with integrated memristors?

I have read that it is common today because it is necessary to check whether the memristors work - they are still difficult to make and often fails.

If you buy a memristor, they typically have a cycle endurance of 100M. Is it a problem when used for neural networks? Or is it just a problem if it is used as a memory?

https://knowm.org/downloads/Knowm_Memristors.pdf

16
14. maj 2019 kl. 18:01

Not only IBM ibut also other big companies are working on the development of such computers for future computing...IBM is mostly focusing on Phase change materials for implementing Synapses while Intel is working more towards spintronics.... In general, we can imagine multi-core processors in future with cores working in different technologies and different mechanisms. One core for arithmetic one core based on neural network.... Let's say we have a computer with few Neuromorphic Computing Processor (NCP), a/few GPU processors, few General Purpose Processors ....

14
14. maj 2019 kl. 08:27

IBM Research has worked in this field for many years and we have come quite far. We have delevelop the True North (prev SyNAPSE) neuromorphic chip with 1 million electronic neurons and 256 million electronic synapses (and that was back in 2014...). We have also together with Samsung developed production methods using existing production technology. We see great potential for this technology - due to its massive parallel processesing capabilities - in ML /DLL based applications, in signal processing (e.g. sound and video) and the potential to bring 'super computer power' to the edge. Application areas could be in autonomous vehichles. hearing aids, real time video analytics, financial model simulations, optimization etc... Read more here:

https://www.zurich.ibm.com/st/neuromorphic/architecture.html

13
13. maj 2019 kl. 21:49

I know you can buy memristors today in the store, but these components have some problems with durability if used as a flash, for example.

Could there be problems with durability when used as an analog component?

How many times can memristor be cycled?

12
13. maj 2019 kl. 20:35

It's interesting how brain's computational perfornmance is superior to the best computer chips today, despite I assume the speed of the nerve signals and the switching time of the neurons are much slower. Or is that correct?

11
13. maj 2019 kl. 19:14

hey often use more power

In general, looking at our brain we are talking about analog design, where data are coming in millions of parallel processors converging into an answer at the end. These devices are not charge-based but for example spin-based for implementing neurons where all the inputs weighted through synapses (implemented using memristors where their resistances are defined based on the currents passing through them and they can memorize it: a non-volatile memory that can save a weight in an almsot zero power) are summed up in these spin-based devices (spin-transfer torque magnetic tunnling junction or spin torque nano-oscillators etc.) and if the summed up current above a threshold, the device fire (changes the magnetization or oscillates). They require extremely low power for switching or oscillation and no power to keep your data. Hope it is clear :)

9
13. maj 2019 kl. 18:32

@Jens D. Madsen
Du siger egentlig, at kredsløbets temperatur / køling er dimesionerende, og at den højere kredsløbstæthed alene er mulig fordi energiforbruget er mindre - altså større kredsløbstæthed - men i det væsentlige samme W/m2 på chips gennem tiden.</p>
<p>Men heraf følger, at energiforbruget falder omvendt som Moore’s lov.</p>
<p>Men 2+2 har ikke ændret siden den første chip. Det som har ændret sig er, at vi ikke vil nøjes med regnemaskine-kompleksitet, men laver komplicerede algoritmer, som kræver flere Ws (energi), istedet for 2+2.

Nej. Energiforbruget er omvendt proportional med antallet af transistorer per areal. Flere transistorer, giver lavere areal per transistor, og dermed lavere energiforbrug per beregning. Er muligt at opnå det dobbelte antal transistorer per arealenhed, så vil energiforbruget typisk være det halve per udregning.

Det som er problemet er grådighed. Vi vil gerne have mere.

Med mindre størrelser, får vi flere transistorer, mindre energiforbrug, og større hastighed. Og ganger vi alt dette sammen, så får vi problemer.

Det hænger næsten sammen, hvis vi ganger større hastighed og lavere energiforbrug sammen. Så stiger effektforbruget ikke væsentligt når geometrierne mindskes. Vi får større hastighed, og samme energiforbrug. Det er faktisk faldet lidt, da vi også reducerer spændingen lidt.

Men, når vi så også ganger flere transistorer på, så risikerer vi problemer, hvis disse transistorer skifter. Der er kun energiforbrug for transistorer som skifter. Vi må gerne bruge dem, men de må ikke lave noget. Og de virker endda som køleplade for dem der arbejder, så det er altid godt, med mange arbejdsløse transistorer.

8
13. maj 2019 kl. 18:12

Nice naming :) Guess computers if I read it correctly. That's the way our brain works

Yes, what I am saying is that they could be quite useful, but if we are to be sure of the results, we must have a proof. As humans, we have many ideas, but must sort them by means of evidence.

We agree that normal computers are close to what is physically possible. So far, energy consumption has been lower for each generation and we have both more transistors and lower energy. But since it is harder to get it smaller, we are not able to reduce the energy in the future.

I think the future is to reduce energy consumption by developing better algoithms.

7
13. maj 2019 kl. 18:03

@Jens D. Madsen Du siger egentlig, at kredsløbets temperatur / køling er dimesionerende, og at den højere kredsløbstæthed alene er mulig fordi energiforbruget er mindre - altså større kredsløbstæthed - men i det væsentlige samme W/m2 på chips gennem tiden.

Men heraf følger, at energiforbruget falder omvendt som Moore’s lov.

Men 2+2 har ikke ændret siden den første chip. Det som har ændret sig er, at vi ikke vil nøjes med regnemaskine-kompleksitet, men laver komplicerede algoritmer, som kræver flere Ws (energi), istedet for 2+2.

6
13. maj 2019 kl. 17:53

Nice naming :) Guess computers if I read it correctly. That's the way our brain works. Stochastic computing is low power and energy efficient and this is where some cognitive computers of future can be built based on how the brain works. Looking at quantum computing, is it proper for all types of applications? The answer is no. Neuromorphic computing is the same at this stage. Our brain simply cannot do arithmetics as fast as even a simple calculator. But this doesn't mean that it doesn't have the potential. Needs more training to be able to give the answer with a high accuracy. But what should be the focus, with the ever growing BIG DATA, with a high contributing from images/videos that need to processed, approximate computing is more than enough.

5
13. maj 2019 kl. 17:49

I am not sue if I understand you well or not. Current von-Neumann computing are facing different barriers including memory and power walls. In general we are hitting a point where we cannot increase the frequency of the existing technology anymore from the power wall point of view while it doesnøt make sense from the memory point of view. Somehow at the end of road (Although we still can discuss if this is really the case). Brain is an example of highly compact power-efficient computing system benefiting from massive parallelism of processing cores (Neurons) when it comes to cognitive computing. The human brain is orders of magnitudes better in terms of performance compared to super super computers (peration/sec/Watt/cm3). To implement brain-like computers, if we really like it for cognitive computing, we need devices with extremely low power while small to implement neurons and so the synapses (area of much less than1um2 for implementing a neuron or a synapse). With the current technology, simply not doable. New technologies behaving like brain's synapses and neurons are needed. Technologies like spintronics and memristors can play a big role here.

4
13. maj 2019 kl. 17:45

Indenfor naturens verden er det sådan, at naturen er matematiker, og alt kan bevises matematisk. Der er en matematisk sammenhæng uden konflikter.

Hvis vi laver computere, skal vi også kunne forstå hvordan de fungerer matematisk. Man bygger ikke en computer på tro. Tro holder ganske enkelt kun i retten. Det holder ikke i den matematiske verden. Der skal beviser til. Først, når der er matematiske beviser, er det ikke mere tro, men naturvidenskab.

Desværre føler jeg, at når man søger at kopiere den måde at vores hjerne fungerer, at det så ikke skyldes matematisk og datalogisk viden, men kun tro. Det er religion. Og ikke en videnskab. Resultaterne kan og må kun bruges, når de vedlægges beviser, der kan sikre at resultatet er et korrekt svar.

3
13. maj 2019 kl. 17:35

Jeg tror de nye computere ikke er deterministiske, og dermed ikke kan bruges i elektronik, der skal være pålideligt. Ingen ved, hvordan det fungere, og hvad det giver af svar. Bruges det til at lave budgetter, så kan sammenlignes med ferielovgivning, og kreativ bogholderi. Der vil opstå nye fysiske love, der ganske enkelt ikke hænger samme matematisk.

Dette udelukker naturligvis ikke, at computerne kan anvendes til gætværk. Men, enten skal deres resultater eftervises med en normal computer, og de skal kunne levere bevis der kan eftervises ved almindelige deterministiske beregninger, eller resultatet kan kun bruges som alternativ til en tilfældighedsgenerator. Jeg syntes det er overdrevet, at kalde en tilfældighedsgenerator for en computer, selvom den måske afgiver "intelligent støj".

2
13. maj 2019 kl. 17:26

Men er der en alvidende læser som kender et link til en kurve for “energiforbrug” over tid for computer HW. Mon ikke det er relativt faldende - kredsløbene er mere effektive ?

Energiforbruget afhænger af kapaciteten, og kapaciteten afhænger - rundt regnet - af størrelsen. Så desto lavere areal, desto lavere energiforbrug per beregning. Så det er meget enkelt. Det, at vi får mulighed for at anvende flere transistorer, gør at vi algorithmeteknisk måske også kan anvende metoder, der har et lavere energiforbrug, men det er ikke normalt at man gør det - tværtimod, så plejer man at gøre det modsatte. Energiforbruget værdsættes meget lavt, og man øger gerne kompleksiteten for at udkompensere energiforbedringer.

1
13. maj 2019 kl. 16:41

Det er jo rigtigt, at de store og moderne it-centre bruger megen energi - men det er jo relativt uinteressant i forhold til energi per udført beregning.

De fleste kender Moore’s lov, som handler om HW udvikling, og den er eksponentiel. Men er der en alvidende læser som kender et link til en kurve for “energiforbrug” over tid for computer HW. Mon ikke det er relativt faldende - kredsløbene er mere effektive ?

Men derfor kan det godt være, at ny hjernelignende beregningsteknologi er endnu mere effektiv.