close

Vores nyhedsbreve

close
Ved at tilmelde dig accepterer du vores Brugerbetingelser, og at Mediehuset Ingeniøren og IDA-gruppen lejlighedsvis kan kontakte dig om arrangementer, analyser, nyheder, tilbud mm via telefon, SMS og email. I nyhedsbreve og mails fra Mediehuset Ingeniøren kan findes markedsføring fra samarbejdspartnere.
den levende maskine bloghoved

Hvad er et neuralt netværk egentlig?

Kunstige neurale net (Artificial Neural Networks – ANN) generelt, og dybe net specielt er tidens hotte område inden for kunstig intelligens. Man har opnået mange gode resultater med denne teknik (f.eks. spille go, beskrive billeder, og oversætte sprog).

Men hvordan fungerer de egentlig? Jeg skal prøve at give en meget kort beskrivelse af det. Før vi kan tale om hvad dybe (kunstige) neurale net er kan vi starte med at se på hvad de basale dele af et kunstigt neural net er.

Biologiske neurale net

Kunstige neurale net er inspireret af biologisk neurale net som vi kender fra hjerner i alle dyr på jorden. I det abstraktionsniveau som er nyttigt her består et neutralt net af neuroner, axoner og dendritter. En neuron er en nervecelle som kan behandle strømsignaler som kommer ind via dendritter og sende nye elektriske signaler ud via axoner (se figur 1). Jeg skal ikke gå nærmere ind på den ionudveksling som muliggøre dette. Men blot henvise interesserede læsere til at slå det op. Den engelske udgave af wikipedia har en udmærket artikel her. Det er meget interessant, og uhyre meget mere kompliceret end man skulle tro.

Figur 1: Neuron

Kunstige neurale net

Et kunstigt neuralt net modellere kunstige neurale net på det abstraktionsniveau som indeholder neuroner, axoner og dendritter. Det er fundamentalt en graf (typisk en ikke-cyklisk rette graf) hvor kanterne svarer til axoner og dendritter (i kunstige neurale net skelner man ikke), og noderne svarer til neuroner (se figur). Hver kant har en vægt tilknyttet som bestemmer hvor meget hver værdi skal vægtes med.

Hver node har en aktiveringsfunktion som typisk summerer værdierne på de kanter som peger ind i noden (dendritter) og aktiverer de kanter som peger ud af noden (axoner), givet at en eller anden tærskelværdi er overskredet.

Figur 2: Neuralt net

Men et kunstigt neuralt net (og et biologisk) er ikke noget værd uden en måde at få det til at lære noget på. Dette er fundamentet for alle maskinlæringsmetoder: det at træne en model til at lave beslutninger.

Læring i neurale net

Lidt mere formelt er idéen bag maskinlæring generelt er at der findes en funktion som mapper inputværdier til outputværdier (I et ANN findes input værdierne på inputnoderne og outputværdien på outputnoderne). Hvis man kender denne funktion er man færdig og kan gå hjem. Hvis ikke, kan man bruge en maskinlæringsalgoritme til at lære den.

Kort fortalt fremsætter sådan en algoritme en hypotese om denne funktion som man så kan gå at teste. Hvis fejlen er for stor justerer man sin algoritme (lærer). Dette blive man ved med indtil fejlen er tilstrækkelig lille; eller at hypotesen er tilstrækkelig tæt på den virkelige funktion, om man vil. Dette kaldes overvåget læring (supervised learning). Denne fremgangsmåde kræver naturligvis at vi har nogle eksempler på kendte mappinger mellem input- og outputværdier.

En ANN er i princippet sådan en (stor) funktion hvor præcisionen er afhængig af alle vægtene. Den underliggende idé er at man kan justere vægtene på kanterne med en værdi som er afhængig af fejlen nettet producerer. Den bedst kendte måde at gøre dette på er ved at bruge backpropagation.

Meget simpelt går backpropagation ud på at man præsentere en ANN for noget input. Det kan f.eks. være et billede man ønsker at klassificere. Så propagerer man værdier ned igennem nettet. Nu kan man sammenligne det output som nettet giver med det man ved det skal være (husk dette er overvåget læring). Hvis svaret ikke er perfekt kan man propagerer fejlen tilbage og ændre vægtene i kanterne. Dette bliver man ved med indtil fejlen er tilstrækkelig lille. Hvis man er interesseret i mange flere detaljer er dette et godt sted.

Når man har kørt sin backpropagation på sit træningssæt er man klar til at verificere nettet på en testsæt. Det er essentielt at man holder disse to sæt adskilte. Ellers løber man nemt risikoen for at overtræne på et subsæt af verden (overfitting) og derved midste enhver generaliserbarhed. Hvis testen er god kan man gå i produktion.

Dette var en ultra kort, og ikke specielt teknisk introduktion til kunstige neurale net. For de specielt interesserede er der rigtig meget litteratur tilgængelig. De engelske wikipedia-sider er ganske udmærkeder. Ellers kan jeg anbefale Rojas' fremragende bog Neural Networks - A Systematic Introduction. Den er ikke helt ny men er stadigvæk en af de bedste.

Næste gang skal vi kigge på de dybe net.

Anders Kofod-Petersen
er professor i kunstig intelligens og vicedirektør i Alexandra Instituttet.

Svar på:

Kunstige neurale net er inspireret af biologisk neurale net som vi kender fra hjerner i alle dyr på jorden. I det abstraktionsniveau som er nyttigt her består et neutralt net af neuroner, axoner og dendritter.

Astrocytter "regerer" i vores hjerne?:

RIKEN. (2016, April 25). Change in the brain: Astrocytes finally getting the recognition they deserve. ScienceDaily:
Citat: "...
Until recently, synaptic strength was thought to change only at synapses of active presynaptic neurons. Now, RIKEN scientists have shown that the truth is more complicated, and more interesting.
...
"We have found an active mechanism that helps to increase variation in synaptic strength," explains lead scientist Yukiko Goda, "and surprisingly, it comes from astrocytes, which have previously been thought to play mostly passive roles in the brain."
..."

University of Gothenburg. (2012, August 24). Astrocytes control the generation of new neurons from neural stem cells. ScienceDaily.

September 27, 2012, scitechdaily.com: Study Suggests that Astrocytes are Critically Important for Processing Sensory Information:
Citat: "...
The findings, published this week in the online edition of the Proceedings of the National Academy of Sciences, are the latest in a growing body of evidence suggesting that astrocytes are critically important for processing sensory information, says Mriganka Sur, the Paul E. and Lilah Newton Professor of Neuroscience at MIT and senior author of the paper.
[]
Sur’s lab has been studying astrocytes for about five years, as part of a longstanding interest in revealing the functions of different cell types in the cortex. The star-shaped cells were first discovered and named 150 years ago, but since then, “it’s been a mystery what they do,” says Sur, who is a member of MIT’s Picower Institute for Learning and Memory and director of the Simons Center for the Social Brain at MIT.
...
“If you are paying attention to something, which causes this release of acetylcholine, that leads to a long-lasting memory of that stimulus. If you remove the astrocytes, that doesn’t happen,” Sur says.
..."

October 10, 2014, scitechdaily.com: Previously Unknown Mechanism Repairs Brain after Stroke:
Citat: "...
The researchers have shown that following an induced stroke in mice, support cells, so-called astrocytes, start to form nerve cells in the injured part of the brain. Using genetic methods to map the fate of the cells, the scientists could demonstrate that astrocytes in this area formed immature nerve cells, which then developed into mature nerve cells.
..."

  • 1
  • 0

Ja, det er meget kompliceret. Jeg vil gå så langt som at sige at det er helt fantastisk kompliceret. Heldigvis kan man tillade sig et meget simplere abstraktionsniveau når man blot har en computationelmodel som er inspireret af biologien. Men tak for referencerne. Nu har jeg lidt læsestof til weekenden.

  • 2
  • 0

Ja, det er meget kompliceret. Jeg vil gå så langt som at sige at det er helt fantastisk kompliceret. Heldigvis kan man tillade sig et meget simplere abstraktionsniveau når man blot har en computationelmodel som er inspireret af biologien. Men tak for referencerne. Nu har jeg lidt læsestof til weekenden.

Lidt mere om astrocytter:

12. januar 2014, videnskab.dk: Overraskende studie: Skal hjernen tænkes helt om? Vores følelser og tanker er muligvis ikke kun styret af hjernens nerveceller, antyder en ny undersøgelse. Studiet åbner en ny dør ind til, hvordan hjernen og sindet fungerer, mener danske forskere:
Citat: "...
»Vores undersøgelse peger på, at man ikke længere kan studere, hvordan hjernen skaber mentale funktioner uden at tage astrocytterne med i beregningerne,« siger Barbara Lykke Lind, postdoc på Institut for Neurovidenskab og Farmakologi ved Københavns Universitet.
...
Astrocytter har endda langt mere komplekse forbindelser til hinanden end neuronerne.
..."

-

Nogle andre interessante indlæg om neuroner:

Re: Rigtig intelligens, kræver kvantefysik.

fx:

University Of Southern California. (2004, June 16). Gray Matters: New Clues Into How Neurons Process Information. ScienceDaily:
Citat: "...
"It's amazing that after a hundred years of modern neuroscience research, we still don't know the basic information processing functions of a neuron," said Bartlett Mel.
...
"We show that the cell significantly violates that rule," Mel said.
The team found that the summation of information within an individual neuron depends on where the inputs occur, relative to each other, on the surface of the cell.
..."

University Of California - Los Angeles (2004, December 14). UCLA Neuroscientist Gains Insights Into Human Brain From Study Of Marine Snail. ScienceDaily:
Citat: "...
"Our work implies that the brain mechanisms for forming these kinds of associations might be extremely similar in snails and higher organisms. People may think invertebrates are not very sophisticated, but we don't appreciate just how complicated their nervous systems are, and how complex their behaviors are.
[]
We don't fully understand even very simple kinds of learning in these animals."
..."

University College London. (2010, August 13). Single neurons can detect sequences. ScienceDaily:
Citat: "...
Surprisingly, they found that each sequence produced a different response, even when it was delivered to a single dendrite. Furthermore, using theoretical modelling, they were able to show that the likelihood that two sequences can be distinguished from each other is remarkably high.
..."

Hjerneforskning - Mikrotubuli.

11. december 2013, videnskab.dk: Orme husker uden hjerner:
Citat: "...
En særlig art af fladorme kan ikke alene overleve at få hugget hovedet af, de kan også gro et nyt. Og nu er det tilmed bevist, at det nye hoved kan huske, hvad det gamle lærte. Det fører til nye spekulationer om, hvor vores bevidsthed egentlig sidder.
..."

Hjernen er plastisk i en grad, så man har svært ved at tro det.

-

Nutidens bedste analyseinstrumenter kan gå hjem og vugge - de bliver basket af banen af vores øres ekstraordinære gode ulineare signalbehandling. Det samme gælder selvfølgelig nutidens AI og robotters signalbehandling.

De fleste forskere undgår ulinear analyse fordi det er for kompliceret.

Jan 31, 2013, physicsworld.com: Human hearing is highly nonlinear:
Citat: "...
People can simultaneously identify the pitch and timing of a sound signal much more precisely than allowed by conventional linear analysis. [f.eks. wavelet transformation og link ] That is the conclusion of a study of human subjects done by physicists in the US. The findings are not just of theoretical interest but could potentially lead to better software for speech recognition and sonar.
...
Oppenheim and Magnasco discovered that the accuracy with which the volunteers determined pitch and timing simultaneously was usually much better, on average, than the Gabor limit. In one case, subjects beat the Gabor limit for the product of frequency and time uncertainty by a factor of 50, clearly implying their brains were using a nonlinear algorithm.
...
Mike Lewicki, a computational neuroscientist at Case Western Reserve University in Ohio, says the research is "a nice demonstration that our perceptual system is doing complex things – which, of course, people have always known – but this is a nice quantitative demonstration by which, even at the most basic level, using the most straightforward stimuli, you can demonstrate that the auditory system is doing something quite remarkable".
..."

University of California - San Diego (2010, July 5). Our brains are more like birds' than we thought. ScienceDaily:
Citat: "...
In the latest research, they used modern, sophisticated imaging technologies, including a highly sensitive tracer, to map a region of the chicken brain (part of the telencephalon) that is similar to the mammalian auditory cortex. Both regions handle listening duties. They discovered that the avian cortical region was also composed of laminated layers of cells linked by narrow, radial columns of different types of cells with extensive interconnections that form microcircuits that are virtually identical to those found in the mammalian cortex.
The findings indicate that laminar and columnar properties of the neocortex are not unique to mammals, and may in fact have evolved from cells and circuits in much more ancient vertebrates.
..."

-

Fri vilje?

11 Apr 2006, arxiv.org: The Free Will Theorem, JOHN CONWAY AND SIMON KOCHEN:
Citat: "...
Do we really have free will, or, as a few determined folk maintain, is it all an illusion? We don’t know
...
It is hard to take science seriously in a universe that in fact controls all the choices experimenters think they make.
...
It is also hard to take seriously the arguments of those who according to their own beliefs [!] are deterministic automata!
...
The authors strongly believe, [!] however, that there is a way our brains prevent some of this cancellation, so allowing us to integrate what remains and producing our own free will.
...
Einstein could not bring himself to believe that “God plays dice with the world,” but perhaps we could reconcile him to the idea that “God lets the world run free.”
..."

  • 0
  • 0