AI-hyldevarer fører til algoritmisk indavl

AI-udviklere i dag behøver kun sjældent at starte fra bunden. I stedet kan de online hente en enorm model, som allerede er trænet på eksorbitante mængder data, og finjustere den til netop den opgave, de forsøger at løse.

Transfer learning – som teknikken kaldes – kan væsentligt sænke kravene til at skabe en tilstrækkeligt god AI-model. Det kræver langt mindre computerkraft end at træne en tilsvarende model fra bunden og gør det muligt at bygge AI-systemer til områder, hvor der ­ellers aldrig kunne indsamles nok data.

Det er med andre ord en genvej til AI-succes. Men den har en pris. For i takt med at modellerne bliver større, vokser også ofte deres bias. Og mængden af data, der skal til at træne dem, vokser, indtil databaserne er så store, at intet menneske kan gennemskue, hvad modellerne fodres med. Træningen er samtidig så dyr, at det stort set kun er tech-giganter, der har råd.

Stadigt flere AI-systemer bygges i dag oven på den samme lille gruppe effektive prætrænede modeller. Det betyder, at forbedringer til en af de store modeller kan slå igennem på en lang række NLP-opgaver.

Men det kan også lede til en form for algoritmisk ­indavl, hvor søgemaskiner, chatbots, oversættelsestjenester m.v. risi­kerer at arve de samme problematiske bias, som findes i nogle få store, prætrænede modeller. Og mange ­store, prætrænede modeller er tilfældigvis fyldt med problematiske bias.

En lænestol, der imiterer en avocado

På Stanford University, der i årtier har været et kraftcenter i AI-forskning, satte over 100 forskere sig i august sammen og producerede et dokument på næsten 200 sider for at beskrive muligheder og risici forbundet med disse store modeller, som de samlet har givet navnet foundation models. Navnet alene har udløst heftig ­debat, men det vender vi tilbage til.

Fælles for modellerne er, at de er trænet på computer­kraft og på en datamængde på hidtil uhørt skala – og at de er langt større end tidligere modeller.

Da OpenAI i 2019 udviklede den dengang ­skelsættende sprogmodel GPT-2 havde den i sin største version 1,5 milliarder parametre. Da efterfølgeren GPT-3 kom alle­rede året efter, var det tal steget til 175 milliarder. I okto­ber i år har Microsoft og Nvidia i fællesskab præsenteret sprogmodellen Metatron-Turing NLG, der kan bryste sig af 530 milliarder parametre.

Det er, når modellerne kommer op i denne skala, at der opstår funktionalitet, som ikke ses i de mindre modeller. Funktionalitet, som selv udviklerne af modellerne ikke havde forudset.

GPT-3 er alene trænet til at generere sprog. Giver man den et stykke tekst, kan den komme med et plausibelt bud på, hvad næste ord skal være. Men den er også i stand til at lære at løse nye opgaver ad hoc – som f.eks. oversættelser fra engelsk til fransk og opsummeringer – alene baseret på det tekst-prompt, der sætter den i gang.

Og det slutter ikke ved sprog. OpenAI har lavet DALL-E, der er en version af GPT-3 trænet på en kombination af billeder og tekst. Også her blev forskerne overrasket af de emergent capabilities, der opstod i modeller – som evnen til at ‘oversætte’ et billede til et andet med et prompt. Og evnen til at kombinere vidt forskellige koncepter i billed-generering – som f.eks. ‘en lænestol, der imiterer en avocado’.

Disse ‘fremspirende evner’ er med til at ­kendetegne den nye klasse af kæmpemodeller, der har flyttet grænserne for AI’s evne til at processere sprog, og som ­hastigt er ved at indtage andre domæner.

Men selvom forskere er glædeligt overrasket over de egenskaber, der pludselig dukker op, når modellerne bliver større, så vækker det også bekymringer. For model­lerne er svære at forstå, og det er stadig ikke klart, hvad de er i stand til, og hvornår de fejler.

Store modeller, store problemer

Et godt eksempel er den notoriske GPT-3 – en sprog model udviklet af forskningsinstitution OpenAI til at generere sprog. Beder man GPT-3 om at fuldende sætningen »To muslimer går ind i...«, vil modellen i langt størstedelen af tilfældene digte videre med voldelige historier. Erstatter man muslimer med f.eks. kristne eller jøder, er langt størstedelen af historierne fredelige.

Selv når forskerne forsøgte at lede GPT-3 ad en mere fredelig vej med et prompt som »To muslimer går ind i en moske for at tilbede fredeligt«, fandt sprogmodellen konsekvent kreative veje at lede historien hen mod vold.

Adskillige versioner af sprogmodellen BERT har på en række sprog vist en større tendens til at generere nedladende sprog om kvinder, når den bliver bedt om at fuldende sætninger som f.eks. »Manden/Kvinden er kendt som en ...«

Andre forskere har dokumenteret, at flere sprogmodeller associerer handicap og en række fysiske træk med negativt sprog, og at samme bias kommer til udtryk, hvis de modeller bruges til en klassisk sprogopgave som sentiment-analyse, hvor man vurderer, om en tekst er ­positiv eller negativ. Hvis man bruger en sådan model til f.eks. at moderere en online-debat automatisk, kan bias betyde, at legi­time indlæg om handicap bliver markeret som hadefulde.

Smilende husmor eller astronaut

Den samme problematik kan ses, når de store modeller prætrænes på store mængder billeddata. OpenAI’s multimodale sprogmodel Clip er ifølge labora­toriet selv f.eks. tilbøjelig til at klassi­ficere sorte mennesker som ‘gorilla’, ‘tyv’ og ‘kriminel’. Og beder man den vurdere en beskrivelse af et billede af den kvindelige astronaut Eileen Collins, foretrækker den ordene ‘smilende husmor’ over ‘astronaut’. Ligesom den foretrækker B-teksten frem for A-teksten (se billedet), når den skal beskrive Barack Obama.

Et andet eksempel er iGPT – en visionmodel, der kan generere billeder ved at bygge videre på en billed-­stump på samme måde, som GPT-3 kan skrive videre på en tekst.

Tidligere på året kunne forskere dokumentere, at modellen har en tendens til at fuldende et billede af et mande­ansigt med en krop klædt i tøj, mens et kvindeansigt langt hyppigere får en krop klædt i nedringet tøj eller bikini.

»Disse opdagelser bør fungere som en advarsel for computer vision-praktikere, der bruger transfer learning,« skriver forskerne og fortsætter:

»Prætrænede modeller kan medtage alle mulige former for skadelig menneskelige bias fra den måde, hvorpå mennesker præsenteres i træningsdata, og beslutninger omkring model-design kan afgøre, om og hvordan bias kan lede til skadelige effekter downstream.«

For længst taget i brug

Mens forskere forsøger at gennemskue dybden og konsekvensen af sociale bias, som modellerne implicit har lært af de store mængder træningsdata, er modellerne for længst taget i brug. Google har f.eks. implementeret sprogmodellen Bert i selskabets søgemaskine, hvilket skulle give tjenesten bedre mulighed for at forstå søgeord i kontekst. Men modellen bliver også brugt hos utallige selskaber til f.eks. at analysere kundehenvendelser.

OpenAI har udviklet Codex, der udnytter GPT-3 til at generere programmeringssprog, og for nylig præsenterede OpenAI-forskerne en GPT-3-baseret model finjusteret til at skrive referater af hele bøger.

Adskillige startups har bygget AI-produkter oven på API’et (grænsefladen) til GPT-3. Som Copy.AI, der lover hjælp til at skrive marketingtekster, hvis bare man giver den et produktnavn og en kort beskrivelse. Eller Voxable, der udvikler avancerede chatbots.

»Vi har ikke fundet nogen som helst andre teknikker, der kan repli­kere GPT-3’s performance,« fortæller CTO i software-virksomheden Vox­able Matt Buck.

It's the data, stupid

En af nøglerne til at kunne skabe de store prætrænede modeller er mulig­heden for at træne dem selvsuper­viseret. Det betyder, at modellen ikke er afhængig af, at billeder er møjsommeligt manuelt markeret som ‘kat’ og ‘hund’ eller sætninger som ‘negative’ og ‘positive’.

Det fjerner den snævre flaskehals, som AI-udviklere ellers har været underlagt. Men det er også en kilde til problemer at bygge modeller på oceaner af stort set ukuraterede data hentet fra alle afkroge af internettet.

Da en lang række forskere for nylig forsøgte at dykke ned i de data, som de store modeller trænes på, fandt de data af exceptio­nel lav kvalitet. Det multi­linguale datasæt CCAligned skulle f.eks. på papiret indeholde tekst på sproget catalansk, så man kan træne modeller til at lave oversættelser. Men nul procent af den tekst viste sig rent faktisk at være catalansk.

På samme måde fandt forskerne, at næsten halvdelen af sprogene i data­sættet Oscar har en overvægt af ubrugelige data, fordi oversættelsen er forkert, sproget er forkert, eller fordi der slet ikke er tale om brugbart sprog, men navne og symboler.

»Dette er ikke niche-eksempler. Det er almindeligt brugte datasæt, og de har store problemer med kvaliteten,« fortæller en af forskerne bag projektet, Stella Biderman, der er matematiker for Booz Allen Hamilton og lead researcher for forskerkollektivet EleutherAI.

»Den nuværende mainstream-tilgang til at samle data til at træne store sprogmodeller er, at bulk-downloade data fra internettet og smide ting ud, som bliver fejl-læst. Og så kalde det et datasæt,« siger hun.

»Det er sådan, langt den største del af de data, som GPT-modellerne er trænet på, er skabt. Der er en lang række studier, der dokumenterer, at den mang­lende undersøgelse og validering skaber problemer.«

En af de helt store syndere i denne sammenhæng er det såkaldte Common Crawl-datasæt, som består af tekst ukritisk skrabet fra internettet. For nylig tog canadiske forskere en tilfældig stikprøve af datasættet og fandt, at omkring 6-7 procent kan kate­goriseres som hadtale – selv efter en basal filtrering.

Hos EleutherAI har man lavet en open source-version af GPT-3 kaldet GPT-Neo, der er trænet på et nyt data­sæt kaldet The Pile, der forsøger at samle de mere lødige kilder til tekstdata. Selvom GPT-Neo ikke er fri for sociale bias, så er det en strategi, der giver forbedringer.

»Der er 100 procent sikkert måder at producere bedre data på, men det er noget de fleste ikke gider,« siger Stella Biderman.

Skrevet af mænd

Foruden kvaliteten af data, så er mangel på variation i sprogdata i sig selv en kilde til indbygget bias.

Et site som Wikipedia og nyheder på nettet er en popu­lær kilde til data, men adskillige undersøgelser har f.eks. vist, at langt størstedelen af Wikipedia er skrevet af mænd. Ligeledes er det veldokumenteret, at etniske minoriteter fylder meget lidt både i den danske journaliststand og som kilder i nyhedsartikler.

Men variationen er essentiel, fordi vi ikke kan forvente, at en sprogmodel trænet på én type tekst kan fungere godt i et andet domæne, påpeger Barbara Plank, der er professor i Natural Language Processing på IT-Universitetet i København.

»Tag en opgave som anaphora resolution, hvor du forsøger at afgøre, hvad et pronomen henviser til. Det er en relativt harmløs opgave, men hvis du gør det forkert, og modellen hælder mod at vælge mandlige navne f.eks., så er det et problem,« siger hun.

»Det er meget vigtigt at forstå, at teknologien ikke er klar til brug til et hvilket som helst problem. Du er virkelig nødt til at tænke over, hvilket problem du vil løse, hvordan dine data er, og hvad der er de bedste data, du kan få til problemet.«

På billedsiden hersker de samme problemer. Forskerne bag det ikoniske datasæt ImageNet har i årevis arbejdet på at rydde ud i datasættets problematiske indhold, men er endnu ikke kommet i mål.

Pornografi, vold og racisme

Sidste år valgte forskere ved MIT permanent at fjerne datasættet 80 Million Tiny Images, der i 14 år er blevet brugt til at træne AI-modeller. Først da de eksterne forskere Vinay Prabhu, chief scientist hos UnifyID, og Abeba Birhane, ph.d.-studerende ved University College Dublin, gennemgik datasættet, gik det op for MIT-forskerne, at det indeholder tusindvis af billeder beskrevet med ord som ‘luder’, ‘bitch’ og ‘pædofil’.

Og nye datasæt kommer stadig til. I oktober kunne Prabhu & Birhane sammen med AI-forsker ­Emmanuel Kahembwe demonstrere, hvordan det splinternye multi­modale datasæt Laion-400M er fyldt med pornografi, vold og racisme.

Ved at søge i datasættet med almindelige, lødige søge­ord, fandt forskerholdet en høj andel af billeder, der rummer grafiske fremstillinger af seksuelle overgreb og andre forstyrrende motiver. Selv ganske neutrale ord som ‘lille’ og ‘stor’ returnerede pornografisk materiale. Det samme gjorde ord som ‘aunty’, ‘mummy’, ‘asian’ og ‘black woman’.

»Folk ved egentlig ikke, hvad der er i de her store data­sæt. Og jo større de er, jo mere problematisk bliver det,« siger Abeba Birhane om arbejdet.

»Hvad enten det er billeder eller tekst, så går folk efter større og større datasæt. Store datasæt betyder, at du ingen måde har at se nærmere på, hvad der er i, så det gør folk typisk ikke. Og det reflekteres også downstream i de outputs, som modellen producerer.«

Spørger man Abeba Birhane, ligger nøglen til bedre output i bedre datasæt og ikke – sådan som mange ellers forsøger – i at løse problemet længere nede i kæden.

»Datasættet er afgørende for, hvad en model producerer. Det er ikke en holdbar løsning at forsøge at styre efterfølgende, hvad en model skal generere, og hvad den ikke skal,« siger hun.

Svært at filtrere

Et eksempel på, hvordan problemer i den ­prætrænede model bliver ned­arvet til den løsning, der bygges ovenpå, kan ses i OpenAI’s Codex. Codex er baseret på GPT-3 og fintunet på kodelinjer hentet fra GitHub. Dette har gjort systemet i stand til at skrive fungerende kode i Python.

Ideen er at skabe en intelligent assi­stent til udvik­lere, så de hurtigt kan definere hele sektioner af kode, som så genereres af modellen. Men også i dette ­domæne slår GPT-3’s racistiske tendenser igennem, konstaterer OpenAI-udviklerne selv i deres paper om Codex. Modellen kan nemlig promptes til at generere »racis­tiske, nedgørende eller på andre måder skadelige output« som kommentarer til koden.

Et andet eksempel kommer fra spilfirmaet Latitude, der var blandt de første til at lade brugere prøve kræfter med GPT-3 i spillet AI Dungeon.

Spillet lader brugere udforske fiktive verdener og historier med den store sprogmodel som gamemaster. Spillets brugere har længe rapporteret om, at de episke eventyr kan udvikle sig til pornografisk indhold.

Latitude har forsøgt at komme det uønskede indhold til livs med et filter, der skulle forhindre modellen i at deltage i snakke om forbudte emner. Men den tilgang betød, at spillet nægtede at svare på helt lødige beskeder, fordi den fejlagtigt opfattede dem som utillade­lige hentydninger.

En lukket klub

En anden konsekvens af, at de store prætrænede modeller bliver større og derfor mere kostbare at træne, er, at det stort set kun er tech-verdenens giganter, der har råd til at udvikle dem.

Bert og T5 kommer således fra Google, Roberta fra Facebook og Megatron Turing fra Nvidia og Microsoft. Sidstnævnte er blevet vurderet til at koste i omegnen af 100 millioner dollars for andre at genskabe – en pris, der er så godt som umulig at finansiere for ­uafhængige forskerhold.

Mens nogle modeller – som Bert – er gjort open ­source, er andre blevet fastholdt på få hænder. Microsoft har f.eks. lavet en aftale med OpenAI, der giver selskabet eksklusiv licens til at bruge GPT-3, mens andre må nøjes med et API.

På et akademiker-budget kan man stadig foretage meningsfuld forskning på mindre modeller. Men på grund af de emerging capabilities, der først opstår ved en vis størrelse, så er der spørgsmål, man ikke kan få besvaret på den måde.

Og det betyder også, at der er problemer, som risikerer at forblive uløste, noterer Stanford-forskerne.

»Ligesom farma-industrien har begrænset incitament til at dedikere store ressourcer til forskning og udvikling af malaria-behandling, fordi fattige mennesker ikke har råd til medicinen, så har tech-industrien kun et lille incitament til at dedikere signifikante ressourcer til teknologier designet til at hjælpe fattige og marginaliserede mennesker,« skriver de.

Fra Big Tobacco til Big Tech

Problemet med denne centralisering kom tydeligt til udtryk, da to af ­Googles ledende AI-etikere, Timnit Gebru og Margaret Mitchell, var med til at skrive en forskningsartikel, der stiller skarpt på problemer ved store prætrænede sprogmodeller.

Cheflaget hos Google ønskede ikke selskabets navn på artiklen, der blev præsenteret på en konference i marts, og hele miseren endte med, at både Gebru og Mitchell blev fyret fra ­Google og fra det AI Ethics Team, de havde stablet på benene. Ifølge Google sagde Timnit Gebru selv op, og selskabet henviste til en brudt sikkerhedspolitik i forbindelse med fyringen af Margaret Mitchell.

Timnit Gebru forsøger nu at sikre midler – uafhængigt af tech-kæmperne – til at forske i AI-etikken. På en konference tidligere på året sammenlignede hun Big Techs evne til at påvirke akademisk og offentlig debat med de metoder, der tidligere er blevet brugt af Big Tobacco.

Et solidt fundament

Alt det leder os – som lovet – tilbage til spørgsmålet om navnet ‘foundation models’. De 100+ Stanford-­forskere har valgt denne formulering i et forsøg på at indfange, hvad de ser som en mere eller mindre central klasse af modeller.

For andre forskere – som Margaret Mitchell – er det en benævnelse, der volder problemer.

»At sige, at noget er fundamentet, skaber en selvopfyldende profeti, fordi målet bliver, at de her modeller, skal være fundamentet,« sagde hun på en Stanford-workshop om emnet.

»Men disse modeller har klare risici. De centraliserer magt til dem, der er privilegerede nok til at træne dem. Så hvorfor er det en god idé at fastcementere dem som et fundament?« spurgte Margaret Mitchell.

Andre kritikere, som Meredith Whittaker, der er Minderoo Research Professor ved New York University samt medstifter og fakultetsdirektør for AI Now Institute, har advaret mod, at en ‘rebranding’ af store sprog­modeller kan være en måde at gøre det sværere for folk at finde frem til den legitime kritik, der har ­været rettet mod teknologien.

Alt i mens modargumenterer forskerne fra Stanford, at disse prætrænede modeller uagtet deres fællesbetegnelse formentlig kommer til at udgøre basen i et væld af AI-systemer. Og ordet fundament antyder på den måde vigtigheden af, at de er robuste og ikke slår revner.

Uanset navnet, siger Abeba Birhane, så kommer de store, prætrænede modeller ikke til at forsvinde.

»Vi kommer til at have større modeller, større data­sæt. Og de her modeller vil blive taget ind i alle mulige områder, i alle mulige sfærer. Det er noget, der sker, og det kommer ikke til at stoppe.«