Det kræver regnekraft i stor volume, når man skal udvikle fremtidens sociale medier, metaverset.
Sådan lyder det fra Facebooks moderselskab Meta, der nu giver et indblik i, hvordan de arbejder med supercomputere i et blogindlæg
Projektet hedder AI Research SuperCluster (RSC), og bliver ifølge Meta en af verdens kraftigste supercomputere til at træne og afvikle algoritmer baseret på neurale netværk.
Målsætningen er at have en infrastruktur, hvor der kan trænes modeller med mere end en million millioner, altså 1.000.000.000.000 eller 10¹² parametre med data i exabyte-klassen. Det svarer ifølge Meta til at analysere 36.000 års højkvalitetsvideo på samme tid.
I første omgang bliver lidt over 6.000 GPU’er forbundet i klyngen, og på sigt er det planen at opskalere det til 16.000.
Ideen er, at den nye supercomputer skal hjælpe Facebook med at realisere næste generation sociale medier, metaverset, som er en fuldt integreret virtuel verden.
Supercomputeren skal fodres med data fra selskabets egne sociale medier som Facebook, Instagram og Whatsapp, og ikke kun via open source databiblioteker. Det kan være alt fra tekst til billeder og video som analyseres.
Svenske NyTeknik har spurgt Metas svenske kommunikationschef, om det er muligt at sige nej tak til, at ens personlige data fra sociale medier bliver behandlet i den nye supercomputer, men det kan han for nuværende ikke svare på, lyder svaret til NyTeknik.
Meta understreger dog at systemet er designet til at fungere uden forbindelse til internettet, da alle netværk holdes internt i Metas datacentre. Brugergeneret data bliver også anonymiseret.
Når RSC-supercomputeren er fuldt udbygget med 16.000 grafikkort vil den i følge Meta have en regnekraft på fem exaflops, altså fem milliarder milliarder, 10^18 i såkaldt mixed precision AI-regnekraft.
Men det er en opgørelse, som ikke er så udbredt, når man traditionelt sammenligninger supercomputere. Her er den mest udbredte målemetode Linpack.
Når man bruger den metode, så er udviklingen inden for supercomputere gået en anelse i stå, og rekorderne står ikke i kø for at blive slået. Ingen har endnu nået den magiske grænse på en exaflop, altså en milliard milliarder floating point beregninger i sekundet. Det kommer den nye RSC-supercomputer heller ikke i nærheden af.
Ifølge mediet HPC Wire vil RSC-supercomputeren levere 227 petaflops, hvis der måles efter Linpack-metoden.
Selvom RSC-supercomputeren ikke kommer op i exaflops, vurderer HPC Wire, at den fortsat vil placere sig som verdens fjerde kraftigste AI-supercomputer lige nu, og når den er fuldt udbygget, vil den placere sig som nummer to.
Linpack har længe været kritiseret for ikke at være en brugbar målemetode til supercomputere målrettet neurale netværksmodeller med grafikkort som den primære accelerator. For benytter man sig i stigende grad af lavere præcision, også kendt som mixed precision, som i mange tilfælde kun bruger 16-bit eller mindre, mens Linpack kører på 64-bit.
Hvor 64 bit-repræsentation (dobbelt præcision) giver en nøjagtighed på 15 decimale cifre, så er det tal meget lavere med eksempelvis 32 bit-repræsentation (enkelt præcision), hvor du har en nøjagtighed på 7 decimaler. Når RSC og andre supercomputere målrettet neurale netværk vælger at reducere præcisionen, så skyldes det, at når data fylder mindre, kan de lagres tættere på beregningsenhederne og dermed undgås ventetid i forbindelse med transport af data internt i computeren. Enkelt præcision reducerer desuden behovet for at udveksle data mellem flere processorer, der kører parallelt.
Hvor RSC-supercomputeren fysisk er placeret, ender med at koste og hvor meget energi den forbruger har Meta ikke oplyst.
Det er i øvrigt ikke nyt for Facebook at bruge supercomputere til beregninger. Siden 2017 har man kørt en HPC-klynge med 22.000 NVIDIA V100 Tensor Core grafikkort i en enkelt klynge, der udfører 35.000 jobs om dagen. Den supercomputere ligger p.t nr.139 på den globale top500-liste over supercomputere.
