Dårligt samlede kobberstænger forårsagede lysbuer i Facebook-datacenter

31. oktober 2017 kl. 16:3719
Dårligt samlede kobberstænger forårsagede lysbuer i Facebook-datacenter
Illustration: Facebook.
To gange på to år er der udbrudt brande i Facebooks svenske datacenter. Brandene opstod på grund af kobberstænger, som ikke var samlet ordentligt. Facebook ønsker ikke at placere nogen skyld, men siger, at der skal læres af uheldene.
Artiklen er ældre end 30 dage

I de datacentre, som Facebook er i gang med at bygge rundt omkring i verden, sendes der enorme mængder af elektricitet mellem de forskellige haller, som huser serverne. Derfor er det også vigtigt, at systemerne til transporten af denne elektricitet er korrekt konstruerede. Det var imidlertid ikke tilfældet i det svenske datacenter i byen Luleå, hvor Facebooks første internationale datacenter er placeret.

Her er der to gange siden 2014 opstået lysbuer i de kabelbakker, hvori "kobberstænger" (ledninger på størrelse med vandrør) transporterer mere end 5.000 ampere. Det skriver Datacenter Frontier.

Elektrisk eksplosion

Hændelserne fandt sted i en af serverhallerne, hvor kobberstængerne i kabelbakkerne ikke var samlet korrekt. Det ledte, ifølge elektronikvirksomheden bag systemerne, Schneider Electric, til, at der opstod en ‘termisk lavine’, så varmen samlede sig i de områder, hvor der var fejl i samlingerne. Det skaber en overophedning, som til sidst leder til, hvad man nærmest kan kalde en elektrisk eksplosion, som i praksis er en kraftig termisk udvidelse af luften - en lysbue.

Diagram, som viser, hvordan en dårlig samling kan føre til en ‘termisk lavine’. Illustration: Facebook/Schneider Electric.

Artiklen fortsætter efter annoncen

Kobberstængerne havde hver en længde på 3m og vejede omkring 317 kg. Samlet set blev der transporteret omkring 5.000 ampere gennem stængerne.

Når udtrykket lysbue i dette tilfælde fremhæves, er det, fordi det fænomen er særligt kritisk, når det ikke er under kontrol. I praksis kan det udnyttes til at smelte metaller, og med en temperatur der kan nå op på 20.000 grader celcius, er det uhyre vigtigt, at buerne er under kontrol. Det lykkedes dog også medarbejderne at slukke lysbuerne i begge hændelser, og ingen personer kom til skade.

Og da lysbuerne kun opstod i den ene af de fire haller i datacentret, gik centret heller ikke på noget tidspunkt offline.

»Lad os se fremad«

Hændelserne blev fremlagt ved en præsentation af Facebook og Schneider Electric på 7x24 Exchange Fall Conference i Phoenix, Arizona.

Artiklen fortsætter efter annoncen

Her bed en journalist mærke i, at det ikke er første gang, at fejlkonstruerede kobberstænger i datacentre har forårsaget lysbuer. I 2009 fandt en lignende hændelse sted i et datacenter i Seattle, hvor en defekt skinne ligeledes foråsagede en lysbue, som i denne omgang ramte et datacenter, som blev anvendt til e-handel. Det endte med at koste ejerne af datacentret 6,8 mio. dollars (43,5 mio. kr.) i erstatning, da e-handlen blev markant svækket som følge af hændelsen.

»Alt for ofte er filtret i din [journalistens, red.] hjerne at finde ud af, hvem der skal have skylden,« sagde James Swensen, international facilitetsleder ved Facebook.

»Hvis nogen kommer til skade som følge af sådanne uheld, hvad koster det for os som organisation? Det her passer ind i Facebooks politik om ‘Open Compute’. Hvis vi deler det her, kan det hjælpe industrien,« sagde James Swensen.

Han fortalte ligeledes, at der er foretaget en stor mængde analyser efterfølgende, men ønskede ikke at dele meget om resultatet. Ej heller bliver det omtalt, hvordan hændelserne kunne finde sted to gange i samme datacenter.

Rettet kl. 07:27. Tidligere stod der, at kobberstængerne var 26 cm og vejede 317 kg. Det er naturligvis ikke tilfældet. Stængerne er godt over 3 meter lange. Ligeledes er der rette enkelte formuleringer for at undgå fejl i artiken.

19 kommentarer.  Hop til debatten
Debatten
Log ind eller opret en bruger for at deltage i debatten.
settingsDebatindstillinger
19
9. november 2017 kl. 13:57

Det engelske udtryk 'BUSBAR' skal altså oversættes til 'Skinne' eller kobberskinne på dansk. mvh Jens

18
1. november 2017 kl. 16:45

I begyndelsen af 70erne havde jeg en opgave med at montere 3 stk. lavspændingsafgange med 3 stk. 1000 A Canalis kanalskinner. Det er ikke en unormal en måde at etablere lavspændingsforsyning på. 1000 A passer ca. på en fuldt belastet 630 kVA 10/0,4 kV transformer. Men det er indlysende, at samlingerne skal udføres 100 % korrekt, for løse forbindelser vil være fatal.

Jeg har mange år senere været involveret i at planlægge et projekt - i det samme fabriksanlæg - hvor forsyningen blev kraftig udbygget med en helt ny transformerstation. Der var - fuldt udbygget - 2 stk. 1000 kVA transformere og derfor 2 stk. lavspændingsafgange udført med kanalskinner på 1600 A. Jeg mener at kunne huske, at skinnerne var en Canalis type KH, Den er vist i dag er erstattet af en ny type der hedder KTA 1000 hhv. 1600 A.

Siemens har lignende systemer f. eks. SIVACON LI-systemet (800 - 6300 A). Dem har jeg aldrig set i virkelighedenhttps://w3.siemens.dk/home/dk/dk/automation/tavlemateriel/kanalskinne/li-systemet/Pages/Default.aspx

17
1. november 2017 kl. 14:39

At oversætte busway med kobberstænger er elektroteknisk forkert. Det er på dansk kanalskinner det drejer sig om. Disse er fra Schneider Electric samlet med såkaldte knækbolte der knækker ved det rigtige tilspændingmoment. Dog er der stadig mulighed for senere efterspænding med momentnøgle, idet der bliver sidende et boltehoved.

15
1. november 2017 kl. 09:10

Den gængse DC distribution er pt. 380V-ish, men der er stadig ikke mange der benytter det, da det er dyrt. Igen er det bryder materiellet, der koster. DC brydere er meget dyrere en AC ditto. I serverrum, er det i Europa 400VAC/50Hz (3P+N+G), der føres ud til rack'ene og i USA er det 480VAC/60Hz (3P+G). I USA sidder der 480V/208V/120V distributionstrafo'er ude i nærheden af rack'ene. Der er undtagelser, hvor (amerikanske) firmaer benytter 480V/50Hz i Europa og også eksempler på 415V/60Hz (3P+N+G) i USA, men i begge tilfælde er det igen kun en lille del af det samlede marked. Resten af verden er en blanding af ovenstående og afhænger om den lokale infrastruktur er mest præget af USA eller Europa. OpenComputer version 1, var 277VAC/48VDC. Maksimalt 3 rack kunne understøttes af den lokale 48VDC forsyning. Strømforsyningerne til serverne havde både et 277VAC (230VAC) input og et 48VDC input. Output til serverne var 12VDC. OCP ver. 2 arbejder med AC eller DC distribution i 277VAC/230VAC eller 380V/400VDC til en 12VDC (1 eller 2kA) lokal strømforsyning per rack. Denne lokale strømforsyning kan have et batterilager. Den lokale strømforsyning er ofte redundant.

Hovedparten af distribution i de nuværende datacentre er stadig AC på lavspændingsniveau.

14
1. november 2017 kl. 07:48

Som flere så rigtigt har bemærket, så er det højst usandsynligt, at en kobberstang på blot 25cm vejer godt over 300 kilo.

Det er mig, der har sovet i timen, den korrekte længde er naturligvis 3 meter. Jeg undskylder meget.

13
1. november 2017 kl. 00:57

I stedet er der pr. rack en "power unit" der forsynes med 48V (vist nok)

Den generelle model er DC-bus med direkte batteri-backup og det er naturligvis de gamle telefoncentraler der er den direkte inspiration.

Problemet er bare at 48V ikke skalerer når der er brug for 100MW, det er simpelthen fysisk umuligt at lave en samleskinne der kan bære en MegaAmpere.

Derfor roder man med et distribuere højere spændinger, fra 150VDC op til 850VDC, med favoritter på de spændinger der kan nås direkte fra gængse AC spændinger: 110VAC -> 150VDC, 230VAC->300VDC og 400VAC -> 520VDC.

Der er et tradeoff imellem hvor meget kobber man skal bruge ud til de enkelte racks og de halvledere i racket der skal gå fra DC-bussen ned til 12VDC.

Derfor er der også en tendens til også at decentralisere batterierne, enten til enden af hver række racks eller ligefrem til hvert enkelt rack.

Derefter bliver modellen: AC til dekameter afstand fra rack, ensretning til DC, batterier, distribution til racks, konvertering til 12VDC i toppen af hvert rack.

Typisk er AC spændingen 400VAC, men der er folk der experimenterer med en 10kV->400V trafo for hver tre rækker racks.

Decentralisering af batterierne kan gøres billigere end centrale batterier, på grund af den fysiske sikkerhed, til gengæld får man en masse brint spredt i computer-rummet.

11
1. november 2017 kl. 00:03

Hvad skal boltene så spændes? 60 Nm eller til der er 5 synlige gevind?

10
31. oktober 2017 kl. 23:53

Hvorfor er man lige oppe på 5000A ?

Frit efter hukommelsen - da opencomputes filserver åbenbart er nede pt.

En af tiltagene i opencompute er at fjerne omformningen af spænding fra lysnettet fra serverne i datacenteret. Altså ingen PSU i serverne som vi kender det. I stedet er der pr. rack en "power unit" der forsynes med 48V (vist nok) og i sig selv kan have batteri. Den sænker spændingen yderligere (til 5V og/eller 12V vist nok) inden den forsyner serverene med strøm.

Fidusen er at fjerne varmetabet fra en alm. PSU fra det kølede datacenter. Ulempen er relativt store strømme og håndtering af DC. Afbrydelse af DC kræver større afstand mellem kontakterne ifht AC. DC afbrydes f.eks ikke straks en leder brænder over - den overbrændte leder erstattes blot af en lysbue. Det kan se spektakulært ud - selv når det er en planlagt afbrydesle:

https://www.youtube.com/watch?v=hIkNY5xjy5k

9
31. oktober 2017 kl. 23:30

5kA er jo ikke meget mere end 1MW (på en fase) og datacentre i den størrelse er hurtigt omkring 100-150 MW. Der er svært at finde standard brydermateriel meget over 6 kA.

8
31. oktober 2017 kl. 21:10

Hvorfor er man lige oppe på 5000A ? På stålværktet i Frederiksværk vil man kunne finde et sted der var 5000A . Måske. Max ved de 3 elektroder der smeltede de 100 tons jern hver time. Så meget er der vel ikke engang på bagsiden af en alm 10kv til 230v transformer. Kunne være super med lidt mere info om installationen. Er den samlet med moment nøgle og “tallerken” skiver? Er samlingerne rengjort inde montage? Osv.

5
31. oktober 2017 kl. 18:33

Ingen tvivl om at man havde set op trækket til problemet ved regelmæssig termografi.

Mon ikke Schneider nu kan sælge den "option".

4
31. oktober 2017 kl. 18:30

Endnu bedre ville det være at termografere installationen, det ville hurtigt afsløre manglende tilspænding.

2
31. oktober 2017 kl. 17:27

25cm og 317kg.
Jeg må indrømme at her rækker min evne til at forestille hvordan den ser ud i virkeligheden ikke.

Jeg tror du skal læse det som "25cm brede".

Hvis strømmen vitterlig er 5kA ville jeg forvente at man kontrollerede tilspændingen et par gange om året, både af hensyn til kobbers store termiske expansion, men også det rimelig kraftige magnetfelt der er tale om.

Kunne være interessant at vide om det var jævn- eller vekselstrøm ?

1
31. oktober 2017 kl. 17:12

25cm og 317kg. Jeg må indrømme at her rækker min evne til at forestille hvordan den ser ud i virkeligheden ikke.