Infrastruktur og faciliteter

Lad os se på infrastrukturkonfigurationen for et datacenter.

Datacenterfaciliteter

Et datacenters funktionelle enheder (servere, lager, netværk) er alle afhængige af en facilitets infrastruktur, som omfatter fysisk plads, strøm, køling og sikkerhed. Ved samling af hvert af de sidstnævnte komponentsystemer prioriterer designere redundansproblemer. Redundante strømkilder minimerer f.eks. risikoen for tjenesteafbrydelser, hvis bygningen mister hovedkraften. Redundant køling forhindrer fysisk beskadigelse af it-udstyr under en ikke-planlagt afbrydelse og muliggør planlagte afbrydelser i forbindelse med vedligeholdelse af VVS-udstyr.

Serverrum

Et serverrum kan variere i størrelse fra et enkelt rack i et skab til flere hundrede kvadratfod til et lager på størrelse med en fodboldbane. Nogle forfattere bruger begreberne "serverrum" og "datacenter" i flæng. Med henblik på kurset definerer vi et serverrum som det faktiske rum, der indeholder alle racks fulde af it-udstyr, og et datacenter som serverrum plus al den strøm og VVS-udstyr, der kan være placeret uden for dette rum.

Du blev allerede introduceret til begrebet en rack og en rack enhed (U). Figur 6 viser et rack inde i et åbent skab. Nogle gange racks kaldes også skabe. Der er flere variationer af racks, men de mest almindelige er 19 tommer bred (målt fra midten af hvert hul på samme U). Nogle IBM-udstyrsreoler måler 24 tommer efter indlæg, der er nedarvet fra ældre mainframes. Normalt er netværksudstyr designet til at montere på kun to pæle af stativet, fordi ledningsskabe ofte kun har to pæle permanent monteret på gulvet og / eller væggen. Servere er dog designet til at blive monteret på racks med fire indlæg. Dybden af de to bageste stolper er ikke standardiseret, og i de fleste stativer kan du justere dybden. Forskellige rack-mount udstyr har forskellige dybder, og hver server eller lager array vil komme med to monteringsskinner, der forbinder til for- og bagpæle på venstre og højre side. Der er to typer huller i lodrette stolper, firkantet og rundt. Nogle monteringsskinner krog direkte i firkantede huller og har værktøj-mindre installation (hurtigt). Til runde hulreoler skrues udstyret direkte ind (dette er mere populært for telekommunikations- og A/V-racks). Hvis du har brug for at montere rundt hul stil udstyr eller skinner i en firkantet rack, du bruger bur nødder og bolte.

42-enhed fire-post rack kabinet med sider og døre fjernet.

Figur 6: 42-enhed (42U) 4-stoldeskab med sider og låger fjernet

Den mest almindelige højde rack er 42U, og det er simpelthen at passe gennem en normal døråbning. Den overordnede højde, bredde og dybde af stativer fra forskellige producenter er ikke nøjagtigt den samme; den eneste garanti er stolperne bredder. Nogle racks har udvidet dybde, hvilket er nyttigt til større servere og/eller routingkabler og montering af zero-U (lodret montering uden for 42U-pladsen) udstyr. "Brede" racks har ekstra plads til venstre og højre for indlæg, hvilket er nyttigt for end-of-row netværksreoler på grund af den ekstra plads til at køre mange kabler. Racks har også hjul, der gør det muligt for dem at blive rullet på plads eller flyttet, hvis det er nødvendigt. Men disse hjul er ikke beregnet til permanent at understøtte den fulde vægt af en fyldt rack, hvilket er grunden til at du er nødt til at sikre de fire stabiliserende fødder i hvert hjørne. Områder, der er tilbøjelige til jordskælv har også sikkerhedsbestemmelser, der kræver racks, der skal boltes i beton gennem metalplader på forsiden og bagsiden af rack.

Mange serverrum har et hævet gulv, selvom det ikke er et strengt krav. Dette giver et plenum for kold luft, der skal distribueres i hele rummet (fliser foran stativer har udluftningshuller). Hævede gulve giver også plads til at køre elektriske eller netværkskabel eller kølede vandrør til afkøling i træk. Endelig giver de større fleksibilitet til fremtidige layout-/konfigurationsændringer. Figur 7 viser, hvordan et hævet gulv ser ud.

Eksempel på et hævet gulv.

figur 7: Eksempel på et hævet gulv

Gulvet består af en række metalunderstøttende sokkel, der er monteret på undergulvet; metal stringers, der er placeret vandret mellem piedestals; og stærke gulvfliser, der hviler oven på stringers i hvert hjørne på en piedestal. Når en flise fjernes, er hullerne store nok til, at et menneske kan passe igennem, og fliserne er stærke nok til at modstå vægten af en fyldt rack. Felter har dog en rollover-bedømmelse, og af sikkerhedsmæssige årsager skal alle felter, der er blevet rullet over (flytte et udfyldt rack oven på det) flere gange, end det er bedømt for, erstattes. Også af sikkerhedsmæssige årsager, på en stringerless gulv, ikke mere end to eller tre på hinanden følgende fliser bør nogensinde løftes fra gulvet samtidig. Hvis der er et problem med en af piedestals, kan vægt skifte sideværts, overlappende til en katastrofal gulvfejl.

Over stativerne er kabelbakker, der kører vandret mellem stativer. Der er muligheder for at hænge disse fra loftet, eller nogle racks har valgfri bakker, der monteres på toppen. Af hensyn til den elektriske sikkerhed skal disse jordforbindelse være korrekt jordforbindelse, også selvom de kun har netkabel. Når der er mange ledninger til at køre mellem to reoler, bruges hook-and-loop (Velcro) befæstelser oftest til at samle ledningerne sammen.

De fleste datacentre implementerer strenge fysiske sikkerhedsprocedurer – med god grund. Hvis en person med dårlige hensigter havde fysisk adgang til en server, kunne vedkommende f.eks. få administrative rettigheder, stjæle data, aflytte på netværksforbindelser og installere virus/trojanske heste. Almindelig praksis omfatter adgang til nøglekort/pinkode og/eller biometrisk scanner, fuldtidssikkerhedsvagt, kameraer og indbrudsdetektorer. I delte datacentre med flere lejere er en teknik at have et perimeterkædekædehegn med en hængelås omkring hver kundes sæt racks. Se Googles sikkerhedspraksisser her.

Magt

I følgende video beskrives forskellige strømfordelingsmetoder i datacentre:

Pålidelighed/oppetid er ofte den vigtigste designovervejelse for et datacenter. Desværre er strømmen, der fodrer datacenteret, ikke 100% pålidelig på grund af hændelser som dårlige vejrforhold og nedtonede elledninger. Nogle steder er det muligt at få feeds fra flere leverandører af elforsyninger, men ofte er dette ikke tilgængeligt. Hvis it-udstyret skal være tændt under strømafbrydelse, kan der installeres en generator. Backup generatorer kommer i to sorter, drevet af enten dieselolie eller naturgas. De kan forsyne datacenteret med strøm på ubestemt tid, så længe der er brændstof til rådighed, men begge brændstofkilder er betydeligt dyrere end elektricitet fra elnettet. Generatorer monteres typisk udendørs på grund af dampe, støj, vægt og vibrationer. En automatisk eller universel overførselskontakt er en enhed, der kan vælge en fungerende strømkilde (utility 1, utility 2 eller generator) og forbinde den med det primære strøminput til datacenteret.

Generatorer har en opstartstid på 15-60 sekunder, så det er her, en UPS (uninterruptible power supply) kan levere strøm til it-udstyret, indtil forsyningskraften er genoprettet, eller generatoren kører. En UPS har mange blysyrebatterier (som i en bil) trukket i serie. For eksempel ville en 480-volt UPS have en streng af fyrre 12-volt batterier. En UPS fungerer også som en line conditioner og skifter til en DC-batterikilde, hvis den registrerer dårlige ac-forhold, f.eks. overspænding, sags, overspænding, underspænding (brownout) og variationer i bølgeform eller frekvens.

Mellem UPS og it-udstyret er der strømfordelingsenheder (PDU'er). Tænk på PDU'er, der ligner strømstriber, du bruger derhjemme, men som er designet til højere spænding og forstærkere med flere udtag og indbyggede kredsløbsafbrydere. De indeholder ofte overvågningsfunktioner, så du kan se strømudtrækningen pr. forgrening (gruppe af udtag, der er forbundet til en enkelt afbryder). Nogle omfatter også pops (per-outlet power sensing) samt fjern-til/fra-kobling for hver stikkontakt. Udtag til PSU'er ligner ikke stikkontakterne i dit hus; i stedet er de IEC 60320 C13 (sagde "C tretten"). Se Figur 8a for at få et diagram over C13-connectoren med en bedømmelse på 10 til 12 amp og Figur 8b for C19-connectoren med en bedømmelse på 16 til 20 amp.

For AC er højere spænding (400 V og 480 V) mere effektiv til distribution af strøm i et datacenter end 240 V eller 208 V, men skal stadig trædes ned, før du går til den faktiske server. De fleste serverstrømsforsyninger er universelle og accepterer vekselstrømsforsyninger fra 110 V til 240 V. Fordelene ved at køre ved 208 til 240 V i forhold til at køre ved 110 til 125 V er lidt højere effektivitet (5% til 10%) samt at få den fulde bedømte effekt (som mærket på PSU). De fleste installationer af serverrum/datacenter vil køre på 200+ VAC for effektiviteten samt lavere priser på elektriske ledninger (kobber med mindre måler). For at øge effektiviteten understøtter nogle server-PSU'er også 277 V direkte. I stedet for traditionel ledning anvender nogle serverrum busbarer, der monterer overhead (over stativerne) og har kredsløbsafbryderpisker, der kan fastgøres på et hvilket som helst vandret sted (disse er som sporbelysning, kun større).

C13-strømconnector og C19-strømconnector.

Figur 8: (a) C13-strømforbindelse. (b) C19-strømforbindelse. (Kilde)

Nogle leverandører tilbyder DC-distribution, hvor AC-to-DC konverteringen udføres pr. rack, pr. række eller pr. bay i stedet for at konvertere vekselstrøm til dc inden for hver serverstrømforsyning. Disse systemer er blevet målt til at være mere effektive end deres ac-modparter, men kun 2% til 4% for gennemsnitlige belastninger. Du kan finde flere oplysninger i hvidbogen "Kvantitativ analyse af konfigurationer af strømfordeling for datacentre (WP#16)."¹

Da DC-strømforsyninger ikke er en vare, er de kun velegnede til udrulninger i stor skala med brugerdefinerede komponenter.

Køling

Mange af fremskridtene inden for datacentereffektivitet i løbet af de seneste 10 år er kommet fra nye design og metoder til køling.

Typisk datacenterkøling med et CRAC og hævet gulv.

Figur 9: Typisk datacenterkøling med et CRAC og

Almindeligt forekommende i traditionelle serverrum er computerrum klimaanlæg (CRAC eller CAC). Disse kontinuerligt tage i varm luft og output kold luft i rummet under et hævet gulv eller i kanaler. Forskellen mellem et CRAC og et almindeligt klimaanlæg er, at CRACs også giver fugtkontrol. Det anbefales at holde en relativ luftfugtighed på ca. 40%. Hvis luften er for våd, får du kondens (dårligt for elektronik og noget metal). Hvis det er for tørt, får du en højere risiko for ESD eller elektrostatisk udledning (også skadelig for elektronik). Ventilatorerne skal være store nok til at skabe positivt tryk og luftflow til rummets volumen og have tilstrækkelig kølekapacitet til at opretholde den ønskede "kolde midtergang" lufttemperatur. Vi lærer mere om varme og kolde gang i et senere modul. CRACs fjerner varme ved hjælp af en kondensator (svarende til hvad der er i dit køleskab derhjemme) eller gennem en varmeveksler, der bruger kølet vand, der leveres af chillere andre steder på stedet.

Måling af energi til elektronik er normalt i kW, men det meste VVS-udstyr måles i tons eller BTU/t, så her er to konverteringer:

1 kW = 3412 Btu/t
1 ton = 12.000 Btu/t

Vidste du det?

En BTU, eller britisk termisk enhed, er den mængde energi, der kræves for at opvarme 1 pund vand til 1 ° F, og et ton er den varme absorberes ved at smelte 1 ton is i 24 timer.

Ved hjælp af dampkomprimering fjerner chillere varme fra vand i en lukket løkke, højtrykssystem, der normalt udsender vand, der er ca. 42 ° F (5,5 ° C). Chillere selv nødt til at sprede den varme, de fjerner fra vandet, som kan være gennem luftkøling (ventilatorer) eller vandkøling (har brug for en anden vandkilde og / eller køletårn). Chillere er størrelse baseret på vandtemperaturer (ind og ud) og strømningshastighed (gallon per minut). De vigtigste energikilder i en chiller er de elektriske motorer i kompressoren og pumperne.

For at reducere belastningen af disse kølere udrulles der nu ofte fordampningskølingsteknikker til store datacenterinstallationer. Når varm tør luft passerer over vand, fordamper noget af vandet, absorberer energi og køler luften. Hvis du vil bruge fordampningskøling, er det en god idé at finde et nyt datacenter i nærheden af en rigelig vandkilde.

Det samlede system kan gøres mere effektivt, hvis det ikke behøver at afkøle så meget luft. Økonomisering på luftsiden er en metode til at bruge eller blande udendørs luft, når den er koldere end den recirkulerede luft. Denne metode er omkostningseffektiv i koldt klima, men ikke så nyttig i varme og fugtige områder.

Når racktætheden stiger til 10 kW eller højere, er det nyttigt at flytte køleudstyret tættere på racket. En produktkategori, der tillader dette, er afkøling i træk. På denne måde kan den kolde luft strømme direkte ind i fronten af it-udstyret, og den varme udstødningsluft fra bagsiden af racket går direkte ind i det tilstødende klimaanlæg. Denne metode sætter fokus på køling af racks i stedet for at køle rummet. På samme måde som i rækkekøling er der kølesystemer i top-of-rack. Disse systemer er boltet til toppen af hver rack og giver lokaliseret køling på en per-rack basis. Fordelen ved toppen af rack er, at du ikke optager gulvplads i serverrummet, mens ulempen er højere vanskelig for installation og vedligeholdelse. Systemer med mindre kapacitet og rækkesystemer bruger en kompressor, mens modeller med højere kapacitet bruger kølevand eller eksternt kølemiddel til gas. Top of rack-systemer bruger typisk eksternt kølemiddel. Fordelen ved at bruge et gas kølemiddel er, at der ikke er risiko for vandlækage i nærheden af it-udstyret. Ulempen er den ekstra omkostning ved ekstra udstyr i serverrummet, som fjerner varmen fra kølemiddelløkken (ved hjælp af kølet vand). Både i række- og top-of-aisle-systemer tilbyder en modulær køletilgang. Så længe anlæggets kølevandsanlæg har tilstrækkelig kapacitet, kan du kun tilføje kølere, når du tilføjer nyt it-udstyr og dermed forskyder dine kapitaludgifter.

Hot-aisle indeslutning er en metode til at placere dine reoler i rækker / bugter sådan, at tilstødende rækker ansigt væk fra hinanden (såsom kold-hot-cold) og derefter helt omslutter den varme midtergangen. Dette arrangement forhindrer varm og kold luft blanding, før den recirkulerer tilbage gennem klimaanlægget, hvilket i høj grad forbedrer effektiviteten. Nogle server værelse design beskæftiger det modsatte, kold-midtergangen indeslutning, hvor selve rummet er varmt, men den separate kolde luft er fodret ind i de indeholdte fronter af stativer.

Selv om det har været mainstream blandt overclocking entusiaster i årevis, vand-køling produkter (eller glycol eller andre flydende) er også ved at blive tilgængelige fra flere leverandører. Der er to tilgange: den ene er at have specialiserede rack døre, der i det væsentlige store heatsinks, med koldt vand fodret i og varmt vand tilbage; den anden er at have cold-in og hot-out vandslanger går til hver server i rack, og inde i hver server er specialiserede heatsinks for CPU (og GPU), at vandet cirkulerer igennem. I begge tilfælde kræver serverne stadig, at ventilatorer køler de andre komponenter (f.eks. RAM, harddiske).

En leverandør tilbyder endda en ekstrem væskekølingsteknik. Den (forseglede) rack er drejet til siden og fyldt med mineralsk olie (ikke-konduktiv dielektric), og serverne er fuldt nedsænket lodret. Ventilatorerne fjernes, og harddiskene skal forsegles (eller bruge SSD). Det er bedst at bruge servere med frontvendte I/O-porte.

Mange moderne bygningers VVS-systemer er designet til at genvinde varme, der produceres i serverrummet, og bruge dem andre steder, f.eks. varmt vand eller opvarmning (i kolde klimaer), hvilket reducerer de samlede energiomkostninger.

Sikkerhed

Ud over de sikkerhedsnoter, der er nævnt tidligere, er der nogle funktioner i et datacenter, der er sikkerhedsspecifikke.

Branddæmper

Det foretrukne system til at slukke brande i et serverrum er at bruge en ren agent. En agent som denne opbevares og transporteres under højt tryk, så det er en væske og optager mindre plads. Når det aktiveres, er det en gas, der kommer ud af dyser i loftet. Udtrykket "ren" betyder, at disse systemer ikke efterlader rester eller kræver oprydning, ligesom håndholdte ildslukkere (tør kemiske) eller vand sprinklersystemer.

Halon var den mest populære branddæmper i denne kategori, men det er en CFC (drivhusgasser), og fremstilling af haloner blev forbudt i 1994. De gamle systemer findes stadig (skal anvende genanvendt halon), men kan ikke anvendes i nye installationer.

En populær ren agent i dag er DuPont's FM-200 (CF₃CHFCF₃), som er ugiftig, og med et korrekt designet system, vil gas fylde rummet og slukke alle brande inden for 10 sekunder (tip: Lad ikke dørene åbne). Det er sikkert for mennesker at trække vejret, men kan skabe dampe, når den reagerer med ild. Standard praksis er at forlade rummet (forseglet) i 10 minutter for at sikre, at al ild er ude.

En anden metode til brandslukning er brugen af inerte gasser, f.eks. Disse gasser virker ved at reducere forholdet mellem ilt i luften. Problemet med disse systemer er, at de er farlige for mennesker og heller ikke så effektive (afhængigt af typen af ild).

Traditionelle sprinklersystemer bruger en stor mængde vand til at reducere brændbarheden af alt i rummet. De er ikke så effektive til elektriske brande, beskadige elektronik, og kræver omfattende oprydning. Nogle gange er de forpligtet til at være i hvert værelse af kommunen, så du kan stadig finde sprinklere sammen med en FM-200 system. Med et vådrørssystem er vand allerede i sprinklerrørene, og varme fra ilden smelter hætterne og frigiver vandet. Et mere passende tørrørssystem har normalt tomme rør, og røgalarmer vil elektronisk udløse en præaktionsventil til at fylde rørene (men hætterne skal stadig smelte, før vandet kommer ud). Hovedformålet med sprinklere er at beskytte bygningen mod sammenbrud, ikke at beskytte elektronikken i rummet.

Uanset hvilket system der er på plads, har moderne faciliteter elektroniske sensorer hele vejen igennem til overvågning og alarmering af bygningsingeniører, sikkerhed, brandvæsenet og andre relevante parter på en automatiseret måde.

OSHA-overholdelse

Osha (Occupational Safety and Health Administration) er en statslig enhed (under det amerikanske arbejdsministerium), der har til opgave at levere regler for at opretholde et sikkert arbejdsmiljø. Nogle af de regler, du kan finde i et datacenter, er ikke så almindelige andre steder.

Støj bliver mere og mere et problem, ikke kun fra fans på it-udstyr, men også fra VVS-systemer. For at opretholde sikre mængder anbefales ørepropper eller øretelefoner til alle medarbejdere, mens de er inde i serverrummet.

Procedurer for fjernelse af gulvfliser på hævede gulve bør omfatte kegler eller midlertidige barrierer, så nogen ikke ved et uheld falder gennem et åbent hul. Hvis undergulvet er dybt eller overfladisk, skal arbejdstagerne udnyttes, og fliserne skal bindes, før de fjernes.

Elektrisk sikkerhed er relevant på grund af den store mængde højspændingskredsløb, der findes i moderne datacentre. Enhver elektrisk vedligeholdelse eller installationer skal udføres af certificerede elektrikere. Store UPS skabe har potentiale for dødelige elektriske buer, så arc-flash ("bunny") dragter skal bæres under vedligeholdelse. Alle racks/skabe, PDU'er og andet elektrisk udstyr skal have korrekt jordforbindelse. Der skal installeres en nødstrømsafbrydelse (kaldet den "store røde knap"), som når der trykkes på, vil skære al strøm til rummet (eller modulet eller bugten), hvis nogen bliver chokeret.

I forbindelse med serverrum i ældre bygninger skal alle steder med asbest være tydeligt markeret, eller teknikere skal oplæres med henblik på opmærksomhed og anvende passende sikkerhedsforanstaltninger (åndedrætsmasker), når der køres netværkskabel (typisk til/fra andre områder af bygningen).

Servere kan være tunge, selv 75 £ (35 kg) for en 4U-server. Selv nogle store netværkskontakter kan ikke løftes og skal leveres med gaffeltruck. Hvis du vil reducere rygbelastningen og risikoen for skader, skal du bruge teamwork til at montere servere. Der er også serverlifte, der kan justere en server til den relevante højde for installation og fjernelse.

Der bør være et tilstrækkeligt antal velafmærkede nødudgange. Dette synes indlysende, men er vanskeligere i store, containeriserede datacentre og i faciliteter, der har flere etager.

Referencer

Det grønne gitter (2008). Kvantitativ analyse af konfigurationer af strømfordeling for datacentre (WP#16)