Iegremdēšanas dzesēšana vs. Tieša-uz-šķembu dzesēšana: ko tas nozīmē jūsu cauruļvadu specifikācijām

Ievads: Lēmums, kas notiek pārāk vēlu

Lielākā daļa datu centru inženieru dzesēšanas tehnoloģiju izvēlas - iegremdējot vai tieši-uz-čipu -, pamatojoties uz plauktu blīvuma mērķiem un kapitāla budžetu. Cauruļvadu specifikācija tiek sniegta vēlāk, un tā bieži tiek uzskatīta par izpildes detaļu, nevis kā dizaina draiveri. Šī secība ir kļūda.

Šķidruma sistēma, ko veidojat ap izvēlēto dzesēšanas arhitektūru, nav savstarpēji aizvietojama. Cauruļvadu specifikācija, kas paredzēta tiešai-uz-chip (D2C) aukstajai-plāksnes dzesēšanai, nedarbosies - burtiski un funkcionāli -, ja to aprīko ar vienfāzes-iegremdēšanu un otrādi. Tā kā GPU statīva blīvums tagad parasti pārsniedz 50 kW un mākslīgā intelekta darba slodze sasniedz 100 kW uz vienu statīvu, cauruļvadu specifikācijas noteikšana tieši shematiskās projektēšanas fāzē vairs nav obligāta. Viena noplūde D2C sistēmā var dažu sekunžu laikā nojaukt visu 400 000 $ GPU aparatūras statīvu.

Šī rokasgrāmata ir paredzēta mehānikas un santehnikas inženieriem, kuri jau ir pieņēmuši (vai pieņem) lēmumu par dzesēšanas arhitektūru un kuriem šī izvēle ir jāpārvērš uzticamā, ASHRAE{0}}saderīgā cauruļvadu specifikācijā.

 

 

Tieši uz mikroshēmas šķidruma dzesēšanas datu centra GPU plaukts CDU

 

1. Divas arhitektūras, divas pilnīgi atšķirīgas šķidruma cilpas loģikas

Pirms pieskarties cauruļu grafikam, saprotiet, ka dzesēšana ar iegremdēšanu un D2C darbojas pēc būtiski atšķirīgiem hidrauliskiem principiem.

Tieši-uz-mikroshēmu (D2C)cirkulē šķidru -, parasti dejonizētu ūdeni vai ūdens-glikola maisījumu - caur aukstām plāksnēm, kas uzstādītas tieši uz CPU, GPU un ASIC. Siltums tiek absorbēts uz skaidas virsmas un tiek pārnests uz dzesēšanas šķidruma sadales bloku (CDU), kas to apmaina ar iekārtas ūdens sistēmu. Rezultātā tiek izveidots blīvs, zem spiediena esošais maza-diametra cauruļu, kolektoru, ātrās-atvienošanas veidgabalu un aukstuma plākšņu tīkls, kam visiem vienlaikus jādarbojas hidrauliskā līdzsvarā.

Viena{0}}fāzes iegremdēšanas dzesēšanaiegremdē veselas servera plates dielektriskā šķidrumā -, kas parasti ir sintētisks ogļūdeņradis vai konstruēts šķidrums - tvertnē. Siltums no visām sastāvdaļām pāriet uz šķidrumu, kas pēc tam tiek sūknēts caur ārēju siltummaini. Ārējais cauruļu tīkls ir minimāls: būtībā divi savienojumi uz vienu tvertni (pieplūde un atgriešana), kas ved uz CDU vai iekārtas dzesēšanas kontūru.

Arhitektūras atšķirības ir krasas: D2C sadala hidraulisko izaicinājumu pa desmitiem savienojuma punktu uz vienu statīvu; iegremdēšana apvieno to vienkāršā, zema spiediena{1}}ārējā kontūrā. Viss pa straumi jūsu cauruļvadu specifikācijā izriet no šīs atšķirības.

 

2. Caurules materiāla izvēle: kur ASHRAE nosaka robežu

ASHRAE TC 9.9 un TC 9.6 ir skaidri norādīts par materiālu saderību. D2C dzesēšanas cilpām, kuru pamatā ir ūdens{4}}, norādījumi aizliedz cinku, alumīniju un misiņu, kas satur vairāk nekā 15% cinka -, kas visi paātrina galvanisko koroziju apstrādāta ūdens klātbūtnē. Praktiski tas izslēdz standarta dzeltenā misiņa veidgabalus un cinkotas tērauda caurules, kas joprojām ir izplatītas HVAC hidrauliskajās sistēmās.

Tehnoloģiju dzesēšanas sistēmas (TCS) cilpai - sekundārajai cilpai, kas tieši apkalpo aukstās plāksnes -304 vai 316 nerūsējošais tēraudsir standarta specifikācija. TCS cilpa parasti vada dejonizētu vai ļoti apstrādātu ūdeni, kas faktiski ir agresīvāks pret koroziju nekā komunālais ūdens, jo tam gandrīz nav buferspējas. Izolācijas vārsts pie katra plaukta, kas paredzēts sistēmas darba spiedienam un izgatavots no 316 nerūsējošā tērauda, ​​ir nepieciešams gan ikdienas apkopei, gan avārijas noplūdes izolēšanai.

Iegremdēšanas dzesēšanai materiālais izaicinājums pilnībā mainās. Dielektriskais šķidrums ir ķīmiski inerts pret lielāko daļu metālu, taču tas agresīvi uzbrūk elastomēriem - standarta EPDM un Buna-N blīves, ko izmanto HVAC lietojumos, uzbriest un noārdīsies dažu mēnešu laikā pēc saskares ar ogļūdeņražu- bāzes dielektriskiem šķidrumiem. Pats cauruļvadu materiāls (nerūsējošais, oglekļa tērauds) parasti ir saderīgs, taču katrai blīvei, O-gredzenam un elastīgajam savienojumam ārējā cilpā ir jābūt norādītam kā PTFE vai fluorpolimēra materiālam, kas paredzēts konkrētajam izmantotajam šķidrumam.

 

3. Caurules izmēra, plūsmas ātrums un spiediena kritums

ASHRAE TC 9.6 nosaka maksimālo šķidruma ātrumu2,1 m/s, ja caurules diametrs ir lielāks par 3 collāmlai novērstu eroziju pie veidgabaliem un līkumiem. Zem 3 collām praktiskā robeža ir tuvāk 1,5–1,8 m/s, pirms trokšņa un erozijas risks nepieņemami palielinās. Šie ierobežojumi attiecas uz abām dzesēšanas arhitektūrām, taču rada ļoti atšķirīgus izmēru rezultātus.

D2C sistēmās plūsmas ātrumu nosaka katras aukstās plāksnes termiskā slodze. Palielinoties mikroshēmas TDP (termiskās projektēšanas jaudai) - mūsdienu H100 GPU darbojas ar 700 W TDP, ar nākamās{5}}paaudzes paātrinātājiem, kas tiek prognozēti 1000 W+ -, plūsmas pieprasījums uz aukstuma plāksni proporcionāli palielinās. 50 kW plauktam ar D2C dzesēšanu var būt nepieciešami 8–12 litri minūtē dzesēšanas šķidruma pie plaukta kolektora, kas sadalīts pa 8 līdz 16 atsevišķām aukstuma plāksnēm. Tas rada nepieciešamību pēc rūpīgas hidrauliskās balansēšanas: aukstajām plāksnēm paralēli ir jāsadala plūsma vienmērīgi, pretējā gadījumā karstākās skaidas -, kas parasti atrodas kolektora atzara galā -, zaudēs dzesēšanas jaudu.

Iegremdēšanas sistēmās ārējā caurules cilpa pārvadā pilnu tvertnes siltuma slodzi, taču ar daudz mazāku ātrumu un spiedienu, jo tvertnes iekšienē darbojas konvekcija un zema -ātruma sūknēšana, nevis piespiedu liela{1} spiediena plūsma. 250 kW iegremdēšanas tvertnei parasti ir nepieciešami tikai 20–30 litri minūtē caur ārējo siltummaiņa cilpu, ja sistēmas spiediens reti pārsniedz 2–3 bārus.

Pieskaitāmās izmaksas un zemgrīdas maršrutēšanas lēmums ietekmē arī izmēru noteikšanu. ASHRAE vadlīnijās ir norādīts, ka zemgrīdas cauruļu gājieniem ir jāņem vērā izolācijas biezums un cauruļu šķērsgriezuma attālums -, pievienojot caurules diametram 50 mm, ņemot vērā izolācijas aptinumu, ir izplatīta plānošanas kļūda, kas rada koordinācijas konfliktus ar paaugstinātu-grīdas flīžu izkārtojumu.

 

4. Izolācijas vārsti, sietiņi un noplūdes kontrole: specifikācijas informācija, kas aizsargā darbības laiku

Šeit cauruļvadu specifikācijas tieši nosaka darbības noturību, un lielākā daļa specifikāciju dokumentu tiek parakstīti.

D2C sistēmām, katram plauktam ir jābūt izolācijas vārstam gan uz padeves, gan atpakaļgaitas kājiņām, kas ļauj izolēt un iztukšot vienu statīvu apkopes veikšanai, neizslēdzot blakus esošos statīvus. Vēlamais vārsta veids šim lietojumam ir a3 gabalu vītņots lodveida vārsts304 vai 316 nerūsējošā tērauda. Trīs-daļiņu korpusa konstrukcijai šeit ir izšķiroša nozīme: atšķirībā no viena-gabala vai diviem-daļas vārstiem, to var izjaukt vietā -, negriežot cauruli vai nenoņemot vārsta korpusu no līnijas -, lai nomainītu blīves vai notīrītu ligzdu. Tiešsaistes datu centra vidē, kur statīva dīkstāves minimizēšana ir vissvarīgākā, šī tūlītējā apkalpojamība ir nozīmīga ekspluatācijas priekšrocība, nevis specifikācijas greznība.

Pirms katra plaukta kolektora ir nepieciešams nerūsējošā tērauda Y sietiņš, lai aizsargātu aukstās plāksnes mikro{0}}kanālus no daļiņu piesārņojuma. Aukstās plates ģeometrijā augstas veiktspējas GPU{2}}kanāla platumam ir 0,5–1,0 mm; 200 mikronu daļiņa var daļēji bloķēt kanālu un izveidot lokālu karsto punktu, kuru termiskā uzraudzība var nenoķert, kamēr nesākas mikroshēmas droselēšana. Saskaņā ar ASHRAE TC 9.9 ūdens kvalitātes vadlīnijām TCS cilpā norādiet sietiņus ar 50 mikronu vai smalkāku tīklu.

Atgaitas posmā nerūsējošā tērauda pretvārsts novērš apgriezto plūsmu caur CDU siltummaini, kad statīvs ir izolēts vai sūknis ieslēdzas - pretplūsmas gadījumā, kas var ievadīt siltu šķidrumu padeves galvenē un paaugstināt dzesēšanas šķidruma temperatūru visā rindā, pirms vadības ierīces reaģē.

Servera-to-savienojumiem ar kolektoru norādiet sauso-ātrās-atvienošanas savienojumus ar maksimālo pieļaujamo izšļakstīšanos 1 kubikcentimetru vienā atvienošanas ciklā saskaņā ar OCP (Open Compute Project) savienojuma standartiem. Elastīgie šļūtenes segmenti pie šiem savienojumiem ir jānostiprina ar papildu skavām ar 150 mm intervālu, lai novērstu spiediena kritumu, ko izraisa saspiešana un savienojuma vītņu noslodze.

Iegremdēšanas sistēmām, izolācijas specifikācija ir vienkāršāka, bet ne triviāla. Katrai tvertnei ir nepieciešami padeves un atgaitas izolācijas vārsti, kas paredzēti pilnai tvertnes plūsmai, kā arī parauga ports šķidruma kvalitātes uzraudzībai. Norādiet ārējās cilpas savienojumus materiālā, kas ir saderīgs ar konkrēto dielektrisko šķidrumu -, pirms specifikācijas pabeigšanas rakstiski apstipriniet saderību ar šķidruma piegādātāju, jo patentētie šķidrumu sastāvi atšķiras.

Noplūdes noteikšanas kabelis jānovieto visā visu D2C padeves cauruļvadu garumā, novietojot katras caurules teknes vai kabeļu teknes zemākajā pieejamajā punktā. Iegremdēšanas sistēmām pietiek ar punktveida-sensoru noplūdes detektoriem katrā tvertnes pamatnē un CDU, ņemot vērā to, ka ārējo cauruļu savienojumi ir maz un labi{3}}redzami.

 

 

Leadtek 3 daļu vītņots lodveida vārsts

 

5. Praktisko specifikāciju kontrolsaraksts pirms būvniecības izdošanas

Pirms jūsu cauruļvadu specifikācijas atstāj inženieru komandu, pārbaudiet tālāk norādīto atbilstību jūsu izvēlētajai dzesēšanas arhitektūrai.

Materiāla atbilstība: Visi samitrinātie metāli ir apstiprināti bez cinka un alumīnija sakausējumiem (D2C); visi elastomēri ir apstiprināti par saderību ar dielektrisko šķidrumu ķīmiju (iegremdēšana)

Ātruma pārbaude: ne vairāk kā 2,1 m/s pie caurulēm, kuru diametrs ir lielāks vai vienāds ar 3 collu, uz ASHRAE TC 9.6

Izolācijas vārsti: viens 3 daļiņu vītņots lodveida vārsts uz vienu statīvu, piegāde un atgriešana, ar apkopi vienā rindā (D2C)

Sietiņa vērtējums: mazāks vai vienāds ar 50 mikronu sietu TCS padevei, augšpus katra plaukta kolektora (D2C)

Pārbaudiet vārsta novietojumu: CDU atgriešanas kāja, katra plaukta atgriešanās atzars (D2C)

Ātrā-atvienošanas specifikācija: Sausais-pārtraukums, mazāks vai vienāds ar 1cc izšļakstījumu, OCP-saderīgs (D2C)

Noplūdes noteikšana: Nepārtraukts kabelis visos padeves maršrutos (D2C); punktu sensori tvertnes pamatnē un CDU (iegremdēšana)

Klīrenss zem grīdas: Caurules OD plus izolācija plus 50 mm šķērsgriezuma klīrenss apstiprināts grīdas tukšuma modelī

Ūdens attīrīšanas plāns: vietnei-specifiska ķīmijas programma, kas tiek izmantota pirms sistēmas aizpildīšanas, un ir norādīts pastāvīgās uzraudzības protokols

 

Secinājums: norādiet cauruļu sistēmu, lai tā atbilstu dzesēšanas arhitektūrai, nevis otrādi

Lēmums par dzesēšanas tehnoloģiju un cauruļvadu specifikācija nav secīgas darbības - tie ir viens integrēts inženierijas lēmums. Izvēle starp iegremdēšanu un D2C dzesēšanu nosaka visas šķidruma sistēmas hidraulisko loģiku, materiālu ierobežojumus, izolācijas stratēģiju un noplūdes riska profilu. Mēģinot pielāgot vispārēju HVAC hidraulisko cauruļu specifikāciju jebkurai arhitektūrai, tiks izveidota sistēma, kas nedarbojas pietiekami labi un rada nevajadzīgu apkopi.

Izmantojiet savu cauruļvadu specifikāciju shematiskā projektēšanā, kā arī dzesēšanas arhitektūras izvēli. Izmantojiet ASHRAE TC 9.6 un TC 9.9 kā sākotnējo atbilstības sistēmu un pārbaudiet katru materiālu izvēli, salīdzinot ar faktisko šķidruma ķīmisko sastāvu jūsu sistēmā -, nevis vispārējs "ūdens" pieņēmums. 30 minūtes, kas pavadītas, lai iegūtu izolācijas vārsta tipu un sietiņa sieta novērtējumu tieši specifikācijas stadijā, ietaupīs ievērojami vairāk nekā 30 minūtes turpmākajā dīkstāvē.

 

FAQ

J: Vai varu izmantot standarta HVAC oglekļa tērauda cauruli tiešai{0}}uz-šķembu dzesēšanas kontūrai?

Oglekļa tērauds tiek izmantots iekārtas -puses (FWS) atdzesētā ūdens cilpās, taču tas nav piemērots tehnoloģiju dzesēšanas sistēmas (TCS) cilpai, kas tieši apkalpo aukstās plāksnes. TCS cilpa darbina ļoti attīrītu ūdeni ar zemu jonu saturu, kas ir kodīgāks pret oglekļa tēraudu nekā apstrādāts HVAC ūdens. Norādiet 304 vai 316 nerūsējošo tēraudu visiem TCS cilpas cauruļvadiem un veidgabaliem.

J: Kāpēc mans CDU ražotājs norāda citu cauruļu savienojuma izmēru nekā mans aukstās plāksnes pārdevējs?

CDU un aukstuma plāksnes bieži tiek iegūtas no dažādiem ražotājiem, un tās ir paredzētas dažādiem iekšējās plūsmas pretestības pieņēmumiem. Savienojuma izmēru neatbilstība ir hidrauliskās balansēšanas problēma: ja CDU paredz 10 l/min pie 2 bar un aukstajām plāksnēm kopā ir nepieciešami 14 l/min, lai uzturētu mikroshēmu savienojuma temperatūru, neviena pārdevēja specifikācija nav nepareiza - sistēmas dizains tos nav saskaņojis. Pirms savienojuma izmēru noteikšanas pabeigšanas ir jāpabeidz pilnas TCS cilpas hidrauliskais modelis no CDU izejas līdz katrai aukstuma plāksnei un aizmugurē.

J: Cik bieži Y sietiņi jātīra D2C dzesēšanas cilpā?

Pirmo 90 darba dienu laikā pārbaudiet sietiņu grozus reizi mēnesī - no jaunām cauruļvadu sistēmām, kas izdala daļiņas, jo cauruļu pārklājumi sacietē un veidgabali nosēžas. Pēc pārtraukuma-ar ceturkšņa pārbaudi parasti pietiek slēgta-līnijas sistēmām ar pastāvīgu ūdens kvalitātes uzraudzību. Ja jūsu CDU ir iebūvēts diferenciālā spiediena sensors pāri sietiņam, iestatiet trauksmi 0,3 bar delta-P kā tīrā-groza bāzes līniju.

J: Vai iegremdējamās dzesēšanas caurules ir vienkāršāk norādīt nekā D2C?

Ārējais cauruļu tīkls iegremdējamai dzesēšanai ir ievērojami vienkāršāks - mazāk pieslēguma punktu, zemāks spiediens un nav statīva-līmeņa kolektora sadales. Tomēr materiāla specifikācija ir sarežģītāka, jo dielektriskā šķidruma saderība ir jāpārbauda katram sistēmas elastomēram, blīvei un elastīgajam savienotājam. Materiālu nepareizas saderības kļūdas veids iegremdēšanas sistēmā ir lēns un grūti pamanāms: blīvējuma degradācija 12–18 mēnešu laikā, kam seko pakāpenisks šķidruma zudums un piesārņojums, nevis tūlītēja un redzama noplūde, ko rada D2C sistēmas.

J: Kāds ir minimālais grīdas tukšuma augstums, kas nepieciešams, lai D2C dzesēšanas caurule iet zem paaugstinātas grīdas?

ASHRAE norādījumi nenosaka universālu minimumu, jo tas ir atkarīgs no caurules diametra, izolācijas specifikācijas un no tā, vai caurules šķērso viena otru. Praktisks plānošanas noteikums ir atļaut vislielāko cauruļu ārējo diametru, plus 75 mm izolāciju no visām pusēm, plus 50 mm atstarpi augšpusē šķērscaurulēm un 25 mm zemāk balstiem. 4-collu barošanas maģistrālei ar 25 mm izolāciju tas nodrošina minimālo grīdas tukšumu, kas ir aptuveni par 300 mm - lielāks nekā 250 mm tukšums, kas izplatīts mantotos paaugstinātas grīdas datu centros, un tas ir modernizēšanas ierobežojums, kuru ir vērts noteikt laikus.