DOME MicroDataCenter
DOME MicroDataCenter – część większego projektu DOME, urządzenie zawierające moc obliczeniową, pamięć masową, zasilanie, chłodzenie i interfejsy sieciowe w bardzo małej objętości, czasami nazywane także „DataCenter-in-a-box”. Termin ten był używany do opisania różnych prototypów implementujących tę ideę w ciągu ostatnich 20 lat. Pod koniec 2017 roku na konferencji SuperComputing 2017 pokazano bardzo ściśle zintegrowaną wersję: DOME MicroDataCenter[1]. Kluczowe cechy to zastosowanie technologii chłodzenia ciepłą wodą, w pełni półprzewodnikowe nośniki pamięci NVMe, oraz całość urządzenia zbudowana wyłącznie z popularnych komponentów spełniających znane normy.
Projekt DOME
edytujDOME to projekt finansowany przez rząd Niderlandów pomiędzy firmami IBM i holenderskim instytutem badań ASTRON w formie partnerstwa publiczno-prywatnego w celu opracowania ścieżki rozwoju dla technologii ukierunkowanych na Square Kilometer Array (SKA), czyli największy planowany radioteleskop na świecie[2][3]. Zlecony do wykonania w Australii i Afryce Południowej na przełomie 2024 roku, pozwoli naukowcom zbadać pierwsze gwiazdy oraz galaktyki które powstały po Wielkim Wybuchu. Jednym z 7 projektów DOME jest właśnie MicroDataCenter (wcześniej nazywane mikroserwerami), które w założeniu mają być małe, niedrogie i wydajne obliczeniowo.
Celem MicroDataCenter jest możliwość wykorzystania go zarówno w pobliżu anten SKA do wczesnego przetwarzania danych, jak i wewnątrz znacznie większych superkomputerów, które będą wykonywać analizę dużych zbiorów danych. Serwery te mogą być rozmieszczane w bardzo dużych ilościach oraz w ekstremalnych środowiskowo lokalizacjach, takich jak pustynie, gdzie będą znajdować się anteny teleskopów, a nie tylko w chłodzonych centrach danych.
Powszechnym błędem jest przekonanie, że mikroserwery oferują tylko niską wydajność. Jest to spowodowane tym, że pierwsze mikroserwery były oparte na procesorach Intel Atom lub wczesnych 32-bitowych rdzeniach ARM. Celem projektu DOME MicroDataCenter jest zapewnienie wysokiej wydajności przy niskich kosztach i niskim poborze mocy. Kluczową cechą MicroDataCenter jest jego opakowanie: bardzo mała obudowa, która pozwala na skrócone dystanse w komunikacji. Opiera się to na wykorzystaniu mikroserwerów, eliminując wszystkie niepotrzebne komponenty, integrując jak najwięcej z tradycyjnego serwera obliczeniowego w jednym SoC (serwer na chipie). Mikroserwer nie zapewni najwyższej możliwej wydajności pojedynczego wątku, zamiast tego oferuje zoptymalizowany energetycznie punkt projektowy przy średniej i wysokiej wydajności. W 2015 roku na rynku pojawiło się kilka wysokowydajnych SoC, pod koniec 2016 dostępny był już szerszy wybór, jak np. Qualcomm Hydra[4].
Na poziomie serwera, 28 nanometrowy układ T4240 oferuje dwa razy więcej operacji na dżul w porównaniu do zoptymalizowanych energetycznie 22 nm układów serwerów Finfet XEON-E3 1230Lv3, zapewniając o 40% wyższą łączną wydajność. Porównanie dotyczy płyty serwerowej, a nie układu scalonego[5].
Prace nad DOME
edytujW 2012 roku zespół IBM Research Zürich, kierowany przez Ronalda P. Luijtena, rozpoczął prace nad bardzo gęstym obliczeniowo i energooszczędnym projektem 64-bitowego komputera opartego na zwykłych komponentach z systemem Linux[6]. Projekt system-on-chip (SoC), w którym większość niezbędnych komponentów zmieściłby się na pojedynczym chipie, najlepiej pasowałby do tych celów, a definicja „mikroserwera” pojawiła się tam, gdzie projekt dostarczył kompletną płytę główną (z wyjątkiem pamięci RAM, rozruchowej pamięci flash i obwodów konwersji mocy), która zmieściłaby się na jednym chipie. Zbadano rozwiązania oparte na architekturze ARM, x86 i Power ISA, a rozwiązanie oparte na dwurdzeniowym procesorze P5020 / czterordzeniowym P5040 Power ISA firmy Freescale okazało się najlepszym rozwiązaniem w momencie podejmowania decyzji w 2012 roku.
Koncepcja ta jest podobna do superkomputerów IBM Blue Gene, przy czym mikroserwer DOME został zaprojektowany w oparciu o gotowe komponenty i obsługuje standardowe systemy operacyjne i protokoły, tak aby obniżyć koszty rozwoju i komponentów[7].
Absolutnie wierzę, że zmniejszamy rozmiar komputerów.
Kompletny mikroserwer jest oparty na tej samej obudowie, co standardowe gniazdo FB-DIMM. Pomysł polega na umieszczeniu 128 takich kart obliczeniowych w 19- calowej szufladzie 2U w szafie typu rack wraz z sieciowymi tablicami rozdzielczymi do zewnętrznej pamięci masowej i komunikacji. Chłodzenie zostało zapewnione za pośrednictwem rozwiązania Aquasar do chłodzenia gorącą wodą, którego pionierem był superkomputer SuperMUC w Niemczech[8].
Projekty pierwszego prototypu zostały udostępnione społeczności użytkowników DOME 3 lipca 2014 r. Układ SoC P5040, 16 GB pamięci DRAM i kilka układów sterujących (takich jak PSoC 3 firmy Cypress używany do monitorowania, debugowania i uruchamiania) składa się z kompletnego węzła obliczeniowego o fizycznych wymiarach 133 × 55 mm. Piny karty są używane do SATA, pięciu portów Ethernet o szybkościach 1 Gbit i dwóch 10 Gbit, jednego interfejsu karty SD, jednego interfejsu USB 2 i zasilania. Karta obliczeniowa działa w przedziale mocy 35 W z zapasem do 70 W. Zestawienie materiałów wynosi około 500 USD dla pojedynczego prototypu.
Pod koniec 2013 r. Do drugiego prototypu wybrano nowy SoC. Nowszy 12-rdzeniowy / 24- wątkowy model T4240 firmy Freescale jest znacznie mocniejszy i działa w zakresie mocy porównywalnej do modelu P5040 przy TDP 43 W. Ta nowa karta mikroserwerowa oferuje 24 GB DRAM i może być zasilana, a także chłodzona miedzianym radiatorem. Układ został budowany i sprawdzany pod kątem wdrożenia na większą skalę w pełnej szufladzie 2U na początku 2017 roku. Tak, aby obsługiwać natywną sygnalizację 10 GbE, złącze DIMM zostało zastąpione złączem SPD08.
Parametry
edytuj| Składnik FSL SoC | P5040 | T4240 |
|---|---|---|
| Taktowanie CPU (GHz) | 2.2 | 1.8 |
| Ilość CPU (rdzeń/wątek) | 4C/4T | 12C/24T |
| Cache L1 | 32 KB I + 32 KB D per core | 32 KB I + 32 KB D per core |
| Cache L2 | 512 KB I + D | 2 MB per 4 CPU |
| Cache L3 | 1.0 MB | 1.5 MB |
| Pamięć | 2 × 2GB, DDR3/L3, ECC | 3 × 2GB, DDR3/L3, ECC |
| Core | e5500, ppc64 | e6500, ppc64 |
| 1 DP FP / rdzeń | 1 DP FP / rdzeń + 128-bit SP altivec / core | |
| Litografia | 45nm | 28nm |
| TDP | 55W | 60W |
Pod koniec 2016 r. Ukończono wersję produkcyjną karty mikroserwera opartej na T4240. Używając tego samego współczynnika kształtu i tego samego złącza (a tym samym kompatybilnego z wtyczką), ukończono drugą płytkę prototypową serwera opartą na SoC NXP (dawniej Freescale) LS2088A (z 8 rdzeniami A72 ARMv8)[9].
Efekty
edytujJedną z najmniejszych form produkcyjnych dla technologii mikro centrum danych została zapoczątkowana właśnie przez zespół mikro serwerów DOME w Zurychu. Obliczenia tu składają się z wielu mikroserwerów, a sieć składa się z co najmniej jednego modułu mikro-przełącznika. Pierwsze demo na żywo 8-drożnego prototypowego systemu opartego na P5040ZMS miało miejsce na targach Supercomputing 2015 w ramach pokazu nowych technologii, a następnie na targach CeBIT w marcu 2016 r., gdzie miał miejsce pokaz na żywo 8-Way HPL o nazwie „LinPack-in-a-shoebox”.
Lubię nazywać to centrum danych w pudełku na buty. Jest to kombinacja mocy i wydajności energetycznej, wierzymy, że mikroserwery staną się języczkiem u wagi również poza Projektem DOME, szczególnie w zastosowaniach chmurowych centrów danych i aplikacji analizujących Big Data.
W 2017 roku zespół ukończył wersję produkcyjną, która zawierała 64 serwery T4240ZMS, dwa przełączniki 10/40 GbE, pamięć masową, zasilanie i chłodzenie w szafie rack 2U. Ta technologia zwiększa gęstość 20-krotnie w porównaniu z tradycyjnie pakietowaną technologią centrów danych, jednocześnie zapewniając identyczną łączną wydajność. Osiągnięto to dzięki nowemu projektowi typu top-down, minimalizującemu liczbę niezbędnych komponentów, stosując SoC zamiast tradycyjnego procesora oraz płyty i gęste upakowanie, które umożliwia chłodzenie choćby gorącą wodą[10].
Komercjalizacja
edytujPrzynajmniej jedna firma będąca startupem – w trybie stealth – była zainteresowana komercjalizacją technologii, aplikowała celem uzyskania licencji na tę technologię od IBM, tak aby wprowadzić ją na rynek w pierwszej połowie 2018 roku.
Niestety, startupowi nie udało się uzyskać finansowania zalążkowego na rozpoczęcie produkcji. A gdy ten projekt, wraz z zasobami, został wstrzymany, Ronald P. Luijten, szef projektu wycofał się z laboratorium badawczego w Zurychu. (Sierpień 2020)
Przypisy
edytuj- ↑ Paul Alcorn: Tom’s Hardware on Sc17, slide 27. [dostęp 2020-10-23]. (ang.).
- ↑ ASTRON & IBM Center for Exascale Technology (Wayback Machine). [dostęp 2020-01-25]. (ang.).
- ↑ Square Kilometer Array: Ultimate Big Data Challenge. [dostęp 2020-10-23]. (ang.).
- ↑ Fuad Abazovic: Qualcomm has a 64-core ARM server processor. [dostęp 2020-10-23]. (ang.).
- ↑ Energy-Efficient Microserver Based on a 12-Core 1.8GHz 188K-CoreMark 28nm Bulk CMOS 64b SoC for Big-Data Applications with 159GB/s/L Memory Bandwidth System Density, R.Luijten et al., ISSCC15, San Francisco, Feb 2015.
- ↑ Nicole Hemsoth: Big Science, Tiny Microservers: IBM Research Pushes 64-Bit Possibilities. [dostęp 2020-10-23]. (ang.).
- ↑ a b Timothy Prickett Morgan: IBM DOME Microserver Could Appeal To Enterprises. [dostęp 2020-10-23]. (ang.).
- ↑ IBM/ASTRON DOME 64-bit Microserver.
- ↑ Agam Shah: IBM to present the incredible shrinking supercomputer. [dostęp 2020-10-23]. (ang.).
- ↑ Award-winning 64-bit MicroDataCenter prototype prepares for Big Bang Big Data. [dostęp 2020-10-23]. (ang.).