Hoe een supercomputer te bouwen: 9 stappen (met foto`s)

Heb je een machine nodig die honderden biljoenen drijvende-puntberekeningen per seconde kan leveren? Of heb je behoefte aan een bar-verhaal over hoe de supercomputer in je kelder een breker heeft omgedraaid? Het bouwen van je eigen hoge prestatie-computecluster, een.k.een. Supercomputer, is een uitdaging elke deskundige geek met een weekend met vrije tijd en wat geld om te verbranden, kan aanpakken. Technisch gezien is een moderne, multi-processor supercomputer een netwerk van computers die parallel samenwerken om een probleem op te lossen. Dit artikel beschrijft in het kort elke stap in het proces, scherpstellen op hardware en software.

Stappen

1. Bepaal eerst de hardwarecomponenten en middelen die nodig zijn. U hebt één hoofdknooppunt nodig, ten minste een dozijn identieke compute-knooppunten, een Ethernet-schakelaar, een stroomverdelingseenheid en een rek. Bepaal de vereiste elektrische vraag, koeling en ruimte. Bepaal ook over welk IP-adres u wilt voor uw privé-netwerken, wat de knooppakketten wilt noemen, welke softwarepakketten u wilt geïnstalleerd, en welke technologie u wilt geven de parallelle computermogelijkheden (later later).

Hoewel de hardware duur is, is alle software die in deze how-to gratis is, en de meeste zijn open source.
Als u wilt zien hoe snel uw supercomputer theoretisch zou zijn, gebruikt u deze tool: http: // hpl-calculator.bronnen.netto/

Titel afbeelding Bouw een supercomputer Stap 2

2. Bouw de compute-knooppunten. U moet de berekeningsknooppunten monteren of pre-build-servers verwerven.

Kies een chassis met een computerserver die ruimte, koeling en energie-efficiëntie maximaliseert.

Of U kunt gebruikmaken van een dozijn of zo gebruikte, verouderde servers - waarvan het geheel opwegen tegen de som van hun onderdelen en bespaar u een aanzienlijk stuk contant geld. Alle processors, netwerkadapters en moederborden moeten identiek zijn voor het hele systeem om mooi te spelen. Vergeet natuurlijk geen RAM en opslag voor elk knooppunt en ten minste één optische station voor het hoofdknooppunt.

Titel afbeelding Build a Supercomputer Stap 3

3. Installeer de servers in het rek. Begin vanaf de bodem, dus het rek is niet zwaar. Je hebt een vriend nodig om je hierbij te helpen - de dichte servers kunnen erg zwaar zijn en ze in de rails leiden die ze in het rack houden is moeilijk.

Titel afbeelding Bouw een supercomputer Stap 4

4. Installeer de Ethernet-schakelaar boven het chassis van de server. Neem dit moment om de switch te configureren: toestaan dat Jumbo-frames van 9000 bytes, het IP-adres instellen op het statische adres dat u hebt besloten in stap 1 en schakel onnodige routeringprotocollen uit, zoals SMTP Snooping, zoals SMTP Snooping.

Titel afbeelding Bouw een supercomputer Stap 5

5. Installeer de PDU (Power Distribution Unit). Afhankelijk van hoeveel stroom uw knooppunten nodig hebben bij maximale belasting, heeft u mogelijk 220 volt nodig voor hoge prestaties.

Titel afbeelding Bouw een supercomputer Stap 6

6. Met alles geïnstalleerd, kunt u beginnen met het configuratieproces. Linux is het defacto-besturingssysteem voor HPC-clusters - niet alleen is het de ideale omgeving voor wetenschappelijke computergebruik, maar het kost niets om het te installeren op honderden of zelfs duizenden knooppunten. Stel je voor hoeveel het zou kosten om ramen op al die knooppunten te installeren!

Begin met het installeren van de nieuwste versie van het moederbord BIOS en Firmware, dat hetzelfde zou moeten zijn op alle knooppunten.

Installeer uw gewenste Linux Distro op elk knooppunt, met een grafische UI voor het hoofdknooppunt. Populaire keuzes zijn Centos, OpenSUSE, wetenschappelijke Linux, Redhat en Sls.

Deze auteur beveelt ten zeerste aan de Rocks Cluster-distributie te gebruiken. Naast het installeren van alle hulpmiddelen die nodig zijn voor een computecluster om te functioneren, gebruikt Rotsen een grote methode voor `Distribrueert` vele gevallen van zichzelf naar de knooppunten die zeer snel worden gebruikt met PXE-boot en de rode hoed `Start-startprocedure.

Titel afbeelding Bouw een supercomputer Stap 7

7. Installeer de Message-passerende interface, resource-manager en andere noodzakelijke bibliotheken. Als u geen rotsen in de vorige stap hebt geïnstalleerd, moet u de nodige software handmatig instellen om de parallelle computermechanismen in te schakelen.

Eerst hebt u een draagbaar bashbeheersysteem nodig, zoals de koppelresource-manager, waarmee u taken op meerdere machines kunt breken en distribueren.

Paar koppel met de MAUI-clusterplanner om de setup te voltooien.

Vervolgens moet u het bericht Passage-interface installeren, noodzakelijk voor de individuele processen op de afzonderlijke berekeningsknooppunten om dezelfde gegevens te delen. OpenMP is een no-brainer.

Vergeet niet de multi-threading wiskundige bibliotheken en compilers om uw parallelle computerprogramma`s te bouwen. Heb ik gezegd dat je gewoon rotsen zou moeten installeren?

Titel afbeelding Bouw een supercomputer Stap 8

8. Netwerk de compute-knooppunten samen. Het hoofdknooppunt stuurt de berekentaken naar de berekeningsknooppunten, die op zijn beurt het resultaat terug moeten sturen, evenals het verzenden van berichten naar elkaar. Hoe sneller hoe beter.

Gebruik een eigen Ethernet-netwerk om alle knooppunten in het cluster aan te sluiten.

Het hoofdknooppunt kan ook optreden als NFS, PXE, DHCP, TFTP en NTP-server via het Ethernet-netwerk.

U moet dit netwerk van openbare netwerken scheiden, dat ervoor zorgt dat uitzendpakketten niet interfereren met andere netwerken in uw LAN.

Titel afbeelding Bouw een supercomputer Stap 9

9. Test het cluster. Het laatste dat u mogelijk wilt doen voordat u al deze berekeningskracht aan uw gebruikers vrijgeeft, is de prestaties van de test. De HPL (High Performance Lynpack) Benchmark is een populaire keuze voor het meten van de computationele snelheid van het cluster. Je moet het van bron compileren met alle mogelijke optimalisaties die je compiler biedt voor de architectuur die je hebt gekozen.

Je moet natuurlijk van bron compileren met alle mogelijke optimalisatie-opties voor je platform. Als u bijvoorbeeld AMD CPU`s gebruikt, compileer met Open64 met -0Snelle optimalisatieniveau.

Vergelijk uw resultaten op TOP500.Org om uw cluster te vergelijken met de snelste 500 supercomputers in de wereld!