So montieren Sie einen Supercomputer

Inhalt

• Stufen

ist ein Wiki, was bedeutet, dass viele Artikel von mehreren Autoren verfasst wurden. Um diesen Artikel zu erstellen, haben 18 Personen, einige davon anonym, an seiner Ausgabe und seiner Verbesserung im Laufe der Zeit teilgenommen.

Benötigen Sie eine Maschine, die Hunderte von Milliarden von Gleitkommaberechnungen pro Sekunde ausführen muss? Benötigen Sie eine Geschichte, um zu erklären, wie Ihr Supercomputer im Keller den Hammer gesprengt hat? Das Erstellen eines Clusters (oder Clusters) von Hochleistungscomputern ist eine Herausforderung, die jeder Experte an einem Wochenende mit dem entsprechenden Budget bewältigen kann. Aus technischer Sicht ist ein moderner Multiprozessor-Supercomputer ein Netzwerk von Computern, die parallel arbeiten, um ein Problem zu lösen. Wenn Sie die folgenden einfachen Schritte ausführen, um das Gerät zu montieren und die erforderliche Software zu installieren, können Sie auch einen Supercomputer haben.

Stufen

1. 
   

   
   Bestimmen Sie die erforderlichen Geräte und Ressourcen. Sie benötigen einen Hauptknoten, mindestens zwölf weitere identische Knoten, einen Ethernet-Switch, ein Netzteil und ein Regal. Bestimmen Sie Ihren Bedarf an Strom, Kühlung und Platz. Sie müssen auch entscheiden, welche IP-Adresse Sie für Ihre privaten Netzwerke verwenden möchten, die Namen der Knoten, die Software, die Sie installieren möchten, und die Technologie, die Sie für die Rechenfunktionen benötigen (wir werden später darauf zurückkommen).
   • Auch wenn die Hardware teuer ist, ist die gesamte in diesem Artikel vorgestellte Software kostenlos und die meisten sind frei von Rechten.
   • Wenn Sie sich ein Bild davon machen möchten, wie schnell ein Supercomputer sein kann, können Sie dieses Tool verwenden: http://hpl-calculator.sourceforge.net/.

2. 
   

   
   
   
   Installieren Sie die Knoten. Sie müssen die Knoten zusammenbauen oder vormontierte Server erhalten.
   • Wählen Sie ein Servergehäuse mit viel Platz, einem geeigneten Kühlsystem und einer Energieoptimierung.
   • Sie können auch ein Dutzend alter Server verwenden, deren Summe die Leistung einzelner Einheiten übersteigt und Sie viel Geld sparen. Alle Prozessoren, Netzwerkadapter und Motherboards müssen identisch sein, damit das gesamte System reibungslos funktioniert. Natürlich sollten Sie nicht den RAM und den Speicher für jeden der Knoten sowie mindestens ein Festplattenlaufwerk für den Kopf vergessen.

3. 
   

   
   Installieren Sie die Server im Regal. Beginnen Sie unten, wenn die Oberseite des Regals nicht beschwert ist. Sie werden auch einen Freund brauchen, der Ihnen hilft. Die Server können schwer sein und es wird schwierig sein, sie auf den Schienen des Regals zu führen.

4. 
   

   
   
   
   Installieren Sie den Ethernet-Switch oben auf dem Gehäuse. Nehmen Sie sich einen Moment Zeit, um es zu konfigurieren. Erlauben Sie eine Jumbo-Frame-Größe von 9000 Bytes, setzen Sie die IP-Adressen auf die statischen Adressen, die Sie im ersten Schritt ausgewählt haben, und deaktivieren Sie unnötige Protokolle wie SMTP-Snooping.

5. 
   

   
   Installieren Sie die aktuelle Einheit. Abhängig davon, wie viel Strom die Knoten benötigen, benötigen Sie wahrscheinlich ein 220-Volt-Gerät.

6. 
   

   
   Konfigurieren Sie die Hardware. Sobald Sie alles installiert haben, können Sie mit der Konfiguration der Hardware beginnen. Linux ist das Standardbetriebssystem für HPC-Cluster, nicht nur, weil es die beste Umgebung für wissenschaftliche Berechnungen ist, sondern auch, weil die Installation auf Hunderten oder Tausenden von Knoten völlig kostenlos ist. Stellen Sie sich den Preis vor, den Sie zahlen müssen, wenn Sie Windows auf jedem dieser Knoten installieren müssen.
   • Installieren Sie zunächst die neueste BIOS- und Motherboard-Firmware, die für alle Motherboards gleich sein sollte.
   • Installieren Sie Ihre bevorzugte Linux-Distribution auf jedem Knoten und eine Distribution mit einer grafischen Oberfläche auf dem Hauptknoten. Oft werden CentOS, OpenSuse, Scientific Linux, RedHat oder SLES verwendet.
   • Für diesen Artikel empfehlen wir dringend Rocks Cluster. Neben der Installation aller Tools, die für die ordnungsgemäße Funktion von Clustern erforderlich sind, verwendet Rocks eine hervorragende Methode, um mithilfe des PXE-Starts und der Schnellstartprozedur von Red Tea Tree viele Instanzen von sich selbst schnell auf Knoten zu "verteilen".

7. 
   

   
   Installieren Sie die Software. Installieren Sie eine Schnittstelle für die Übertragung, die Ressourcenverwaltung und andere erforderliche Bibliotheken. Wenn Sie Rocks im vorherigen Schritt nicht installiert haben, müssen Sie die gesamte erforderliche Software manuell konfigurieren, um die parallelen Berechnungsmechanismen zu aktivieren.
   • Zunächst benötigen Sie ein Bash-Management-System wie Torque Resource Manager, mit dem Sie verschiedene Aufgaben auf mehrere Computer verteilen können.
   • Drehmoment Drehmoment mit dem Maui Cluster Scheduler, um die Konfiguration abzuschließen.
   • Als Nächstes müssen Sie die Absenderschnittstelle installieren, die für die Prozesse auf verschiedenen Computern erforderlich ist, um dieselben Daten gemeinsam zu nutzen. Installieren Sie OpenMP, es ist sehr einfach zu bedienen.
   • Vergessen Sie nicht, Multithreading-Bibliotheken und Compiler zu verwenden, um parallele Berechnungsprogramme zu erstellen. Auch hier ist Rocks die beste Lösung.

8. 
   

   
   Verbinden Sie die Knoten in einem Netzwerk. Der Hauptknoten sendet die auszuführenden Aufgaben an die anderen Rechenknoten, die die Ergebnisse zurückgeben, während sie Nachrichten aneinander senden. Je schneller es geht, desto besser.
   • Verwenden Sie ein privates Ethernet-Netzwerk, um alle diese Knoten zu einem Cluster zu verbinden.
   • Der Hauptknoten kann in dem von Ihnen erstellten Netzwerk auch als NFS-, PXE-, DHCP-, TFTP- und NTP-Server fungieren.
   • Sie müssen dieses Netzwerk von öffentlichen Netzwerken trennen, um sicherzustellen, dass die von den Servern ausgetauschten Pakete nicht mit den über das restliche Netzwerk ausgetauschten Paketen interferieren.

9. 
   

   
   Testen Sie den Cluster. Das Letzte, was Sie tun müssen, um die Leistung Ihres Supercomputers freizugeben, ist die Leistung zu testen. Der HPL-Leistungstest (High Performance Lynpack) ist eine beliebte Methode zur Messung der Rechengeschwindigkeit eines Computerclusters. Sie müssen es aus dem Quellcode mit allen Optimierungen kompilieren, die Ihr Compiler entsprechend der von Ihnen gewählten Architektur anbietet.
   • Natürlich müssen Sie es aus der Quelle kompilieren, die Ihnen die meisten Optionen zur Optimierung Ihrer Plattform bietet. Wenn Sie beispielsweise AMD-Prozessoren verwenden, kompilieren Sie diese mit Open64, indem Sie die Optimierungsstufe -0fast wählen.
   • Vergleichen Sie die Ergebnisse auf TOP500.org, um festzustellen, ob Ihr Supercomputer mit den 500 leistungsstärksten Supercomputern der Welt mithalten kann!

Beratung

• Informieren Sie sich über InfiniBand-Schnittstellen, um im Netzwerk sehr hohe Geschwindigkeiten zu erreichen. Machen Sie sich jedoch bereit, das Sparschwein zu knacken.
• IPMI kann die Verwaltung in großem Umfang vereinfachen, indem Sie KVM-over-IP, einen separaten Ein- und Ausschaltzyklus und vieles mehr bereitstellen.
• Verwenden Sie Ganglia, um die Rechenlast auf den Knoten zu verfolgen.

Warnungen

• Stellen Sie sicher, dass Ihre Infrastruktur die Last tragen kann.