Parallele Filesysteme

Rechenergebnisse mit Datenmengen im Terabyte-Bereich sind im High Performance Computing keine Seltenheit. Das Problem ist hierbei nicht die Ablage der ruhenden Daten, sondern die Performance des notwendigen Hin- und Herkopierens im Rahmen des Jobflows und die damit verbundene Gesamtlaufzeit des Jobs.

Parallele Filesysteme haben sich seit langem etabliert, um Zwischenergebnisse während der Joblaufzeit oder auch Input- oder Ergebnisdaten performant zu speichern und den immer weiter steigenden Performance-Anforderungen an HPC-Storage-Systeme zu begegnen.

Die Open-Source-Lösungen BeeGFS des Fraunhofer Competence Centers für High Performance Computing oder Lustre finden in der Linux-HPC-Welt eine große Verbreitung, und auch weitere freie wie auch kommerzielle Lösungen wie Panasas sind erhältlich.

Parallel NFS (pNFS) ist der zukünftige Standard, um den Anforderungen für HPC-Storage zu erfüllen. Aus der Sicht sowohl der Industrie als auch der einzelnen Anwender sind die Vorteile der Verwendung von Standards unbestreitbar: neben einem Investitionsschutz stellen Standards auch einen definierten Grad an Interoperabilität sicher, ohne eine Anbieterauswahl einzugrenzen. Als Ergebnis sind weniger Anwender- oder Administratorentrainings notwendig, was zu schnellerem Deployment und größerer Akzeptanz führt. Als Teil des Internet-Standards NFS 4.1 wendet pNFS nicht nur die NFS-Semantik mit Bezug auf Cache-Konsistenz oder Sicherheit an, sondern stellt auch eine einfache, flexible Erweiterung des NFS-4-Protokolls dar.

Unsere Lösung

transtec besitzt eine große Erfahrung bei der Installation und Konfiguration sämtlicher bestehender paralleler Dateisysteme: Lustre, BeeGFS (früher bekannt als FraunhoferFS oder FhGFS), GPFS von IBM oder Panasas. Unsere Erfahrung und unser kundenorierentierter Ansatz stellen sicher, dass Kunden die bestmögliche HPC-Storage-Lösung erhalten, die auf dem Markt verfügbar ist.