High Performance Computing & Cloud Infrastructure
Das SCCH verfügt über eine hochmoderne, state of-the-art Cluster-Umgebung, die es Forschungsprojekten und Unternehmen ermöglicht, kosteneffizient sowie effektiv und zeitnah vom ersten KI-Modell weg einen Prototyp zu entwickeln.
Die Rechenleistung kommt dabei von einem HPE Apollo 6500 Gen10 Plus System.
- HPE Apollo 6500 Gen10 Plus
- Kubernetes Cluster
Orion Cluster ist ein voll orchestrierter Compute- und AI-Cluster auf Basis von Red Hat OpenShift. Die Plattform bietet einen einfachen, sicheren und webbasierten Zugriff auf die zugrunde liegende Infrastruktur und stellt eine moderne Entwicklungs- und Ausführungsumgebung für AI-, Machine-Learning- und datengetriebene Workloads bereit.
Aktuell besteht die Infrastruktur aus vier NVidia GPU Worker Nodes mit 16 GPU's. Zur persistenten Datenspeicherung ist ein CEPH All-Flash Storage mit 180 TB Bruttokapazität angebunden, das hohe Performance, Ausfallsicherheit und flexible Speicherbereitstellung für containerisierte Workloads gewährleistet.
Der Cluster ist konsequent auf Skalierbarkeit (Scale-out) ausgelegt und wird laufend erweitert.
- ORION GPU Worker 3
- ORION GPU Worker 4
- NVidia DGX Staton
- ORION GPU Worker 1
- ORION GPU Worker 2
- NVIDIA DGX Spark 1
On-premise KI-Lösungen für Forschungsprojekte
Das SCCH bietet eine umfassend Hard- und Softwarearchitektur auf Basis von Open Source um KI-Sprachmodell (Large Language Model) auf einer eigenen IT-Infrastruktur zu betreiben. Diese Lösung macht Forschungsprojekte und Partner unabhängig von externen Cloud-Anbietern.
- Sie behalten damit die vollständige Kontrolle über ihr Know-how, sensiblen Daten und Kosten.
- Rascher und unkomplizierter Einstieg in KI-Forschung – wichtig für die Entwicklung von Prototypen und zur Evaluierung von Lösungsansätzen.
- Keine Plattform-Bindung, wodurch die Migration der Forschungsergebnisse in die produktive Unternehmensinfrastruktur bzw. die Cloud jederzeit möglich ist
Siehe: LLM2go
Nachhaltige IT Infrastructur
Das SCCH nutzt energieeffiziente Serverräume mit intelligenter Abwärmenutzung. In Zusammenarbeit mit der STIWA AMS GmbH integriert die Hosting-Infrastruktur ein innovatives Kühlsystem, das die Abwärme der Server im Winter zur Beheizung des Gebäudes nutzt und im Sommer über die Tiefgarage effizient kühlt. Bis Ende 2025 werden 50 Prozent des Rechenclusters des SCCH mit diesem System gekühlt, wodurch der Energieverbrauch beim KI-Training deutlich gesenkt wird. Eine kontinuierliche Überwachung mittels der AMS Analysis CI-Software von STIWA erfasst den Stromverbrauch, die Temperatur und die Heizleistung.
Winterer Mario
Research Team Lead AI-based Engineering of Sustainable Systems