Wafer-on-Wafer-Prozessor: KI-Systeme mit mehr Leistung und weniger Energiebedarf

Anbieter zum Thema

Schneider Electric GmbH

Schneider Digital Josef J. Schneider e.K.

XEOMETRIC GmbH

Die neuen KI-Systeme von Graphcore stellen die benötigte Rechenleistung für eine Vielzahl an KI-Anwendungen bereit.

• Der europäische KI-Chiphersteller Graphcore hat den weltweit ersten 3D Wafer-on-Wafer Prozessor, die Bow IPU (Intelligence Processing Unit), vorgestellt.

• Auf diesem Prozessor bauen die ebenfalls neu vorgestellten Bow POD KI-Systeme auf.

• Die Bow IPU soll im Vergleich zur vorherigen Chipgeneration bis zu 40 Prozent mehr Leistung und eine um 16 Prozentr höhere Energieeffizienz über eine breite Palette unterschiedlicher KI-Workloads hinweg bieten. 

Die neuen Graphcore Bow POD KI-Systeme stellen die benötigte Rechenleistung für eine Vielzahl an KI-Anwendungen bereit, von digitalen Zwillingen und Graph Neural Networks über GPT und BERT für die Verarbeitung natürlicher Sprache bis hin zu EfficientNet und ResNet für Computer Vision.  

Das Bow POD256-System erreicht mehr als 89 PetaFLOPS an KI-Rechenleistung, während das Superscale Bow POD1024 System 350 PetaFLOPS an KI-Rechenleistung bereitstellt. Dadurch können Nutzer den exponentiell wachsenden KI-Modellen gerecht werden. 

Die Lösung bietet nach Angabe des Anbieters eine mehr als fünffach höhere Leistung als ein vergleichbares Nvidia DGX A100-System, und das zum halben Preis. Daraus ergäbe sich ein Gesamtkostenvorteil (TCO) um ein Zehnfaches für das hochmoderne Computer Vision-Modell EfficientNet. 

Die KI-Systeme bieten nicht nur mehr Leistung im Vergleich zur vorherigen Chipgeneration, sie sind auch wesentlich energieeffizienter. Bei Tests mit einer breiten Palette von KI-Workloads zeigten die Bow POD-Systeme eine bis zu 16 Prozent erhöhte Leistung pro Watt. 

Exascale-Systeme: Graphcore und Atos arbeiten zusammen

„Die Bow POD-Systeme von Graphcore setzen einen neuen Standard im Bereich der künstlichen Intelligenz, der es den Kunden von Atos ermöglichen wird, ihre KI-Innovationen weiter voranzutreiben und schneller als je zuvor Ergebnisse zu erzielen. Da die Modelle immer größer und komplexer werden, arbeiten Graphcore und Atos zusammen, um Exascale-Systeme zu liefern. Gleichzeitig stellt Graphcores unermüdlicher Fokus auf Recheneffizienz sicher, dass die Nutzer die bestmögliche Rendite für ihre KI-Investitionen erhalten“, sagt Agnès Boudot, Leiterin HPC & Quantum, Atos. 

Die neuen Bow POD-Systeme sind ab sofort weltweit verfügbar. Einer der ersten Kunden, der von der gesteigerten Leistung und Effizienz der Lösungen profitieren kann, ist das Pacific Northwest National Laboratory (PNNL) des US-amerikanischen Energieministeriums (U.S. Department of Energy, DOE), das die neuen Graphcore KI-Systeme für Anwendungen unter anderem in den Bereichen Cybersicherheit und Computerchemie einsetzt. 

Pacific Northwest National Laboratory (PNNL): KI-Systeme für Cybersicherheit und Computerchemie

„Wir erweitern die Grenzen von Machine Learning und Graph Neural Networks, um Probleme zu bewältigen, die mit vorhandenen Technologien nicht lösbar sind“, sagte Sutanay Choudhury, Deputy Director am Computational and Theoretical Chemistry Institute des PNNL. „Wir arbeiten beispielsweise an Anwendungen im Bereich der Computerchemie und Anwendungen für Cybersicherheit. In diesem Jahr konnten wir die Trainings- und Inferenzzeiten für diese Anwendungen mithilfe von Graphcore-Systemen von Tagen auf Stunden verkürzen. Diese Beschleunigung ist vielversprechend und hilft uns, die Machine-Learning-Tools auf sinnvolle Weise in unseren Forschungsauftrag einzubinden. Wir freuen uns darauf, unsere Zusammenarbeit mit dem Anbieter dieser Technologie der neuesten Generation auszubauen.“  

3D Wafer-on-Wafer-Technologie 

Die Bow POD-Systeme ermöglichen Leistungs- und Effizienzsteigerung durch den ersten Einsatzes von 3D Wafer-on-Wafer im Bow IPU-Prozessor, der das Kernstück der neuen Bow POD-Systeme bildet.  

Graphcore ist der erste Kunde für die 3D Wafer-on-Wafer Technologie von TSMC, die gemeinsam in enger Zusammenarbeit entwickelt wurde. Wafer-on-Wafer hat das Potenzial, eine deutlich höhere Bandbreite zwischen Siliziumchips zur Verfügung zu stellen, und dient zur Optimierung der Energieeffizienz und Leistungsbereitstellung für die Graphcore Colossus-Architektur auf Wafer-Ebene. 

Bei Wafer-on-Wafer in der Bow IPU werden zwei Wafer miteinander zu einem neuen 3D-Die verbunden: ein Wafer für die KI-Berechnungen, dessen Architektur mit der des GC200 IPU-Prozessors mit 1'472 unabhängigen IPU-Core-Tiles kompatibel ist und mehr als 8'800 Threads ausführen kann, mit 900 MByte internem Prozessorspeicher, und ein zweiter Wafer mit Power-Delivery-Die. 

Durch Hinzufügen von Deep-Trench-Kondensatoren im Power-Delivery-Die, direkt neben den Prozessorkernen und dem Speicher, lässt sich die Leistung deutlich effizienter bereitstellen. Dadurch erzielt man 350 TeraFLOPS an KI-Rechenleistung und 40 Prozent mehr Leistung. Durch die enge Zusammenarbeit mit TSMC wurde die gesamte Technologie einschließlich einiger bahnbrechender Technologien im Back Side Through Silicon Via-(BTSV-) und Wafer-on-Wafer-(WoW-)Hybrid-Bonding qualifiziert. 

„TSMC hat eng mit Graphcore als führendem Kunden für unsere bahnbrechende SoIC-WoW (Wafer-on-Wafer)-Lösung zusammengearbeitet, da ihre richtungsweisenden Designs in hochmodernen parallelen Verarbeitungsarchitekturen sich ideal mit unserer Technologie ergänzen“, sagte Paul de Bot, General Manager von TSMC Europe. „Graphcore hat die Möglichkeit, die Stromversorgung über unsere WoW-Technologie direkt anzuschließen, voll ausgenutzt, um einen großen Leistungssprung zu erzielen, und wir freuen uns darauf, mit Graphcore an weiteren Entwicklungen dieser Technologie zu arbeiten.“ 

Bewährte Technik für die KI-Systeme

Die neue Rack-Einheit Bow 2000 – der Grundstein eines jeden Bow POD-Systems – basiert auf der gleichen robusten Systemarchitektur wie die IPU-M2000 Rack-Einheit der zweiten Generation. Jedoch bietet diese jetzt vier leistungsstarke Bow IPU Prozessoren mit 1,4 PetaFLOPS KI-Rechenleistung. 

Die Bow 2000 ist zudem mit vorhandenen IPU-POD-Systemen vollständig rückwärtskompatibel und bietet die gleiche IPU-Fabric mit hoher Geschwindigkeit und mit niedriger Latenz im selben 1HE-Formfaktor. 

Für jeden, der bereits IPUs verwendet, erfolgt der Übergang zu den Bow POD-Systemen nahezu nahtlos. Durch den Software-Stack Poplar und die stetig wachsende Bibliothek mit IPU-optimierten Modellen werden automatisch die Vorteile sämtlicher Funktionen von Bow POD Systemen genutzt.  

Kombiniert mit einer Auswahl an Host-Servern von führenden Anbietern (zum Beispiel Dell, Atos, Supermicro, Inspur und Lenovo) zur Bildung von Bow POD-Systemen stellt die Bow 2000 den grundlegenden Baustein für die komplette Produktfamilie dar: vom Bow POD16 mit vier Bow 2000 und einem Hostserver, über den Bow POD32 (acht Bow 2000 und ein Hostserver) bis hin zum Bow POD64 und den größeren Spitzensystemen – dem Bow POD256 und dem Bow POD1024. 

Verfügbarkeit 

Die KI-Systeme sind ab sofort weltweit bei Vertriebspartnern von Graphcore erhältlich.  Während der US-amerikanische Cloud-Dienstanbieter Cirrascale die neuen Bow POD Systeme seinen Kunden bereits heute im Rahmen seines Graphcloud IPU-Bare-Metal Service zur Verfügung stellt, hat der europäische Cloud-Dienstanbieter G-Core Labs angekündigt, dass er Bow IPU-Cloud-Instanzen im zweiten Quartal dieses Jahres einführen wird.  

Bild oben: Graphcore Bow POD-System basierend auf Supermicro Ultra Server. Bildquelle: Graphcore

Weitere Informationen: https://www.graphcore.ai/

Erfahren Sie hier mehr darüber, wie Roboter mit künstlicher Intelligenz Objektbeziehungen verstehen.

Lesen Sie außerdem: "Nvidia OVX: Computing-Plattform für digitale Zwillinge in KI, Robotik und Automation"