Das von Jim Keller geleitete Chipunternehmen Tenstromren hat seinen Wormhole-Prozessor der nächsten Generation für KI-Workloads auf den Markt gebracht, von dem es sich eine gute Leistung zu einem erschwinglichen Preis verspricht.Das Unternehmen bietet derzeit zwei zusätzliche PCIe-Karten an, die einen oder zwei Wormhole-Prozessoren aufnehmen können, sowie die Workstations TT-LoudBox und TT-QuietBox für Softwareentwickler. Alle heutigen Ankündigungen richten sich an Entwickler, nicht an Anwender, die Wormhole-Karten für kommerzielle Anwendungen nutzen.
„Es ist immer erfreulich, wenn mehr Entwickler unsere Produkte nutzen können. Release-Entwicklungssysteme mit unseren Wormhole™-Karten können Entwicklern helfen, Multi-Chip-KI-Software zu skalieren und zu entwickeln“, sagte Jim Keller, CEO von Tenstromrent.Zusätzlich zu dieser Produkteinführung freuen wir uns über die Fortschritte, die wir mit der Veröffentlichung des Testbandes und der Leistungssteigerung unseres Produkts der zweiten Generation, Blackhole, erzielen.“
Jeder Wormhole-Prozessor enthält 72 Tensix-Kerne (fünf davon unterstützen RISC-V-Kerne in verschiedenen Datenformaten) und 108 MB SRAM und liefert 262 FP8 TFLOPS bei 1 GHz mit einer TDP von 160 W. Die Wormhole n150-Karte (Single-Chip) ist mit 12 GB GDDR6-Videospeicher ausgestattet und verfügt über eine Bandbreite von 288 GB/s.
Wormhole-Prozessoren bieten flexible Skalierbarkeit für die vielfältigen Anforderungen unterschiedlicher Workloads. In einer Standard-Workstation-Konfiguration mit vier Wormhole n300-Karten lassen sich die Prozessoren zu einer Einheit zusammenfassen, die in der Software als einheitliches, breitbandiges Tensix-Kernnetzwerk erscheint. Diese Konfiguration ermöglicht es dem Beschleuniger, denselben Workload zu verarbeiten, ihn auf vier Entwickler aufzuteilen oder bis zu acht verschiedene KI-Modelle gleichzeitig auszuführen. Ein wesentliches Merkmal dieser Skalierbarkeit ist die Möglichkeit des lokalen Betriebs ohne Virtualisierung. In Rechenzentrumsumgebungen nutzen Wormhole-Prozessoren PCIe für die interne Erweiterung oder Ethernet für die externe Erweiterung.
In puncto Leistung erreichte die Single-Chip-Wormhole-n150-Karte von Tenstorrent (72 Tensix-Kerne, 1 GHz Frequenz, 108 MB SRAM, 12 GB GDDR6, 288 GB/s Bandbreite) 262 FP8 TFLOPS bei 160 W, während die Dual-Chip-Wormhole-n300-Karte (128 Tensix-Kerne, 1 GHz Frequenz, 192 MB SRAM, aggregierte 24 GB GDDR6, 576 GB/s Bandbreite) bis zu 466 FP8 TFLOPS bei 300 W liefert.
Um die Leistung von 300 W und 466 FP8-TFLOPS einzuordnen, vergleichen wir sie mit dem Angebot von KI-Marktführer Nvidia bei gleicher TDP. Nvidias A100 unterstützt zwar kein FP8, aber INT8 mit einer Spitzenleistung von 624 TOPS (1.248 TOPS im Sparse-Modus). Im Vergleich dazu unterstützt Nvidias H100 FP8 und erreicht bei 300 W eine Spitzenleistung von 1.670 TFLOPS (3.341 TFLOPS im Sparse-Modus), was sich deutlich von Tenstromrs Wormhole n300 unterscheidet.
Es gibt jedoch ein gravierendes Problem. Der Wormhole n150 von Tenstorrent kostet 999 US-Dollar, der n300 hingegen 1.399 US-Dollar. Zum Vergleich: Eine einzelne Nvidia H100-Grafikkarte kostet je nach Abnahmemenge 30.000 US-Dollar. Ob vier oder acht Wormhole-Prozessoren tatsächlich die Leistung einer einzelnen H300 erreichen, ist natürlich unklar, ihre TDP liegt jedoch bei 600 W bzw. 1200 W.
Zusätzlich zu den Grafikkarten bietet Tenstromr vorkonfigurierte Workstations für Entwickler an, darunter die preisgünstigere, auf Xeon basierende TT-LoudBox mit aktiver Kühlung und vier n300-Grafikkarten sowie die fortschrittliche TT-QuietBox mit EPYC-basierter Xiaolong-Flüssigkeitskühlung.
Veröffentlichungsdatum: 29. Juli 2024