Das von Jim Keller geführte Chipunternehmen Tenstorrent hat seinen Wormhole-Prozessor der nächsten Generation für KI-Workloads herausgebracht, von dem es erwartet, dass er eine gute Leistung zu einem erschwinglichen Preis bietet.Das Unternehmen bietet derzeit zwei zusätzliche PCIe-Karten für ein oder zwei Wormhole-Prozessoren sowie TT-LoudBox- und TT-QuietBox-Workstations für Softwareentwickler an. Alle heutigen Ankündigungen richten sich an Entwickler, nicht an diejenigen, die Wormhole-Karten für kommerzielle Anwendungen nutzen.
„Es ist immer erfreulich, wenn Entwickler mehr unserer Produkte erhalten. Release-Entwicklungssysteme mit unseren Wormhole™-Karten können Entwicklern helfen, Multi-Chip-KI-Software zu skalieren und zu entwickeln“, sagte Jim Keller, CEO von Tenstorrent.Zusätzlich zu dieser Markteinführung sind wir gespannt auf die Fortschritte, die wir beim Tape-Out und der Inbetriebnahme unseres Produkts der zweiten Generation, Blackhole, machen.“
Jeder Wormhole-Prozessor enthält 72 Tensix-Kerne (fünf davon unterstützen RISC-V-Kerne in verschiedenen Datenformaten) und 108 MB SRAM und liefert 262 FP8 TFLOPS bei 1 GHz bei einer thermischen Leistungsaufnahme von 160 W. Die Single-Chip-Karte Wormhole n150 ist mit 12 GB GDDR6-Videospeicher ausgestattet und verfügt über eine Bandbreite von 288 GB/s.
Wormhole-Prozessoren bieten flexible Skalierbarkeit, um den unterschiedlichen Anforderungen der Workloads gerecht zu werden. In einer Standard-Workstation mit vier Wormhole n300-Karten können die Prozessoren zu einer Einheit zusammengefasst werden, die in der Software als einheitliches, breites Tensix-Kernnetzwerk erscheint. Diese Konfiguration ermöglicht es dem Beschleuniger, dieselbe Workload zu bewältigen, auf vier Entwickler aufzuteilen oder bis zu acht verschiedene KI-Modelle gleichzeitig auszuführen. Ein wesentliches Merkmal dieser Skalierbarkeit ist die lokale Ausführung ohne Virtualisierung. In Rechenzentrumsumgebungen nutzen Wormhole-Prozessoren PCIe zur Erweiterung innerhalb des Rechners oder Ethernet zur externen Erweiterung.
In Bezug auf die Leistung erreichte die Single-Chip-Karte Wormhole n150 von Tenstorrent (72 Tensix-Kerne, 1 GHz Frequenz, 108 MB SRAM, 12 GB GDDR6, 288 GB/s Bandbreite) 262 FP8 TFLOPS bei 160 W, während die Dual-Chip-Karte Wormhole n300 (128 Tensix-Kerne, 1 GHz Frequenz, 192 MB SRAM, aggregierte 24 GB GDDR6, 576 GB/s Bandbreite) bis zu 466 FP8 TFLOPS bei 300 W liefert.
Um 300 W mit 466 FP8-TFLOPS in einen Kontext zu setzen, vergleichen wir sie mit dem, was KI-Marktführer Nvidia bei dieser thermischen Verlustleistung anbietet. Nvidias A100 unterstützt kein FP8, aber INT8 mit einer Spitzenleistung von 624 TOPS (1.248 TOPS bei geringer Auslastung). Im Vergleich dazu unterstützt Nvidias H100 FP8 und erreicht eine Spitzenleistung von 1.670 TFLOPS bei 300 W (3.341 TFLOPS bei geringer Auslastung), was einen deutlichen Unterschied zum Wormhole n300 von Tenstorrent darstellt.
Es gibt jedoch ein großes Problem. Tenstorrents Wormhole n150 kostet 999 US-Dollar, während der n300 für 1.399 US-Dollar erhältlich ist. Zum Vergleich: Eine einzelne Nvidia H100-Grafikkarte kostet je nach Stückzahl 30.000 US-Dollar. Natürlich wissen wir nicht, ob vier oder acht Wormhole-Prozessoren tatsächlich die Leistung einer einzelnen H300 liefern können, aber ihre TDPs liegen bei 600 W bzw. 1200 W.
Zusätzlich zu den Karten bietet Tenstorrent vorgefertigte Workstations für Entwickler an, darunter 4 n300-Karten in der günstigeren Xeon-basierten TT-LoudBox mit aktiver Kühlung und der fortschrittlichen TT-QuietBox mit EPYC-basierter Xiaolong-Flüssigkeitskühlfunktion.
Veröffentlichungszeit: 29. Juli 2024