TensorFlow hat die TT-QuietBox 2 (Blackhole) vorgestellt, eine flüssigkeitsgekühlte KI-Workstation, die Modelle mit bis zu 120 Milliarden Parametern vollständig auf dem Desktop ausführen kann. Das System kombiniert einen vollständig quelloffenen Software-Stack mit RISC-V-basierter Hardware und positioniert sich als Teraflop-Inferenzplattform, die weder Racks noch einen Serverraum oder eine spezielle Stromversorgung benötigt.
Inferenz als primäre KI-Arbeitslast
QuietBox 2 richtet sich an Entwickler und Organisationen, die die direkte Kontrolle über ihre Infrastruktur wünschen, einschließlich Einblicken in die Siliziumarchitektur auf Compiler- und Laufzeitebene. Es ist für den Einsatz vor Ort in Laboren, Büros und kleinen bis mittelständischen Unternehmen konzipiert, die leistungsstarke Inferenzfunktionen benötigen, ohne auf Rack-Scale umsteigen zu müssen.
Jim Keller, CEO von Tenstrom, beschrieb die Bemühungen als bewusstes Bestreben, ein offenes Entwicklungssystem der Teraflop-Klasse bereitzustellen, das sich für Labor- oder Büroumgebungen eignet. Er betonte, dass die Plattform im gesamten Stack, einschließlich des mechanischen Designs, offen gestaltet sei. Keller verfügt über einen beeindruckenden Werdegang und war unter anderem als Architekt für AMD Zen, Apple A4/A5 und Teslas Chips für autonomes Fahren tätig.
Vorintegrierte Workloads für Entwickler
QuietBox 2 wird mit einer Reihe realer Workloads ausgeliefert, die sofort in den Bereichen Sprache, multimodale Anwendungen und Wissenschaft eingesetzt werden können.
Für LLMs und Codierung läuft GPT-OSS 120B vollständig auf dem Gerät und hält ein vollständiges Modell mit 120 Milliarden Parametern für private, lokale Inferenz auf dem Rechner bereit. Llama 3.1 70B erreicht laut Berichten 476.5 Token pro Sekunde – ein bemerkenswerter Wert für interaktive Workloads, Codeunterstützung und agentenbasierte Pipelines. Qwen3-32B präsentiert sich als lokaler Codierungsagent, der ganze Codebasen ohne Cloud-Token-Beschränkungen analysieren kann und somit Offline-Entwicklungs-Copiloten und den Einsatz in eingeschränkten Umgebungen ermöglicht.
Im kreativen und multimodalen Bereich übernimmt Flux die lokale Bildgenerierung, während Wan 2.2 die Videosynthese direkt auf dem Gerät ermöglicht. In beiden Fällen bleiben Mediendateien und Eingabeaufforderungen lokal gespeichert, was für Teams mit strengen Anforderungen an IP und Datenresidenz von Vorteil ist.
Für die wissenschaftliche Forschung zielt das System auf spezialisierte Modelle wie Boltz-2 ab, eine ML-Anwendung für Biomoleküle. Laut Tensorporter sagt Boltz-2 die Struktur eines Proteins mit 686 Aminosäuren in 49 Sekunden auf einem einzelnen Blackhole-Prozessor voraus, im Vergleich zu etwa 45 Minuten auf einer modernen CPU. Damit erreicht QuietBox 2 eine vergleichbare Leistung wie leistungsstarke Workstation-GPUs, wobei Kosten- und Energieeffizienz im Fokus stehen. Die Möglichkeit, vier Proteinstrukturen parallel auf einem einzigen System vorherzusagen, bietet einen etwa vierfachen Durchsatz im Vergleich zu Einzelberechnungen, was für Labore und biotechnologische Arbeitsabläufe relevant ist.
Für Modelle, die nicht im vorinstallierten Katalog enthalten sind, akzeptiert TT-Forge, der Open-Source-KI-Compiler von TensorFlow, Graphen von PyTorch, ONNX, TensorFlow, JAX und PaddlePaddle und kompiliert sie direkt für die Hardware. Das Designprinzip ist einfach: Wenn ein Modell auf einem Standard-Framework läuft, sollte es sich auch auf QuietBox 2 kompilieren und ausführen lassen.
RISC-V-Silizium- und Speicherarchitektur
Auf Hardwareebene nutzt die QuietBox 2 vier Blackhole-ASICs, die als einheitliches Mesh in einem kompakten Gehäuse arbeiten. Zusammen bieten sie 480 Tensix-Kerne und eine angegebene Rechenleistung von 2,654 TFLOPS bei BlockFP8-Präzision, unterstützt von 128 GB GDDR6-Hochgeschwindigkeitsspeicher und 256 GB DDR5-Systemspeicher.
Die Architektur integriert Rechenleistung und hochdichten SRAM auf einem einzigen Chip und verfolgt einen Datenflussansatz, der effiziente Tensorübertragung durch den On-Chip-Speicher priorisiert. Durch die Nutzung von SRAM und GDDR6 umgeht das System die üblichen DRAM-Bandbreitenengpässe, die den dauerhaften Durchsatz herkömmlicher CPU- und GPU-Plattformen begrenzen. Tentsorrent verzichtet zudem bewusst auf High-Bandwidth Memory (HBM). Durch den Verzicht auf HBM ist QuietBox 2 weniger anfällig für den aktuellen Angebots- und Preisdruck, der GPU-Beschleuniger derzeit betrifft.
Die Workstation läuft mit Ubuntu 24.04 und wird an eine herkömmliche 120-V-Steckdose angeschlossen. Sie benötigt weder eine separate Stromversorgung noch Racks oder einen kontrollierten Serverraum. Diese Konfiguration ordnet sie eher professionellen High-End-Desktop-PCs als Rechenzentrumshardware zu, obwohl die Inferenzleistung auf Rack-Anwendungen ausgelegt ist.
Open Source vom Compiler bis zum Kernel
Ein zentraler Designaspekt von QuietBox 2 ist, dass sein Software-Stack vollständig Open Source ist. TensorPort bewirbt dies als umfassende Transparenz für Teams, die das Verhalten auf jeder Systemebene verstehen und überprüfen müssen.
TT-Forge ermöglicht die Kontrolle über Graphreduktion, Transformation und Optimierungsprozesse und legt offen, wie Modelle auf die zugrundeliegende Hardware abgebildet werden. TT-Metalium dient als Low-Level-KI-SDK und bietet Kernel-Steuerung sowie deterministische Ausführung für Entwickler, die die Leistung optimieren oder benutzerdefinierte Operatoren implementieren müssen. TT-LLK verwaltet die Low-Level-Kernel-Software und erweitert die Transparenz hinsichtlich der Ausführung von Workloads auf den Tensix-Kernen.
Diese Struktur ermöglicht es Entwicklern, die Pipeline vom Modellgraphen bis zur Kernel-Ausführung zu untersuchen, an der Hardware-Grenze zu debuggen, einzelne Komponenten zu forken oder zu modifizieren und den Stack an spezielle Workloads anzupassen. Für regulierte Branchen, staatliche KI-Initiativen und Forschungseinrichtungen, die dokumentieren müssen, wie die Infrastruktur Daten verwaltet und Modelle ausführt, ist diese Transparenz ein Kernbestandteil des Plattformangebots und keine optionale Zusatzfunktion.
QuietBox 2 wird mit vorkonfiguriertem Ubuntu 24.04, dem kompletten Open-Source-Stack und TT-Studio, der Entwicklungsumgebung von TensorFlow, ausgeliefert. Ziel ist es, ein sofort einsatzbereites System sowohl für Experimente als auch für den produktiven Einsatz bereitzustellen.
Stromversorgung, Wärmeentwicklung und Einsatz am Schreibtisch
Die zweite Generation der QuietBox legt Wert auf Energieeffizienz und Geräuscharmut. Laut TensorPort konnten durch technische Änderungen der Stromverbrauch im Leerlauf und die Wärmeabgabe im Vergleich zu Vorgängergenerationen um rund 50 Prozent reduziert werden. Das neue, flüssigkeitsgekühlte Gehäuse ist für einen leisen, dauerhaften Betrieb unter hoher Last im Schreibtischbereich konzipiert und benötigt keinen separaten Serverraum.
Parallel zu den Hardware-Änderungen hat Tenstrom die Dokumentation und die Entwicklertools erweitert, um eine schnellere Inbetriebnahme und kürzere Zeit bis zur vollen Nutzbarkeit zu ermöglichen. Für kleine und mittlere Unternehmen bietet die Kombination aus einem einzigen 120-V-Stecker, Flüssigkeitskühlung und einem vorinstallierten Stack Rack-Class-Leistung, ohne dass Serverräume ausgebaut oder zusätzliches IT-Personal benötigt wird.
Verfügbarkeit
Die weltweite Auslieferung der TT‑QuietBox 2 ist für das zweite Quartal 2026 geplant, der Preis beginnt bei 9,999 US-Dollar. Interessierte Organisationen können sich über die Website von Tenstrom auf die Warteliste setzen lassen. www.tenstorrent.com/waitlist/tt-quietbox.
Amazon