IBM presenta l'architettura Telum II e Spyre Accelerator a Hot Chips 2024.
IBM ha svelato i dettagli dell'architettura per il suo prossimo IBM Telum II Processor e IBM Spyre Accelerator alla conferenza Hot Chips 2024. Queste nuove tecnologie sono progettate per scalare significativamente la capacità di elaborazione nei sistemi mainframe IBM Z di nuova generazione, consentendo l'accelerazione sia dei modelli AI tradizionali che dei modelli AI di grandi dimensioni tramite un nuovo metodo di ensemble di AI. Poiché molti progetti di AI generativa che sfruttano i Large Language Model (LLM) passano dalla prova di concetto alla produzione, la domanda delle aziende di soluzioni efficienti dal punto di vista energetico, sicure e scalabili è diventata una priorità assoluta.
Secondo la ricerca di Morgan Stanley, si prevede che la domanda di energia per l'IA generativa aumenterà del 75% all'anno nei prossimi anni, con proiezioni che indicano che il consumo energetico dell'IA potrebbe eguagliare quello della Spagna entro il 2026. Ciò ha spinto i clienti IBM a dare priorità alle decisioni architettoniche che supportano modelli di fondazione di dimensioni appropriate e approcci ibridi per progettazione per i carichi di lavoro dell'IA.
Il processore IBM Telum II è progettato per alimentare la prossima generazione di sistemi IBM Z. Presenta una frequenza aumentata, una capacità di memoria espansa, una crescita del 40% nella cache e un core acceleratore AI integrato. Il nuovo processore introduce una Data Processing Unit (DPU) collegata in modo coerente, progettata per accelerare protocolli IO complessi per la rete e l'archiviazione sul mainframe. La DPU semplifica le operazioni di sistema e migliora le prestazioni dei componenti principali, rendendo il processore Telum II adatto per soluzioni di elaborazione aziendale che supportano LLM e le complesse esigenze di transazione del settore.
A completare il processore Telum II c'è IBM Spyre Accelerator, che fornisce ulteriori capacità di elaborazione AI. Insieme, i chip Telum II e Spyre formano un'architettura scalabile che supporta metodi di ensemble di modellazione AI, combinando più modelli AI di apprendimento automatico o apprendimento profondo con encoder LLM. Questo approccio di ensemble sfrutta i punti di forza di ogni architettura modello per fornire risultati più accurati e solidi rispetto ai singoli modelli. IBM Spyre Accelerator, presentato in anteprima a Hot Chips 2024, sarà disponibile come opzione aggiuntiva. È collegato tramite un adattatore PCIe da 75 watt ed è scalabile per adattarsi alle esigenze del cliente.
Tina Tarquinio, VP of Product Management per IBM Z e LinuxONE, ha sottolineato l'impegno di IBM a rimanere al passo con le tendenze tecnologiche, in particolare le crescenti richieste di AI. Ha affermato che il processore Telum II e Spyre Accelerator sono progettati per fornire soluzioni di elaborazione aziendale ad alte prestazioni, sicure ed efficienti dal punto di vista energetico. Queste innovazioni, che sono state sviluppate per anni, saranno introdotte nella piattaforma IBM Z di prossima generazione di IBM, consentendo ai clienti di sfruttare LLM e AI generativa su larga scala.
Il processore Telum II e IBM Spyre Accelerator saranno prodotti dal partner di lunga data di IBM, Samsung Foundry, utilizzando il suo nodo di processo a 5 nm ad alte prestazioni e a basso consumo energetico. Insieme, queste tecnologie supporteranno una gamma di casi d'uso avanzati basati sull'intelligenza artificiale progettati per sbloccare il valore aziendale e creare nuovi vantaggi competitivi. Ad esempio, è possibile ottenere un rilevamento avanzato delle frodi nelle richieste di risarcimento per l'assicurazione sulla casa tramite modelli di intelligenza artificiale di ensemble che combinano LLM con reti neurali tradizionali. Inoltre, il rilevamento avanzato di attività finanziarie sospette può aiutare a supportare la conformità ai requisiti normativi e mitigare il rischio di reati economici. Allo stesso tempo, gli assistenti AI possono accelerare i cicli di vita delle applicazioni, trasferire conoscenze e fornire spiegazioni e trasformazioni del codice.
Il processore Telum II è impostato per presentare otto core ad alte prestazioni che funzionano a 5.5 GHz, con 36 MB di cache L2 per core e un aumento del 40% della capacità della cache on-chip, per un totale di 360 MB. La cache virtuale di livello 4 offrirà 2.88 GB per cassetto del processore, un aumento del 40% rispetto alla generazione precedente. L'acceleratore AI integrato consente l'inferenza AI in-transaction a bassa latenza e ad alta produttività, offrendo un aumento di quattro volte della capacità di elaborazione per chip rispetto all'ultima generazione. Inoltre, la nuova I/O Acceleration Unit DPU, integrata nel chip Telum II, è progettata per migliorare la gestione dei dati con un aumento del 50% della densità I/O, migliorando l'efficienza e la scalabilità complessive di IBM Z per carichi di lavoro AI su larga scala e applicazioni ad alta intensità di dati.
IBM Spyre Accelerator è un acceleratore di livello aziendale appositamente progettato per gestire modelli AI complessi e casi d'uso AI generativi. È dotato di fino a 1 TB di memoria, distribuita su otto schede in un normale cassetto IO, che supporta carichi di lavoro del modello AI nel mainframe senza consumare più di 75 W per scheda. Ogni chip ha 32 core di elaborazione che supportano i tipi di dati int4, int8, fp8 e fp16, consentendo applicazioni AI sia a bassa latenza che ad alta produttività.
Il processore Telum II alimenterà le piattaforme IBM Z e IBM LinuxONE di prossima generazione di IBM e sarà disponibile nel 2025. IBM Spyre Accelerator, attualmente in anteprima tecnologica, dovrebbe essere disponibile nel 2025.
Interagisci con StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS feed
