Il singolo chip fornisce 1PetaOps / sec
Groq chiama la sua architettura Tensor Streaming Processor (TSP). Due anni fa affermava di aver reclutato otto delle dieci persone che hanno sviluppato l'unità di elaborazione tensoriale (TPU) di Google.
La società ha raccolto $ 62,3 milioni in finanziamenti.
L'architettura di Groq equivale a un quadrilione di operazioni al secondo, o 1e15 op / s e in grado di eseguire fino a 250 trilioni di operazioni in virgola mobile al secondo (FLOPS).
"Le principali aziende di GPU hanno detto ai clienti che speravano di essere in grado di offrire una prestazione PetaOp / s nei prossimi anni; Groq lo annuncia oggi ", afferma Jonathan Ross, CEO di Groq," l'architettura Groq è molti più veloce di qualsiasi altra cosa disponibile per l'inferenza, sia in termini di bassa latenza che di inferenze al secondo. Abbiamo avuto il primo ritorno di silicio, l'accensione del primo giorno, i programmi in esecuzione nella prima settimana, campionati a partner e clienti in meno di sei settimane, con la produzione di silicio A0 ”
Con una mentalità software-first, l'architettura TSP di Groq afferma di raggiungere sia la flessibilità di calcolo che il parallelismo massiccio senza l'overhead di sincronizzazione delle architetture GPU e CPU tradizionali.
L'architettura di Groq può supportare modelli di apprendimento automatico sia tradizionali che nuovi ed è attualmente operativa nei siti dei clienti sia in sistemi x86 che non x86.
L'architettura è progettata specificamente per i requisiti prestazionali di visione artificiale, apprendimento automatico e altri carichi di lavoro legati all'intelligenza artificiale.
La pianificazione dell'esecuzione avviene nel software, liberando immobili in silicio altrimenti dedicati all'esecuzione dinamica delle istruzioni.
Il rigoroso controllo fornito da questa architettura fornisce un'elaborazione deterministica particolarmente utile per le applicazioni in cui la sicurezza e l'accuratezza sono fondamentali.
Rispetto alle complesse architetture tradizionali basate su CPU, GPU e FPGA, il chip di Groq semplifica anche la qualificazione e l'implementazione, consentendo ai clienti di implementare in modo semplice e rapido sistemi scalabili ad alte prestazioni per watt.