GLM quantizzato su due DGX Spark desktop: 71,8 token al secondo

Il laboratorio AutoTrust ha pubblicato su Hugging Face GLM5.3-Flash-E224-DGX-Spark, una versione quantizzata del modello GLM-5.3-Flash ottimizzata per girare su due unità desktop NVIDIA DGX Spark collegate via ConnectX-7. Il risultato dichiarato è 71,8 token al secondo di throughput, ottenuto con vLLM 0.31.0, parallelismo tensoriale a 2 vie e cache KV in fp8.

La rilevanza del dato sta nel contesto hardware: il DGX Spark è una workstation desktop basata su architettura Blackwell (chip GB10), non un sistema datacenter. Raggiungere quella velocità di inferenza su due macchine consumer-grade, con un modello multimodale image-text-to-text ad architettura Mixture of Experts, segnala un avanzamento concreto nella praticabilità del deployment locale di modelli di grandi dimensioni.

Da monitorare: se configurazioni analoghe a basso costo diventeranno un riferimento per laboratori e team di ricerca che vogliono evitare la dipendenza da infrastrutture cloud.