AirLLM: Llama 405B su 8GB di VRAM, senza quantizzazione
Una libreria Python riduce drasticamente i requisiti hardware per eseguire modelli linguistici di grandi dimensioni in locale. AirLLM consente di far girare un modello da 405 miliardi di parametri su una GPU con appena 8GB di VRAM, eliminando la dipendenza da hardware enterprise che normalmente richiede fino a 140GB di memoria grafica.
Il meccanismo è semplice nella logica ma rilevante nelle implicazioni: invece di caricare l’intero modello in memoria, AirLLM processa un layer alla volta, salva il risultato parziale e carica il successivo. Un modello da 70 miliardi di parametri, in questo modo, diventa accessibile con soli 4GB di VRAM, alla massima precisione numerica e senza quantizzazione. È disponibile anche una modalità a 4 bit opzionale che può triplicare la velocità di inferenza a fronte di una lieve riduzione della qualità. La libreria supporta Llama, Qwen, Mistral e DeepSeek su Linux, Windows e macOS.
https://github.com/lyogavin/airllm
Il compromesso evidente è la velocità: caricare e scaricare layer in sequenza è più lento rispetto all’esecuzione su VRAM piena. Per chi ha bisogno di throughput elevato o di latenza bassa, la soluzione non è praticabile. Ma per chi vuole eseguire inferenza privata su hardware esistente, senza inviare dati a servizi cloud, il rapporto costo-beneficio cambia significativamente. Da monitorare: l’adozione in contesti professionali dove la riservatezza dei dati è prioritaria rispetto alla velocità di risposta.