Hanno installato un'IA da 9 miliardi di parametri su una PS4: funziona, anche offline

Lo sviluppatore Leonardo Alegría ha realizzato Garlic LLM, applicazione homebrew che esegue offline Qwen3.5-9B sulla GPU di PlayStation 4. Grazie a kernel personalizzati, quantizzazione a 3 e 4 bit e speculative decoding, il sistema raggiunge 31-39 token al secondo, con chat vocale, dettatura e modalità Python su hardware del 2013.

Nov 16, 2026 - 12:01
 0  0
Hanno installato un'IA da 9 miliardi di parametri su una PS4: funziona, anche offline
Lo sviluppatore Leonardo Alegría ha realizzato Garlic LLM, applicazione homebrew che esegue offline Qwen3.5-9B sulla GPU di PlayStation 4. Grazie a kernel personalizzati, quantizzazione a 3 e 4 bit e speculative decoding, il sistema raggiunge 31-39 token al secondo, con chat vocale, dettatura e modalità Python su hardware del 2013.
Hardware Upgrade Le News di Hardware Upgrade sulla tecnologia e sul mondo informatico - https://www.hwupgrade.it

Questo sito utilizza i cookie. Continuando a navigare nel sito accetterai l'uso dei cookie.