Un LLM gira su un microcontrollore da meno di 10 dollari: raggiunge quasi 10 token al secondo
Uno sviluppatore è riuscito a eseguire un piccolo modello linguistico direttamente su un microcontrollore ESP32-S3 dal costo inferiore ai 10 dollari. Grazie a quantizzazione, offload degli embedding nella memoria Flash e codice C ottimizzato, il sistema raggiunge circa 9 token al secondo, dimostrando nuove possibilità per l'AI embedded.
Uno sviluppatore è riuscito a eseguire un piccolo modello linguistico direttamente su un microcontrollore ESP32-S3 dal costo inferiore ai 10 dollari. Grazie a quantizzazione, offload degli embedding nella memoria Flash e codice C ottimizzato, il sistema raggiunge circa 9 token al secondo, dimostrando nuove possibilità per l'AI embedded.
Hardware Upgrade
Le News di Hardware Upgrade sulla tecnologia e sul mondo informatico - https://www.hwupgrade.it
