L'IA da 35B gira su iPhone a 20,51 token al secondo: come funziona MiniCPM-V 4.7
OpenBMB ha documentato l'esecuzione locale di MiniCPM-V 4.7 su iPhone a 20,51 token al secondo. Il risultato dipende da diverse componenti: caricamento anticipato degli "esperti", quantizzazione e decodifica speculativa, mantenendo le scelte del router
OpenBMB ha documentato l'esecuzione locale di MiniCPM-V 4.7 su iPhone a 20,51 token al secondo. Il risultato dipende da diverse componenti: caricamento anticipato degli "esperti", quantizzazione e decodifica speculativa, mantenendo le scelte del router
Hardware Upgrade
Le News di Hardware Upgrade sulla tecnologia e sul mondo informatico - https://www.hwupgrade.it
