

Qui un video di @antirez che avevo salvato insieme all’articolo precedente.
Parla di un progetto sperimentale di Fabrice Bellard per un algoritmo di compressione che sfrutta la capacità degli LLM di predire il token successivo, con una codifica che associa un minor numero di bit alla probabilità più alta e viceversa.





@pgo @informapirata @aitech
Nel weekend anche questo, sempre in tema boost di performance che si possono dare a Llama con differenti setup hardware: https://news.ycombinator.com/item?id=47104667
Sono tra l’altro esperimenti “dal basso”. Mi fa pensare che ci sia veramente molto spazio di ottimizzazione sul tema energia/velocità, se diventasse quello il focus dei grandi player.