Qui un video di @antirez che avevo salvato insieme all’articolo precedente.
Parla di un progetto sperimentale di Fabrice Bellard per un algoritmo di compressione che sfrutta la capacità degli LLM di predire il token successivo, con una codifica che associa un minor numero di bit alla probabilità più alta e viceversa.
@game@aitech@antirez continua a non tornarmi. Il predittore è statistico, perché altrimenti il gradiente ti può fare finire troppo spesso su un minimo locale…
@game @aitech sicuramente la comprensione del testo aumenta la sua compressibilità, ma non vedo molto probabile che sia lossless…
@mau @aitech
Qui un video di @antirez che avevo salvato insieme all’articolo precedente.
Parla di un progetto sperimentale di Fabrice Bellard per un algoritmo di compressione che sfrutta la capacità degli LLM di predire il token successivo, con una codifica che associa un minor numero di bit alla probabilità più alta e viceversa.
https://www.youtube.com/watch?v=WJdjZk3z-EU
@game @aitech @antirez continua a non tornarmi. Il predittore è statistico, perché altrimenti il gradiente ti può fare finire troppo spesso su un minimo locale…