Google sgancia una bomba nel mercato dell'Intelligenza Artificiale presentando TurboQuant, un algoritmo di compressione rivoluzionario capace di ridurre di sei volte il consumo di memoria degli LLM senza perdere precisione. In questo episodio vi racconto del crollo in borsa dei colossi delle memorie HBM come SK Hynix e Micron, terrorizzati da una tecnologia software che azzera il bisogno di hardware costosissimo.
Vi spiego poi come funziona il miracolo della "quantizzazione", paragonandolo all'algoritmo di Pied Piper di Silicon Valley, e come Google stia sfidando apertamente il monopolio dei chip Blackwell di NVIDIA. Oltre ai risparmi miliardari sui data center, l'impatto esplosivo di questa tecnologia tocca anche il mercato consumer: grazie a questa ottimizzazione, i modelli IA più potenti potranno girare offline direttamente sulle GPU da gaming come la RTX 5080 o 5090, liberando gli utenti dalla dipendenza dal cloud e dagli abbonamenti mensili.
Podden och tillhörande omslagsbild på den här sidan tillhör
Pierpaolo Greco. Innehållet i podden är skapat av Pierpaolo Greco och inte av,
eller tillsammans med, Poddtoppen.
