Google TurboQuant: Algorytm, który zmieści potężne AI w Twoim telefonie

Google zaprezentowało algorytm bezstratnej kompresji KV cache. Co to oznacza dla prywatności i szybkości AI na smartfonach?

Był kiedyś taki serial - Dolina Krzemowa, ktoś pamięta? Opowiadał o startupie Pied Piper który próbował stworzyć algorytm bezstratnej kompresji, który miał wywrócić świat technologii do góry nogami. To była oczywiście fikcja. Ale Google niedawno zaprezentowało coś, co jednoznacznie kojarzy się z takim właśnie rozwiązaniem. I do tego udostępnili to wszystkim za darmo! Problem: Wąskie gardło pamięci Kiedy piszesz z AI, model zapisuje całą waszą rozmowę w tymczasowej pamięci (tzw. KV cache). Przy długiej rozmowie, ta "ściągawka" dla jednego użytkownika potrafi zżerać 40 GB pamięci. Czyli połowę serwerowej karty graficznej za 30 000$. Tylko po to, żeby model pamiętał, że godzinę temu prosiłeś go o tabelkę w Excelu. Gdy pamięć w chmurze się zapycha - system nie przyjmuje nowych zapytań. To obecnie największe "wąskie gardło" AI. Rozwiązanie: TurboQuant I tu całe na biało wchodzi Google z algorytmem TurboQuant. Udało im się skompresować tę pamięć tymczasową 6-krotnie. Zjechali z wagą danych do zaledwie 3 bitów na wartość. Haczyk? Brak. Zrobili to z zerowym spadkiem dokładności. Żadnej utraty jakości. Zero loss. Co to oznacza dla nas? Dla gigantów technologicznych to oznacza jedno: na tym samym drogim sprzęcie mogą obsłużyć 6 razy więcej rozmów. Ale dla nas, zwykłych śmiertelników, to oznacza coś o wiele ciekawszego. Potężne, inteligentne modele AI staną się tak lekkie, że za chwilę odpalisz je w pełni lokalnie, za darmo i bezpiecznie na podstawowym komputerze za parę tysięcy złotych. Albo bezpośrednio na swoim smartfonie. Szybciej, taniej i z o wiele dłuższą pamięcią kontekstu. Google mogło to schować do szuflady i wykorzystywać tylko dla siebie, ale udostępnili to wszystkim. Więc za moment Twój telefon będzie w stanie spakować i bezbłędnie przeanalizować całą historię Twojej firmy z ostatnich 5 lat.