Nagranie z webinaru: Drugi mózg agenta, czyli jak ciąć tokeny bez utraty kontekstu

Nagranie mojego wystąpienia na webinarze AI Now Polska jest już na YouTube. Mój agent spalał 28 686 tokenów, zanim padło pierwsze pytanie - pokazuję, jak drugi mózg zbił to do kilkuset. Do tego najważniejsze tezy, pomiary i porażki.

15 września opowiadałem na webinarze AI Now Polska o tym, jak zbudowałem swojemu agentowi drugi mózg i co to zrobiło z rachunkiem za tokeny. Nagranie jest już na YouTube, a poniżej zbieram najważniejsze tezy i liczby z tego wystąpienia. To nie jest instrukcja krok po kroku. To raczej mapa: skąd bierze się koszt, co naprawdę działa, a co dobrze wygląda tylko w dokumentacji. Jeśli wolisz posłuchać i zobaczyć demo na żywo, całość trwa niecałe 25 minut: 28 686 tokenów, zanim padnie pierwsze pytanie Zacznę od liczby, która zaskoczyła mnie samego. W czerwcu mój agent na starcie każdej sesji wczytywał trzy pliki z bazy wiedzy: dziennik zmian (17 062 tokeny), indeks (9 020) i plik z zasadami (2 604). Razem 28 686 tokenów, czyli 14% okna kontekstowego. W każdej sesji, zanim agent zrobił cokolwiek. We wrześniu te same trzy pliki ważyły już około 115 000 tokenów. Baza rosła, a razem z nią rosła opłata za samo wejście do rozmowy. Większość osób, które pracują z agentami, nie wie, ile płaci, zanim zada pierwsze pytanie. Ja też nie wiedziałem, dopóki nie sprawdziłem. Wzorzec: wiki, które prowadzi agent Punkt wyjścia to pomysł Andreja Karpathy'ego, który w kwietniu zmieścił go w jednym zdaniu: „Obsidian is the IDE, the LLM is the programmer, the wiki is the codebase.” Czyli: notatki są kodem, a agent jest programistą, który ten kod utrzymuje. Wrzucasz nowe źródło, agent je przetwarza, aktualizuje powiązane strony, odpowiada na pytania i co jakiś czas sprząta. Jedno źródło potrafi dotknąć od 5 do 15 stron. U mnie wygląda to tak: osobny katalog na surowe źródła, których nikt nigdy nie zmienia, i wiki podzielone na kategorie. W dniu webinaru było tam m.in. 58 opracowanych źródeł, 57 projektów, 55 encji, 53 pojęcia, 44 klientów, 36 syntez i 16 playbooków. Każda strona to zwykły plik markdown z krótkim nagłówkiem w YAML-u: typ, tytuł, opis, tagi i data. To prawie dokładnie Open Knowledge Format od Google Cloud, o którym pisałem w czerwcu. Zero SDK, zero platformy. Poprawka do wzorca: wiedza dojrzewa wolno, projekty zmieniają się w jedno popołudnie Szybko okazało się, że nie wszystko, co trafia do bazy, starzeje się w tym samym tempie.