🚨 $GOOGL práve predstavil novú technológiu menom TurboQuant

🟢 Čo to vlastne je?

TurboQuant je jazykový LLM model od Googlu, ktorý chce vyriešiť technický problém: obrovský nárok na odber pamäte a rýchlosti.

Keď komunikuješ s AI (napr. cez ChatGPT alebo Gemini), model si musí "pamätať" kontext celého rozhovoru. Táto "pamäť" sa ukladá do tzv. KV Cache.

🛑 Tu je ale problém: Táto pamäť je nesmierne náročná na miesto. Čím dlhší je váš rozhovor (dlhší kontext), tým viac pamäte (VRAM) grafická karta potrebuje.

🟢 Ako to funguje?

Predstav si ho ako zazipovanie dát rozhovoru tak inteligentne, že model s nimi dokáže stále pracovať, hoci zaberajú zlomok miesta.

👉 6x menej pamäte: To znamená, že tam, kde si predtým potreboval 60 GB pamäte, teraz ti stačí 10 GB.

👉 8x vyššia rýchlosť: Keďže dáta sú menšie, čip ich dokáže spracovať oveľa rýchlejšie. Čiže okamžitá odpoveď od AI.

🟢 Ako nám vie eŠte pomôcť tento TurboQuant od Googlu ?

• AI priamo v mobile: Vďaka tomuto uvidíme čoskoro špičkové modely bežať priamo vo vašom telefóne bez potreby internetu (Local AI Inference).

• Obrovský kontext: Budete môcť AI nahrať celú knihu alebo tisíce riadkov kódu a ona si ich "zapamätá" bez toho, aby jej došla pamäť.

• Lacnejšia prevádzka: Pre firmy ako Google to znamená, že prevádzka AI bude oveľa lacnejšia, čo môže viesť k lepším bezplatným verziám pre používateľov.

🚨 Sektor firiem pamäťových kariet sú dnes pod tlakom.