Jak AI zpracovává informace: od tokenizace k inferenčnímu systému

Když uživatel odešle větu, model nedostane význam v lidském smyslu. Dostane konečnou posloupnost diskrétních identifikátorů, které jsou převedeny na vektory a postupně transformovány mnoha parametrizovanými funkcemi. Na výstupu nevznikne věta, ale logity: neznormalizovaná skóre pro každý token slovníku. Teprve dekódovací algoritmus z těchto skóre vybere další token, připojí jej ke kontextu a spustí další iteraci. Celá odpověď je tedy důsledkem opakovaného odhadu podmíněné pravděpodobnosti p(x_t | x_<t).

Toto zdánlivě jednoduché rozhraní skrývá několik odlišných systémů: datovou pipeline předtrénování, vlastní neuronovou architekturu, optimalizační proces, post-training zaměřený na instrukce a preference, inferenční runtime, správu paměti akcelerátoru, bezpečnostní filtry, nástroje, retrieval a aplikační orchestrace. Označení „jazykový model“ je proto přesné jen pro jádro. Produkční AI je distribuovaný informační systém, ve kterém je model jednou — byť nejdůležitější — komponentou.

Information Before Intelligence

Claude Shannon formalizoval informaci jako redukci nejistoty. Pro událost s pravděpodobností p je její vlastní informace úměrná hodnotě −log₂p; vzácná událost nese více bitů než očekávaná. Entropie distribuce pak vyjadřuje průměrnou nejistotu před pozorováním výsledku [1].

Jazykové modelování používá stejnou logiku. Model distribuuje pravděpodobnostní hmotu mezi možné pokračující tokeny. Jestliže skutečný token obdrží nízkou pravděpodobnost, ztráta je vysoká; pokud jej model očekává, ztráta je nízká. Cross-entropy tak měří, jak překvapivá jsou skutečná data pod aktuálním modelem. Perplexita je exponenciální transformací této ztráty a lze ji intuitivně chápat jako efektivní počet stejně pravděpodobných voleb, mezi nimiž model v průměru váhá.

Znalost v parametrech nevypadá jako databázový záznam. Je distribuována v numerické geometrii modelu a projevuje se tím, jak se po konkrétním kontextu změní pravděpodobnosti pokračování. To vysvětluje dvě zdánlivě protikladné vlastnosti: model dokáže flexibilně generalizovat z neúplného zadání, ale současně neumí garantovat přesné vybavení konkrétního faktu. Parametrická paměť je komprimovaný statistický model dat, nikoliv index dokumentů.

Tokenization as an Engineering Compromise

Neuronová síť potřebuje konečný slovník symbolů. Slovník celých slov by byl obrovský, špatně by zpracovával skloňování, překlepy, odborné termíny a nová jména. Slovník jednotlivých znaků by byl univerzální, ale prodlužoval by sekvence a zvyšoval počet kroků, ve kterých musí model spojovat znaky do vyšších jednotek. Subword tokenizace hledá kompromis mezi oběma extrémy.

Byte Pair Encoding a příbuzné algoritmy začínají menšími jednotkami a iterativně slučují často se vyskytující sousední dvojice. Časté výrazy se mohou stát jedním tokenem, zatímco vzácné výrazy se rozloží na více částí [2]. Moderní tokenizéry často pracují nad bajty nebo jejich bezpečnou reprezentací, takže teoreticky dokážou zapsat libovolný Unicode text bez tokenu „neznámý znak“.

Token není lingvistický morfém. Hranice vznikají z optimalizace frekvence a délky reprezentace, ne z gramatické teorie. Stejné slovo může být tokenizováno jinak podle mezery, velikosti písmen nebo okolního textu. Čeština, finština či turečtina mohou kvůli bohaté morfologii spotřebovat na stejný význam více tokenů než angličtina. Tato nerovnost ovlivňuje cenu, maximální délku vstupu i počet autoregresivních kroků potřebných pro odpověď.

Čísla jsou zvláštní případ. Tokenizér může rozdělit dlouhé číslo na nepravidelné skupiny, takže model nemá jednotnou poziční reprezentaci desetinného zápisu. To je jeden z důvodů, proč čistý jazykový model není spolehlivá kalkulačka. Z aritmetické úlohy vidí posloupnost kategoriálních symbolů a učí se statistické vzory jejich výskytu; přesné algoritmické provedení není vynuceno tokenizačním rozhraním ani tréninkovým cílem.

Velikost slovníku je systémový kompromis. Větší slovník zkracuje sekvence, ale zvětšuje embeddingovou a výstupní matici a může vytvářet řídké, špatně natrénované tokeny. Menší slovník prodlužuje sekvence a zdražuje attention i dekódování. Tokenizér se navíc stává součástí specifikace modelu: změna slovníku po tréninku mění význam indexů a vyžaduje přemapování nebo nové učení embeddingů.

Před samotnou tokenizací probíhá normalizace a sestavení promptu. Chatovací rozhraní přidává systémovou instrukci, role zpráv, oddělovače, případné popisy nástrojů a speciální řídicí tokeny. To, co uživatel vidí jako jednu větu, může být jen malou částí skutečné sekvence vstupující do modelu. Rozdíly mezi chat template mohou výrazně měnit chování i při stejných vahách, protože model byl během post-trainingu naučen reagovat na konkrétní strukturu řídicích tokenů.

Embeddings and the Residual Stream

Každý tokenový identifikátor indexuje řádek embeddingové matice. Výsledkem je vektor o rozměru modelu, často označovaném d_model. Jednotlivá souřadnice obvykle nemá stabilní lidsky pojmenovatelný význam. Význam je distribuován napříč směry prostoru a dále se mění podle kontextu.

V transformeru embedding není hotová reprezentace slova. Je pouze počáteční stav reziduálního proudu — sdíleného vektorového pracovního prostoru, do něhož každá attention a MLP podvrstva zapisuje vlastní aktualizaci. Díky reziduálním spojením se vrstva neučí přepsat celý stav, ale přidat korekci. Informace může proudit mnoha vrstvami a různé výpočetní moduly mohou do stejného prostoru zapisovat částečné výsledky.

Kontextualizace znamená, že reprezentace stejného tokenu se po několika vrstvách liší podle okolí. Token „zámek“ ve větě o dveřích a ve větě o historické budově začíná stejným embeddingem, ale attention z okolních tokenů načte jiné informace. Pozdější reziduální stav proto reprezentuje konkrétní použití, nikoli izolované slovníkové heslo.

V některých architekturách je vstupní embeddingová matice sdílena s výstupní projekcí do slovníku, v jiných nikoliv. Při sdílení lze výstupní logity interpretovat jako podobnost finálního skrytého stavu ke směrům jednotlivých tokenů. Ani zde však nejde o prosté vyhledání „nejbližšího slova“: před projekcí proběhly desítky vrstev a logity jsou výsledkem celé sekvenční transformace.

Position Is Not Contained in a Token

Self-attention bez poziční informace je vůči pořadí permutačně ekvivalentní: stejná množina tokenů v jiném pořadí by nevytvářela potřebné rozlišení syntaxe. Model proto potřebuje mechanismus, který do výpočtu zakóduje absolutní nebo relativní pozici.

Původní Transformer přičítal sinusové poziční vektory. Řada moderních dekodérů používá Rotary Position Embedding, které rotuje komponenty query a key podle pozice a umožňuje, aby skalární součin přirozeně závisel na relativní vzdálenosti tokenů [4]. Volba frekvencí, škálování a extrapolace RoPE patří mezi klíčové problémy dlouhého kontextu.

Inside a Decoder Transformer Block

Autoregresivní jazykové modely jsou obvykle tvořeny opakováním podobného dekodérového bloku. Typická pre-norm varianta nejprve normalizuje reziduální stav, provede maskovaný self-attention a jeho výstup přičte zpět. Poté znovu normalizuje stav, aplikuje feed-forward neboli MLP podvrstvu a opět přičte její výstup. Stovky miliard jednotlivých násobení a součtů jsou organizovány do několika velkých maticových operací, které akcelerátory dokážou provádět paralelně.

Normalizace stabilizuje měřítko aktivací. LayerNorm používá průměr a rozptyl prvků vektoru, zatímco RMSNorm normalizuje pomocí odmocniny průměru druhých mocnin a vynechává centrování. Normalizace nezajišťuje „správnost“ informace; reguluje numerickou dynamiku, aby hluboká síť zůstala trénovatelná v omezené přesnosti.

Attention přesouvá informace mezi pozicemi. MLP naproti tomu transformuje stav každé pozice samostatně stejnou funkcí. Tato dělba je zásadní: attention rozhoduje, odkud číst, zatímco MLP rozhoduje, jak lokální stav nelineárně změnit. V praxi nejsou role čistě oddělené, ale tato abstrakce pomáhá chápat, proč transformer potřebuje obě komponenty.

MLP má často širší vnitřní rozměr než reziduální proud. Klasická forma provede lineární projekci nahoru, nelinearitu a projekci zpět. Moderní gated varianty, například SwiGLU, používají dvě paralelní projekce: jedna vytváří hodnoty a druhá bránu, která je po aktivaci násobí. Síť tím získá bohatší podmíněnou transformaci bez nutnosti explicitních if-else pravidel.

Každá vrstva vidí reprezentace vytvořené předchozími vrstvami. Nižší vrstvy často zachycují lokálnější ortografické a syntaktické signály, střední vrstvy mohou skládat vztahy a vyšší vrstvy připravují reprezentaci pro konkrétní predikci dalšího tokenu. Toto rozdělení není ostré ani univerzální. Funkce jsou distribuované a model může stejný typ informace rekonstruovat na více místech.

Causal mask zajišťuje, že pozice t během tréninku nesmí číst tokeny napravo od sebe. Všechny pozice jedné tréninkové sekvence lze přesto vypočítat paralelně, protože správné předchozí tokeny jsou známy z dat. Při generování budoucí token znám není, a proto se dekódování stává sériovým. Tento rozdíl mezi paralelním tréninkem a autoregresivní inferencí je jedním z nejdůležitějších systémových omezení LLM.

Reziduální architektura navíc dovoluje interpretovat blok jako iterativní zpřesňování reprezentace. Vrstva nemusí vyřešit celou úlohu. Může zvýraznit entitu, přenést informaci o syntaktickém subjektu, označit hranici citace nebo vytvořit mezivýsledek, který pozdější vrstva využije. Schopnost modelu vzniká kompozicí velkého počtu malých transformací.

Self-Attention as Content-Addressable Memory

Pro každou pozici vznikají lineárními projekcemi vektory query, key a value. Skóre mezi query aktuální pozice a key předchozí pozice se počítá skalárním součinem, škáluje faktorem 1/√d_k, maskuje a normalizuje funkcí softmax. Výsledné váhy vytvoří vážený součet value vektorů. Zjednodušeně: Attention(Q,K,V) = softmax(QK^T/√d_k)V [3].

Query lze chápat jako dynamicky vytvořený dotaz, key jako adresu a value jako obsah ke čtení. Tato analogie je užitečná, ale ne doslovná. Model se neučí lidsky čitelné databázové klíče. Učí se projekční matice, které pro každou hlavu vytvářejí geometrii vhodnou pro určitý typ vztahu.

Multi-head attention rozděluje výpočet do více hlav. Každá hlava pracuje v menším podprostoru a může vytvářet odlišný vzor čtení. Některé hlavy se mohou specializovat na předchozí výskyt stejného tokenu, jiné na strukturální oddělovače, pozici začátku odstavce nebo vazbu mezi proměnnou a její definicí. Specializace však není garantována; hlavy mohou být redundantní, polyfunkční a jejich význam se mění podle vrstvy a kontextu.

Softmax vytváří relativní soutěž mezi dostupnými pozicemi. Zvýšení skóre jednoho tokenu snižuje podíl ostatních, ale neznamená to, že pozornost je jediným vysvětlením predikce. Výstup hlavy je dále projektován, přičten do reziduálního proudu a zpracován následujícími vrstvami. Attention mapa ukazuje, odkud konkrétní hlava četla, nikoli automaticky kauzální důvod konečné odpovědi.

U dlouhé sekvence má plná attention matici o rozměru n × n. Aritmetická složitost roste přibližně kvadraticky s délkou, ale praktický výkon závisí také na přesunech dat mezi úrovněmi paměti. FlashAttention počítá přesnou attention po blocích tak, aby omezil čtení a zápis velkých mezivýsledků do pomalejší HBM; nemění matematický výsledek, ale mění pořadí operací a paměťovou stopu [5].

The MLP Is More Than a Nonlinearity

Feed-forward podvrstvy obsahují velkou část parametrů hustého transformeru. Jejich první projekce rozvine reziduální stav do vysokodimenzionálního prostoru, nelinearita aktivuje vybrané směry a druhá projekce je zapíše zpět. Lze je chápat jako soubor podmíněných detektorů a zapisovačů rysů, nikoli jako jednoduchý kosmetický krok mezi attention vrstvami.

Jeden neuron není stabilní symbol pro jeden koncept. Rysy mohou být superponované: stejný směr nebo neuron se podílí na více funkcích, protože model komprimuje více vlastností do omezeného prostoru. Interpretace jednotlivých aktivací je proto obtížná. Smysluplnější může být hledat směry, malé okruhy nebo kauzální zásahy do aktivací a sledovat, jak mění výstup.

MLP může převádět načtenou informaci do formy, která je použitelná pro další výpočet. Attention například přenese údaj o entitě do aktuální pozice; MLP jej zkombinuje s lokálním stavem a zvýší aktivaci rysu odpovídajícího očekávanému typu odpovědi. Pozdější attention pak může tento mezivýsledek propojit s jinou částí kontextu.

Prediction Is the Training Signal

Při autoregresivním předtrénování dostane model tokeny x₁ … x_n a maximalizuje součet log-pravděpodobností každého tokenu podmíněného jeho předchůdci. V praxi se minimalizuje cross-entropy mezi výstupní distribucí modelu a one-hot cílem. Teacher forcing umožňuje vypočítat ztrátu pro všechny pozice paralelně, protože vstup obsahuje skutečnou historii, nikoli vlastní předchozí chyby modelu.

Cíl „předpověz další token“ je slabě specifikovaný, ale extrémně bohatý. Aby model snížil ztrátu na různorodém korpusu, musí zachytit pravopis, syntaxi, styl, fakta, strukturu kódu, žánry dokumentů i statistické pravidelnosti argumentace. Nikdo mu explicitně neoznačí subjekt věty nebo definici funkce; tyto reprezentace mohou vzniknout, protože pomáhají predikci.

Stejný cíl však nevynucuje pravdivost. Pokud je v datech častý přesvědčivý, ale nepravdivý vzor, může jeho modelování snižovat ztrátu. Cíl také nerozlišuje mezi citací zdroje a věrohodně vypadající imitací citace. Pravděpodobnost textu a pravděpodobnost faktické správnosti jsou odlišné veličiny.

Ztráta se agreguje přes velké množství tokenů. Vzácný detail má nepatrný podíl na celkovém gradientu, pokud není v datech opakován nebo strategicky převážen. To vysvětluje, proč model může velmi dobře ovládat obecný styl oboru, ale chybovat v přesném čísle, názvu článku nebo okrajové výjimce.

Během backpropagation se pomocí řetězového pravidla vypočítá gradient ztráty vůči parametrům. Optimalizátor, často varianta AdamW, kombinuje gradient s průběžnými odhady prvního a druhého momentu a aktualizuje váhy. Learning-rate schedule obvykle obsahuje warm-up a následný pokles. Stabilita závisí na inicializaci, normalizaci, velikosti batch, přesnosti, gradient clippingu i kvalitě distribuované komunikace.

Trénink v BF16 nebo jiných snížených formátech zvyšuje propustnost a snižuje paměť, ale vyžaduje pečlivou numeriku. Parametry, aktivace, gradienty a stavy optimalizátoru mohou mít různé formáty. U obřího modelu nezabírají paměť pouze váhy; během tréninku jsou zásadní také aktivace pro zpětný průchod, gradienty a momenty optimalizátoru.

Data-parallel, tensor-parallel, pipeline-parallel a sharded strategie rozdělují výpočet mezi akcelerátory různým způsobem. Výkon není určen pouze počtem FLOPS. Kolektivní komunikace, synchronizace, topologie sítě, nevyvážené dávky a čekání mezi pipeline stupni mohou významnou část teoretického výkonu ztratit.

Data Quality Becomes Model Behavior

Předtrénovací korpus není prostý archiv internetu. Produkční pipeline provádí detekci jazyka, odstranění spamu, normalizaci formátů, deduplikaci, klasifikaci kvality, filtrování osobních či nebezpečných dat a míchání domén. Každé pravidlo mění distribuci, kterou model aproximuje.

Deduplikace je důležitá nejen kvůli memorování. Opakované dokumenty nepřiměřeně zvyšují gradientový vliv určitého obsahu a mohou zkreslit benchmarky, pokud se jejich položky nebo odvozené verze objeví v tréninku. Přesná deduplikace zachytí identické kopie; fuzzy metody hledají téměř shodné pasáže, ale mohou odstranit legitimní variace.

Směs dat určuje kompetence. Kód, matematika, vědecké texty, dialogy a vícejazyčná data mají odlišnou tokenovou statistiku a různou kvalitu. Přidání jedné domény může pomoci specializované schopnosti, ale změnit výkon jinde. Dataset je proto optimalizační rozhodnutí podobně jako architektura.

Scaling laws ukázaly pravidelné vztahy mezi ztrátou, velikostí modelu, množstvím dat a výpočtem. Pozdější práce zdůraznily, že při fixním výpočetním rozpočtu může být výhodnější trénovat menší model na větším množství tokenů než příliš velký model na nedostatečných datech. Velikost parametru sama o sobě není úplná míra kvality; záleží na tom, jak efektivně byl využit tréninkový rozpočet.

Instruction Tuning Changes the Interface

Předtrénovaný model doplňuje text. Neví automaticky, že věta uživatele je příkaz, že má být užitečný nebo že má přiznat nejistotu. Supervised fine-tuning jej učí na dvojicích instrukce–odpověď produkovat požadovaný typ pokračování. Tím se nemění základní autoregresivní mechanismus; mění se distribuce chování po konverzačních šablonách.

RLHF přidává preference. Lidé porovnávají více odpovědí, z pořadí se natrénuje reward model a jazykový model se optimalizuje tak, aby získal vyšší odměnu, obvykle s penalizací přílišného odchýlení od referenční politiky. InstructGPT ukázal, že menší post-trénovaný model může být pro uživatele preferovanější než výrazně větší čistě předtrénovaný model [9].

Reward model není objektivní měřič pravdy. Aproximuje preference konkrétního souboru hodnotitelů podle konkrétních instrukcí. Optimalizace může využívat jeho nedostatky, přehánět stylistické signály „dobré odpovědi“ nebo preferovat sebevědomě znějící text. Praktické pipeline proto kombinují více typů dat, bezpečnostní evaluace, adversariální testování a omezení velikosti aktualizace.

Direct Preference Optimization převádí preferenční problém na jednodušší klasifikační ztrátu mezi preferovanou a odmítnutou odpovědí a obchází explicitní trénink samostatného reward modelu a online reinforcement learning [10]. Je to příklad obecného trendu: cílem post-trainingu není přidat pouze znalosti, ale tvarovat politiku, která z mnoha pravděpodobných pokračování vybírá chování vhodné pro interaktivní systém.

Alignment může přinést i regresi. Model může začít příliš často odmítat, produkovat stereotypní strukturu, optimalizovat délku nebo skrývat nejistotu za naučenými frázemi. Kvalita post-trainingu se proto musí měřit na více osách: užitečnost, pravdivost, bezpečnost, kalibrace, robustnost instrukcí a zachování základních schopností.

Systémové zprávy, tool schema a zásady produktu jsou během inference pouze další tokeny s privilegovanou pozicí danou tréninkem a orchestrace. Nejsou kryptograficky odděleny od zbytku kontextu uvnitř samotného transformeru. Bezpečné nasazení proto nesmí spoléhat jen na to, že model „poslechne“ textový zákaz; oprávnění k nástrojům musí vynucovat okolní software.

Prefill and Decode Are Different Workloads

Inference se rozpadá na dvě fáze. Prefill zpracuje celý vstupní kontext a vytvoří skryté stavy a key-value cache pro každou vrstvu. Protože všechny vstupní tokeny jsou známy, velká část výpočtu je paralelní a dobře využívá maticové jednotky GPU.

Decode generuje jeden nebo malý počet nových tokenů. Pro každý krok se vypočítá reprezentace nové pozice a její query čte keys a values uložené pro všechny předchozí pozice. Samotné staré tokeny není nutné znovu plně přepočítat, ale KV cache musí být dostupná v paměti a opakovaně čtena.

Prefill bývá výpočetně intenzivní, zatímco decode je často omezen paměťovou propustností a nízkou mírou paralelismu na jednu sekvenci. Proto mají dvě uživatelské metriky odlišné příčiny: time to first token závisí výrazně na délce promptu, frontě a prefillu; inter-token latency závisí na rychlosti opakovaného decode.

Server kombinuje požadavky do batch. Statický batch čeká, až všechny sekvence dokončí, a plýtvá kapacitou u různých délek. Continuous batching průběžně přidává nové sekvence a odebírá dokončené, čímž zvyšuje propustnost. Scheduler však musí vyvažovat latenci krátkých požadavků, dlouhé prefily, dostupnou KV paměť a spravedlnost mezi uživateli.

KV cache roste přibližně lineárně s délkou kontextu, počtem vrstev, velikostí key/value reprezentace a počtem současných sekvencí. U dlouhých kontextů může zabírat více paměti než samotné váhy přidělené jednomu požadavku. Multi-query attention sdílí keys a values mezi hlavami; grouped-query attention používá menší počet KV hlav než query hlav. Obě strategie snižují cache a paměťovou propustnost za cenu změny architektury [14].

Kvantizace vah, například na osm nebo čtyři bity, snižuje paměť a může zvýšit rychlost, ale skutečný efekt závisí na kernelu, hardwaru a citlivosti vrstev. Kvantizovat lze také KV cache, což je důležité pro dlouhý kontext. Nižší přesnost ovšem mění numerickou aproximaci a musí být hodnocena nejen na průměrném benchmarku, ale i na dlouhých sekvencích, kódu a vzácných výstupech.

Speculative decoding používá menší návrhový model k vytvoření několika kandidátních tokenů, které velký model ověří paralelně. Správně navržený akceptační algoritmus zachová cílovou distribuci a může snížit počet sériových průchodů velkého modelu [15]. Zrychlení závisí na tom, jak často se draft a cílový model shodnou a jak drahé je samotné ověření.

From Logits to a Visible Answer

Poslední skrytý stav nové pozice je normalizován a lineárně projektován na vektor logitů o velikosti slovníku. Softmax z něj vytvoří distribuci pravděpodobností. Výběr dalšího tokenu ale není pevnou součástí vah; provádí jej dekodér podle parametrů a pravidel produktu.

Greedy decoding vždy vybírá maximum a je deterministický při stejné numerice, ale může uvíznout v repetitivním nebo lokálně optimálním textu. Temperature dělí logity před softmaxem: nižší hodnota distribuci zostří, vyšší ji zploští. Top-k omezuje výběr na pevný počet kandidátů; top-p vybírá nejmenší množinu tokenů, jejíž kumulativní pravděpodobnost překročí práh.

Frequency a presence penalties, repetition penalties, zakázané tokeny, gramatická omezení nebo JSON schema dále upravují distribuci. Strukturované generování může maskovat tokeny, které by vedly k neplatnému prefixu. To výrazně zvyšuje syntaktickou spolehlivost, ale negarantuje, že hodnoty uvnitř platného JSON jsou fakticky správné.

Stop sekvence a end-of-sequence token ukončují generování. Pokud je limit příliš nízký, odpověď se usekne; pokud příliš vysoký, model může pokračovat do irelevantního textu. Délka není jen UX vlastnost — každý další token znamená další sériový průchod a spotřebu KV cache.

Long Context Is Not Uniform Memory

Kontextové okno definuje maximální sekvenci, kterou runtime modelu předloží. Neříká však, že všechny tokeny ovlivňují výstup stejně spolehlivě. Studie „Lost in the Middle“ ukázala, že výkon při vyhledávání informace může být nejlepší na začátku a konci kontextu a horší pro relevantní pasáž uprostřed [12].

Dlouhý kontext zvětšuje vyhledávací prostor attention. Model musí rozpoznat relevantní segment mezi mnoha podobnými pasážemi, zachovat vazby přes velkou vzdálenost a nerozředit signál. Trénink na krátkých sekvencích navíc nemusí připravit poziční reprezentaci na extrapolaci. Samotné technické zvýšení limitu proto není ekvivalentní robustní práci s každou pozicí.

V aplikaci má struktura vstupu zásadní význam. Jasné nadpisy, lokální shrnutí, metadata, explicitní oddělení instrukcí od dokumentů a umístění kritických pravidel do stabilních částí promptu mohou zlepšit využití kontextu. U velmi dlouhých zdrojů bývá efektivnější retrieval a hierarchické zpracování než bezvýběrové vložení všeho.

Kontext také obsahuje vlastní výstup modelu. Čím delší odpověď generuje, tím více prostoru zabírá a tím delší KV cache se čte. Maximální vstup a maximální výstup proto sdílejí jeden tokenový rozpočet, pokud systém nepoužívá zvláštní architektonické mechanismy.

Sparse Models and Mixture of Experts

Mixture-of-Experts nahrazuje část husté MLP vrstvy sadou expertů a routerem, který pro každý token aktivuje jen malý počet z nich. Model může mít velmi vysoký celkový počet parametrů, ale na jeden token použít jen zlomek. Switch Transformer ukázal, že řídká aktivace může zvýšit kapacitu bez proporcionálního růstu aritmetiky [13].

MoE však přesouvá problém do komunikace a vyvažování. Pokud router posílá příliš mnoho tokenů stejnému expertu, vzniká přetížení; pokud je expert na jiném akcelerátoru, tokenová data se musí přenášet přes síť. Celkový počet parametrů proto nelze přímo převést na latenci ani kvalitu. Rozhoduje počet aktivních parametrů, topologie, kapacita expertů a efektivita all-to-all komunikace.

Retrieval Separates Reasoning from Storage

Retrieval-Augmented Generation přidává neparametrickou paměť. Dokumenty se rozdělí na segmenty, převedou na embeddingy a uloží do indexu. Dotaz se převede do stejného prostoru, retriever najde kandidátní pasáže a ty se vloží do kontextu generátoru. Původní RAG práce ukázala spojení parametrické generace s explicitním korpusem pro znalostně náročné úlohy [11].

Produkční retrieval není jedno vyhledání podle kosinové podobnosti. Pipeline může kombinovat lexikální a vektorové vyhledávání, metadata, filtry oprávnění, query rewriting, hybridní skóre a reranker. Segmentace určuje, zda jedna jednotka obsahuje dost kontextu a zároveň není příliš široká. Překryv segmentů snižuje riziko rozříznutí odpovědi přes hranici, ale zvětšuje index a vytváří duplicity.

Retriever optimalizuje relevanci, nikoli automaticky pravdivost. Může najít starý dokument, text bez autority nebo pasáž, která sdílí terminologii, ale neodpovídá otázce. Reranking a metadata zlepšují výběr, avšak generátor může zdroj ignorovat, nesprávně spojit dvě pasáže nebo citaci přiřadit k tvrzení, které nepodporuje.

Důvěryhodný systém proto uchovává provenance. Každý segment by měl nést identitu dokumentu, verzi, datum, oprávnění a přesnou pozici. Citace se nemá generovat pouze z paměti modelu; musí být odvozena z konkrétního retrieval výsledku a ideálně ověřena proti skutečnému rozsahu textu.

Retrieval snižuje potřebu přetrénovat model při každé změně dokumentace. Aktualizace indexu je levnější a auditovatelnější než změna parametrů. Na druhé straně přidává nové typy selhání: chybějící dokument, nekonzistentní index, špatnou fragmentaci, zpožděnou synchronizaci a prompt injection ukrytý ve zdroji.

Pro interní systémy je bezpečnostní filtr před retrieval stejně důležitý jako relevance. Model nesmí získat dokument jen proto, že je sémanticky podobný dotazu. Oprávnění se musí vyhodnotit deterministicky mimo model a filtrovat kandidáty ještě před vložením do kontextu.

Tools Turn Text Prediction into Action

Tool use umožňuje modelu místo volného textu vygenerovat strukturovaný požadavek na kalkulačku, databázi, vyhledávač, kalendář nebo interní API. Okolní software argumenty validuje, nástroj spustí a výsledek vloží zpět do kontextu. Model následně pokračuje v generování s novou informací. Toolformer demonstroval, že jazykový model lze učit rozhodovat, kdy API zavolat a jak jeho výsledek začlenit [16].

Model sám nástroj nespouští v operačním systému. Produkuje tokeny odpovídající schématu a orchestrátor rozhoduje, zda je požadavek platný a povolený. Tato hranice je bezpečnostně kritická. Nástroj musí mít minimální oprávnění, validační vrstvu, limity, auditní log a ideálně idempotentní nebo potvrzované operace.

Agentní smyčka opakuje plánování, volání nástroje, pozorování výsledku a další rozhodnutí. S každým krokem roste prostor pro chybu: model může zvolit nesprávný nástroj, špatně interpretovat návratovou hodnotu, opakovat akci nebo ukončit proces bez ověření. Robustní agent potřebuje explicitní stav, maximální počet kroků, detekci opakování, transakční hranice a kontrolu podmínek dokončení.

Přirozený jazyk není dostatečný protokol pro kritické systémy. Výstup modelu musí být převeden do typované struktury a validován. Část rozhodnutí — například oprávnění uživatele, finanční limit nebo zákaz smazání dat — má být implementována jako deterministická politika, nikoli jako instrukce v promptu.

Prompt injection vzniká, když nedůvěryhodný obsah obsahuje instrukci, kterou model zamění za oprávněný příkaz. Protože všechny části kontextu procházejí stejnou architekturou, oddělovací značky samy neposkytují tvrdou izolaci. Systém musí označit původ dat, omezit nástroje, filtrovat citlivé výstupy a vyhodnocovat, zda požadovaná akce odpovídá záměru uživatele.

Why Hallucination Is a Systems Problem

Halucinace není jediný mechanismus. Parametrická chyba vzniká, když váhy neobsahují dostatečně přesný vzor. Kontextová chyba vzniká, když model přehlédne nebo špatně spojí dodané informace. Dekódovací chyba může zvolit méně pravděpodobnou větev. Retrieval chyba dodá nesprávný zdroj. Tool chyba předá špatná data. Aplikační chyba může výsledku přisoudit vyšší autoritu, než má.

Model je optimalizován na pravděpodobné pokračování, takže při nedostatku evidence může stále vytvořit syntakticky úplnou odpověď. Post-training může naučit přiznat nejistotu, ale tato reakce je opět pravděpodobnostní a závisí na podobnosti situace s tréninkovými příklady.

Vnitřní pravděpodobnost tokenu není přímo kalibrovaná pravděpodobnost pravdivosti věty. Model může být velmi jistý běžnou formulací nepravdivého tvrzení a nejistý u neobvyklé formulace pravdivého tvrzení. Hodnocení spolehlivosti musí používat externí signály: kvalitu zdrojů, shodu více metod, konzistenci s databází, validátor schématu nebo specializovaný verifier.

Self-consistency, více vzorků a kritické přehodnocení mohou zlepšit některé úlohy, ale nejsou důkazem. Více generací může opakovat stejnou systematickou chybu, protože sdílí stejné váhy a data. Oddělený model může být také korelovaný. Pro vysoké riziko je nutná kontrola proti autoritativnímu systému záznamu.

Citace představují zvláštní riziko. Model zná tvar bibliografického záznamu a může vytvořit kombinaci skutečně vypadajícího názvu, časopisu a DOI. Bez retrieval nebo databázového ověření není stylistická přesvědčivost citace důkazem její existence.

Produkční mitigace je vrstvená: úzké zadání, explicitní podklady, retrieval s provenance, nástroje pro přesné operace, schema validation, kontroly pravidel, detekce konfliktů, citace, lidské schválení a monitoring skutečných chyb. Žádný jednotlivý prompt neodstraní strukturální nejistotu generativního systému.

Multimodality Uses the Same Computational Language

Obrazový encoder rozděluje obraz na patche nebo vytváří jiné vizuální jednotky a převádí je na vektory kompatibilní s jazykovým modelem. Audio se segmentuje na časově-frekvenční reprezentace nebo diskrétní akustické tokeny. Po projekci mohou multimodální tokeny vstoupit do společného transformerového kontextu.

Společný prostor neznamená, že model vnímá svět jako člověk. Rozlišení, patchování, komprese, pořadí snímků a tréninkové páry určují, které vizuální či akustické informace se zachovají. Textová odpověď je stále autoregresivní dekódování tokenů podmíněné multimodální reprezentací.

Multimodalita přidává nové nejistoty: malé objekty mohou zmizet při resize, prostorová relace se může zaměnit, OCR může selhat a časová událost ve videu může být mezi vzorkovanými snímky. Validace musí zohlednit celý pre-processing, ne pouze jazykové jádro.

Evaluation Must Measure the Whole Pipeline

Benchmark základního modelu neříká, jak bude fungovat konkrétní aplikace. Výsledek ovlivní systémový prompt, tokenizace dokumentů, retrieval, počet nástrojových kroků, dekódování, kvantizace, modelová verze i latence. Produkční evaluace musí reprodukovat skutečnou pipeline.

Offline sada by měla obsahovat reprezentativní případy, okrajové vstupy, záměrně konfliktní instrukce, chybějící data a příklady, kde je správnou odpovědí odmítnutí nebo přiznání nejistoty. Hodnocení nemá být jen jedno agregované číslo. Je třeba sledovat faktickou správnost, úplnost, formát, citace, bezpečnost, cenu a dobu odezvy.

LLM-as-a-judge zrychluje evaluaci, ale zdědí preference a slepá místa hodnoticího modelu. Pro kritické metriky je vhodné kombinovat deterministické testy, lidskou anotaci, více hodnotitelů a pravidelné kalibrační vzorky. Změna modelu nebo promptu může zlepšit průměr a současně poškodit malou, ale zásadní podskupinu.

Online monitoring musí rozlišovat kvalitu a provoz. Sleduje tokeny, latenci, chyby nástrojů, retrieval miss, přerušení, odmítnutí, uživatelské opravy a incidenty. Logování musí respektovat citlivost dat a přístupová práva. Bez dohledatelné verze promptu, modelu, indexu a nástroje není možné incident reprodukovat.

Dobrá AI governance proto vypadá podobně jako správa jiného produkčního systému: verze, testy, schvalovací proces, rollback, observabilita, odpovědnost a auditní stopa. Pravděpodobnostní komponenta mění metody testování, nikoli potřebu provozní disciplíny.

What the Model Is Actually Doing

Na nejnižší úrovni model opakovaně násobí tenzory, sčítá biasy, normalizuje aktivace a aplikuje elementární nelinearity. Na střední úrovni vytváří kontextové reprezentace, směruje informace mezi pozicemi a skládá rysy. Na nejvyšší úrovni se tato dynamika projevuje jako psaní, překlad, klasifikace, práce s kódem nebo plánování nástrojů.

Žádná z těchto úrovní sama nestačí. Popis „jen násobení matic“ je fyzikálně pravdivý, ale nevysvětluje algoritmickou organizaci. Popis „model rozumí otázce“ je užitečný pro interakci, ale může skrýt probabilistickou a omezenou povahu procesu. Přesné technické uvažování vyžaduje mezi úrovněmi přecházet podle problému.

Když odpověď selže, správná otázka není pouze „proč model neví“. Je třeba určit, zda selhala reprezentace vstupu, retrieval, práce s dlouhým kontextem, nástroj, dekódování, oprávnění, nebo samotné parametrické znalosti. Teprve pak lze zvolit správný zásah.

Operational Implications

Pro organizace plyne několik praktických závěrů. Fakta, která se často mění, nemají být ponechána pouze v parametrech; potřebují retrieval nebo API. Přesné výpočty mají být delegovány deterministickému nástroji. Citlivé akce musí být autorizovány mimo model. Dlouhé dokumenty mají být strukturovány a indexovány, nikoli pouze vloženy do obřího promptu.

Latence musí být navržena podle workloadu. Dlouhý vstup zatěžuje prefill, dlouhý výstup sériový decode a mnoho současných relací KV cache. Volba modelu, kvantizace, délky kontextu, batch strategie a nástrojů je proto architektonické rozhodnutí, ne pouhá změna API parametru.

Kvalitu nelze oddělit od observability. Každá odpověď by měla být dohledatelná k verzi modelu, promptu, zdrojům a použitým nástrojům. To je zvlášť důležité tam, kde AI vstupuje do veřejné správy, kritického provozu nebo rozhodovacích procesů. Systém musí umět nejen vytvořit výstup, ale také doložit, z čeho vznikl a jaké kontroly proběhly.

Přesně zde se z experimentu stává infrastruktura. Atodat přistupuje k AI jako k vrstvě uvnitř řízeného systému: model je obklopen datovými zdroji, oprávněními, validací, auditními mechanismy a provozním dohledem. Schopnost generovat text je začátek. Spolehlivé zpracování informací vzniká až návrhem celé cesty od vstupu po ověřenou akci.

The Bottom Line

Jazykový model nepřekládá větu přímo na význam a význam zpět na větu. Převádí tokeny na vektory, vektory iterativně transformuje a z finálního stavu vytváří distribuci dalšího tokenu. Schopnosti vznikají z měřítka dat, parametrů a optimalizace; spolehlivost vzniká až propojením modelu s kvalitními zdroji, nástroji, validací a řízením rizik.

Porozumět této architektuře znamená vědět, které problémy řešit promptem, které retrievalem, které kódem a které procesní kontrolou. Nejde o odstranění lidského úsudku, ale o přesné rozdělení práce mezi pravděpodobnostní model a deterministický systém.