Interaktivní ukázka

Proč AI chybovala u „strawberry“?

Jazykový model pracuje s tokeny a vybírá pokračování podle pravděpodobnosti.

1. Tokenizace

Kolikrát je r ve slově strawberry?

Model zpracovává tokeny, ne automaticky jednotlivá písmena.

S mezerou

·strawberry

1 token

Bez mezery

st raw berry

3 tokeny

2. Výběr odpovědi

Model předpovídá další token. Nemusí přitom písmena spočítat.

Odpověď: ?
256 %
334 %
410 %

3. Ověření

Rozklad na znaky umožní přesné spočítání.

3písmena „r“

Tokenizace žádná písmena neztrácí. Z tokenů lze původní text znovu složit.

Model ale pracuje s tokeny, nikoli přímo s jednotlivými písmeny, a při generování odpovědi je nemusí skutečně spočítat.

Může si slovo rozložit na jednotlivé znaky, ale spolehlivější je výsledek ověřit programově, například pomocí Pythonu.