Interaktivní ukázka
Proč AI chybovala u „strawberry“?
Jazykový model pracuje s tokeny a vybírá pokračování podle pravděpodobnosti.
1. Tokenizace
Kolikrát je r ve slově strawberry?
Model zpracovává tokeny, ne automaticky jednotlivá písmena.
S mezerou
·strawberry
1 token
Bez mezery
st raw berry
3 tokeny
2. Výběr odpovědi
Model předpovídá další token. Nemusí přitom písmena spočítat.
Odpověď:
3. Ověření
Rozklad na znaky umožní přesné spočítání.
písmena „r“
Tokenizace žádná písmena neztrácí. Z tokenů lze původní text znovu složit.
Model ale pracuje s tokeny, nikoli přímo s jednotlivými písmeny, a při generování odpovědi je nemusí skutečně spočítat.
Může si slovo rozložit na jednotlivé znaky, ale spolehlivější je výsledek ověřit programově, například pomocí Pythonu.