Interaktivní ukázka

Jak funguje Byte Pair Encoding?

BPE opakovaně spojuje nejčastější sousední dvojice do nových tokenů.

Původní text
pes pes pes les les
15 tokenů
pes pes pes les les

Nejčastější dvojice je e + s. Vyskytuje se 5×. Modré rámečky ukazují, co se spojí.