Interaktivní ukázka
Jak funguje Byte Pair Encoding?
BPE opakovaně spojuje nejčastější sousední dvojice do nových tokenů.
Původní text
pes pes pes les les
pes pes pes les les
Nejčastější dvojice je e + s. Vyskytuje se 5×. Modré rámečky ukazují, co se spojí.