O metodă de tokenizarea care utilizează proprietăţile caracter Unicode să se facă distincţia între token-ul şi de caractere de separare.