Μια μέθοδος tokenization που χρησιμοποιεί τις ιδιότητες χαρακτήρα Unicode για τη διάκριση μεταξύ διακριτικό και διαχωριστικό χαρακτήρες.