KI-Wörterbuch / Tokenizacja
⚙️ Technika
Tokenizacja
Das Zerlegen von Text in Token - der erste Schritt jeder Sprachverarbeitung durch das Modell.
Tokenisierung ist der Prozess, Text nach einem beim Training festgelegten Vokabular in Token zu zerlegen. Häufige Wörter erhalten einen eigenen Token, seltenere werden aus kleineren Stücken zusammengesetzt - deshalb zerfallen ungewöhnliche Namen oder Tippfehler in viele Token. Die Art der Tokenisierung erklärt manche Eigenheiten von Modellen: Schwierigkeiten beim Buchstabenzählen, Empfindlichkeit gegenüber kleinen Schreibvarianten oder Kostenunterschiede zwischen Sprachen. Praktische Folgerung: Prägnanter, sauberer Text bedeutet weniger Token, also niedrigere Kosten und mehr Platz im Kontext.