Glossar
Token
Kleine Texteinheiten, in die ein Sprachmodell Text zerlegt.
Ein Token ist ein Textbaustein, oft ein Wort oder ein Wortteil. Sprachmodelle verarbeiten Text nicht Buchstabe für Buchstabe, sondern in solchen Token. Die Zahl der Token ist auch der Grund, warum sehr lange Eingaben Grenzen haben und warum die Nutzung mancher Dienste nach Token abgerechnet wird.