Vad är token?
Token är små textsegment som genereras genom att dela upp indatatexten i mindre segment. Dessa segment kan antingen vara ord eller grupper av tecken, som varierar i längd från ett enda tecken till ett helt ord. Till exempel skulle ordet hamburgare delas in i tokens som skinka, bur och ger medan ett kort och vanligt ord som päron skulle betraktas som en enda token. LLM:er som GPT-3.5 eller GPT-4 delar upp ord i token för bearbetning.