Wat zijn tokens?

• Van toepassing op:

  ✅ NoSQL, ✅ MongoDB vCore, ✅ PostgreSQL

Tokens zijn kleine stukken tekst die worden gegenereerd door de invoertekst op te splitsen in kleinere segmenten. Deze segmenten kunnen woorden of groepen tekens zijn, variërend van één teken tot een heel woord. Het woord hamburger zou bijvoorbeeld worden onderverdeeld in tokens zoals ham, bur en ger, terwijl een kort en gemeenschappelijk woord zoals peer als één token wordt beschouwd. Grote taalmodellen (LLM's) zoals GPT-3.5 of GPT-4 splitsen woorden in tokens voor verwerking.

Gerelateerde inhoud

• Wat is een vectordatabase?
• Augmented Generation ophalen (RAG)
• Vectordatabase in Azure Cosmos DB NoSQL
• Vectordatabase in Azure Cosmos DB voor MongoDB
• Wat is vectorzoekopdrachten?
• Vector insluitingen
• Afstandsfuncties
• kNN versus ANN Vector Search-algoritmen