Apakah itu token?
Token adalah potongan kecil teks yang dihasilkan dengan memisahkan teks input menjadi segmen yang lebih kecil. Segmen-segmen ini dapat berupa kata atau grup karakter, bervariasi panjangnya dari satu karakter ke seluruh kata. Misalnya, kata hamburger akan dibagi menjadi token seperti ham, bur, dan ger sementara kata pendek dan umum seperti pir akan dianggap sebagai token tunggal. Model bahasa besar (LLM) seperti GPT-3.5 atau GPT-4 memecah kata-kata menjadi token untuk diproses.