LLM'lerin temel kavramları
LLM'leri, yani belirteçleri ve istemleri etkili bir şekilde kullanmak için anlaşılması gereken birkaç temel kavram vardır.
- İstem: İstem, LLM'ye yönerge vermek için kullanılan metin tümcesidir. Cümleyi nasıl ifade ettiğinize bağlı olarak, farklı sonuçlar alırsınız.
- Belirteç: Belirteç tek bir karakter, bir sözcüğün kesri veya sözcüğün tamamı olabilir. Ortak sözcükleri temsil etmek için tek bir belirteç kullanılabilirken, daha az yaygın sözcükleri temsil etmek için birden çok belirteç gerekir.
İstemler
Metin istemi bir cümledir. LLM birkaç farklı dili anlar. LLM ile çalışmak için belirli bir dili öğrenmenize gerek kalmadan istemleri kendi dilinizde yazabilirsiniz. Aşağıdaki istem örneklerine bakın:
Korsan şapkalı pembe bir papağanın görüntüsünü oluşturun.
Python'da müşterileri işleyen bir web uygulaması oluşturun.
Ne kadar net bir şekilde sorarsanız sonuç o kadar iyi olur.
Belirteçler
Belirteç, LLM'nin anlayıp işleyebileceği temel bir birim metni veya kodudur.
OpenAI doğal dil modelleri, sözcükler veya karakterler üzerinde metin birimi olarak değil, aralarındaki bir şey üzerinde çalışır: belirteçler.
OpenAI, isteklerinizi nasıl belirteçleştirdiğini anlamanıza yardımcı olabilecek yararlı bir belirteç oluşturucu web sitesi sağlar. Daha fazla bilgi için bkz . OpenAI belirteç oluşturucu.
Not
OpenAI belirteç oluşturucu istemi kutusuna yazmaya başladıktan sonra, kutudaki toplam belirteç sayısını saymak için bir sayaç görüntülenir.
Etkin bir şekilde yazıyorsanız sayacın güncelleştirilmiş olması birkaç saniye sürebilir.
Aşağıdaki sözcüklerde kaç belirteç var?
Şimdi , ve appleaşağıdaki sözcükler blueberriesSkarsgårdiçin belirteç sayısını belirlemeye çalışalım.
Sözcük ortak bir sözcük apple olduğundan, bir belirtecin temsil edilmesi gerekir. Öte yandan, sözcüğü blueberries iki belirtecin (blue ve berries) temsil edilmesi gerekir. Sözcük yaygın değilse, gibi Skarsgård düzgün adlar birden çok belirtecin temsil edilmesi gerekir.
Bu belirteç gösterimi, yapay zeka modellerinin harf temelinde metin oluşturmak zorunda kalmadan hiçbir sözlükte bulamadığınız sözcükleri oluşturmasına olanak tanıyan özelliktir.
Not
Harf harf metin oluşturma işlemi, anlamsızlıklara neden olabilir.
Tamamlama nasıl çalışır?
Doğal dil modelleri, tamamlanmaları bir kerede bir belirteci belirsiz bir şekilde oluşturur.
Her adımda, model belirteçlerin listesini ve ilişkili ağırlıklarını gösterir. Ardından API, ağırlığına göre listeden bir belirteç örneği alır. Ağır ağırlıklı belirteçlerin seçilme olasılığı daha yüksektir.
API, seçilen belirteci istemine ekler ve tamamlamalar için belirteçlerin uzunluğu üst sınırına ulaşılana kadar veya model yeni belirteçlerin oluşturulmasını engelleyen stop belirteci adlı özel bir belirteç oluşturana kadar işlemi yineler.
Bu belirsiz işlem, tamamlanma isteği gönderdiğimizde modelin yeni sözcükler oluşturmasını sağlayan işlemdir.
Not
Her LLM'nin oluşturabileceği belirteç sayısı sınırı vardır. Tamamlamalarda, bu sınır özgün istemdeki toplam belirteç sayısı ve yeni oluşturulan belirteçler birlikte eklendikçe uygulanır. Belirteç sınırları hakkında daha fazla bilgi için bkz . Azure OpenAI Hizmeti modelleri.
Daha büyük belirteç sınırları daha uzun tamamlamalara ve çok daha büyük istemlere olanak sağlar.