Aracılığıyla paylaş


Üretken yapay zeka çözümleri oluşturmaya yönelik önemli kavramlar ve önemli noktalar

Büyük dil modelleri (LLM' ler) şaşırtıcıdır, ancak sınırlamaları vardır. Bir geliştirici olarak, bu sınırlamaları, LLM'lerin kutudan çıktığı haliyle neler yapabileceklerini ve inşa etmeye çalıştığınız üretken yapay zeka çözümleri için en iyi sonuçları elde etmek üzere bunları nasıl değiştirip uyarlayabileceğinizi anlamanız gerekir. Bu makalede, LLM'lerin çeşitli zorlukları ve sınırlayıcı faktörleri tanımlanmıştır. Uygulamanızda oluşturduğunuz üretken yapay zeka özelliklerinin türünden bağımsız olarak zorlukları aşmanın ve içerik oluşturma işleminin denetimini almanın yaygın yollarını açıklar.

LLM'lerle çalışırken karşılaşılan mühendislik zorlukları

Aşağıdaki listede, LLM'lerle çalışırken dikkat etmeniz gereken en önemli zorluklar veya sınırlamalar özetlemektedir:

  • Bilgi kesintisi: LLM'yi eğitme maliyetinin yüksek olması nedeniyle, LLM'nin bilgi birikimi, belirli bir zamanda eğitildiği verilerle sınırlıdır. Eklentiler veya diğer konaklama birimleri olmadan LLM gerçek zamanlı bilgilere erişemez ve özel verilere erişemez.

  • Halüsinasyon: LLM, bilgi oluşturmak için istatistiksel olasılıkları ve biraz rastgeleliği kullanır. Oluşturulan yanıtları, sorulan sorularda ve LLM'nin eğitildiği bilgilerde insanın amacına uygun tutmak için mekanizmalar mevcuttur, ancak LLM'nin doğru olmayan yanıtlar oluşturması mümkündür.

  • Saydamlık: Ayrıca LLM'nin eğitim şekli nedeniyle artık eğitildiği temel bilgilere erişimi yoktur. Öyle olsa bile, bilgilerin doğru ve temelli olduğu kesin değildir. Ayrıca, oluşturulan yanıtın doğru olduğundan emin olmak için doğrulama adımı yoktur.

  • Belirli bir alana özgü bilgi yok: Bilgi kesimi gibi, elinizde şirket içi belgeler gibi özel bilgiler bulunuyorsa, LLM bu bilgiler üzerinde eğitilmemiştir. Etki alanına özgü veriler hakkında bilgi sahibi değildir.

LLM'lerle ilgili olası zorlukları veya sorunları azaltmak ve kullanıcılarınıza ve kuruluşunuza yardımcı olmak için mümkün olan en iyi sonuçları almak için ne yapabilirsiniz? Bir LLM'nin verilerini aldığı yeri nasıl tamamlayabileceğinizi anlayarak başlayın.

LLM'ler bilgilerini nereden alır?

LLM'den en iyi sonuçları almanın iyi bir başlangıç noktası, LLM'lerin bilgilerini nereden veya nasıl edineceklerini anlamaktır. Aşağıdaki kategoriler, LLM'lerin yanıt oluşturmak için çeşitli bilgi kaynaklarıyla nasıl etkileşime geçtiğini gösteren farklı yaklaşımları temsil eder.

Üç farklı çağırma türünü gösteren diyagram: çağırma kapalı oluşturma, çağırma ile artırılmış oluşturma ve çağırma merkezli oluşturma.

  • Alma-çıkarma nesli (ROG): Geleneksel LLM'ler bu modeli kullanır. Model, oluşturma işlemi sırasında herhangi bir dış bilgiye erişmeden, yalnızca eğitildiği bilgilerine dayalı yanıtlar üretir. Modelin bilgisi statiktir ve kesim tarihine kadar eğitim verilerine dahil edilen bilgilerle sınırlıdır. Yaratıcı yazıya ek olarak, İnternet'te kullanıma sunulan bilgilerle ilgili soruları yanıtlayabilir.

  • Alma artırılmış oluşturma (RAG): LLM'lerin üretken özelliklerini dış veritabanlarından veya belgelerden gerçek zamanlı olarak bilgi alma özelliğiyle birleştirir. Model, ilgili bilgileri bulmak için bir dış kaynağı sorgular. Ardından, yanıtını oluşturmak için bilgileri kullanır. Bu yaklaşım, modelin yalnızca önceden eğitilmiş bilgilerini kullanarak sağladığından daha doğru ve up-totarih bilgileri sağlamasına olanak tanır. Kullanım örnekleri arasında olgu denetimi, gerçek zamanlı verilere göre soruları yanıtlama veya özel, etki alanına özgü verilere dayalı soruları yanıtlama sayılabilir.

  • Alma odaklı oluşturma (RCG): Dışarıdan alınan içeriğe daha da fazla önem verir ve genellikle dış kaynaklardan getirilen bilgilerin etrafında yanıtları yapılandırır. Model, alınan metnin büyük kesimlerini çıkışlarına doğrudan dahil edebilir ve bunları kullanıcının sorgusuna uyacak şekilde düzenler veya bunlara açıklama ekleyebilir. Bu yaklaşım, alma tabanlı ve üretken yöntemler arasında bir melez olarak düşünülebilir, burada denge modelin kendi oluşturucu yetenekleri yerine alınan bilgileri daha fazla desteklemeye yatkın olabilir. Kullanım örnekleri arasında daha uzun bir belgenin özetlenmesi, birden çok benzer belgede karşılaştırmalar ve tematik keşifler sağlamak için araştırma yardımı ve farklı malzeme kaynaklarının birleştirilmiş bir çıktıda derlenmesi veya harmanlanması yer alır.

ROG'nin iyi bir örneği ChatGPT'dir. Buna karşılık, Copilot (Bing aracılığıyla), haber kaynaklarından dış kaynakları kullanarak (ve bu kaynaklara bağlantılar sağlayarak) bir LLM'yi genişletir.

İlk bakışta RAG ve RCG benzer görünür çünkü her ikisi de dış bilgilerin dil oluşturma sürecine tümleştirilmesini içerir. Ancak, alınan bilgileri oluşturma sürecinde önceliklendirme ve kullanma şekli bakımından farklılık gösterir.

RAG sisteminde dış veri alma, önceden eğitilmiş bir dil modelinin üretken özelliklerini artırmak için kullanılır. Alınan bilgiler, modelin yanıtlarını bilgilendirmek için kullandığı daha fazla bağlam veya belirli veri sağlar. RAG sisteminde, dil modelinin üretken yönü yanıtın merkezinde kalır. Alınan veriler, doğruluğu veya derinliği geliştirmek için destekleyici bir öğe işlevi görür.

RCG sistemi, alınan bilgilerin kendisine daha güçlü bir vurgu uygular. RCG sisteminde, alınan veriler genellikle yanıtın merkez ve üretici modelin rolü öncelikli olarak alınan metni daraltmak, biçimlendirmek veya biraz geliştirmektir. Bu yaklaşım özellikle bilgilerin doğruluğu ve doğrudan ilgisi çok önemli olduğunda ve daha az yaratıcı sentez veya tahmin gerektiğinde kullanılır.

RAG ve RCG'yi güçlendiren verilerin dışarıdan alınmasına yönelik mekanizmalar, bilgi destekleme yaklaşımlarından ikisi olan belgelerin vektörleştirilmiş gömülerini depolama ve bir LLM'yi ince ayarlama konularında yazılmış makalelerde ele alınmaktadır. Bu yaklaşımlar, LLM'nin ilk eğitimi sırasında edindiği bilgileri tamamlamak için yaygın olarak kullanılmaktadır.

Alma modelleri arasındaki farkları anlamak, belirli uygulamalar için doğru yaklaşımı seçmenize yardımcı olabilir. Yaratıcı sentez ihtiyacını kaynak malzemeye karşı doğruluk ve aslına uygunluk açısından dengelemenize yardımcı olur.

Çıkarımın nasıl çalıştığını etkileyen faktörler

ChatGPT'nin web tabanlı kullanıcı arabirimini büyük olasılıkla bildiğinizden, soruları yanıtlamanın nasıl çalıştığını anlamak, kendi uygulamalarınızda üretken yapay zeka özellikleri oluştururken önemli olan kavramları anlamanıza yardımcı olabilir.

Bir kullanıcı ChatGPT ile sohbet ettiğinde, kullanıcı arabirimi tasarımı, sizinle LLM arasındaki birkaç iki yönlü etkileşim sırasında durumu koruyan uzun süreli bir sohbet oturumu izlenimi verir. Gerçekte, belirli bir sohbet oturumu için tüm istemler ve tüm LLM yanıtları (tamamlamalarolarak da adlandırılır) her yeni istemle birlikte gönderilir. Konuşmanız büyüdükçe, işlenmek üzere LLM'ye giderek daha fazla metin gönderirsiniz. Her yeni istemle, önceki tüm istemleri ve tamamlamaları gönderirsiniz. ChatGPT, geçerli isteminize yanıt oluştururken yalnızca geçerli istemi değil, sohbet oturumunun bağlamını da kullanır. Sohbet oturumunun tamamı,bağlam penceresi olarak adlandırılır.

Bağlam penceresi, çalıştığınız ChatGPT sürümüne göre değişen bir uzunluk sınırına sahiptir. Sohbet konuşmanızın bağlam penceresi uzunluk sınırını aşan herhangi bir bölümü, ChatGPT en son isteminize yanıt oluşturduğunda yoksayılır.

Uzun konuşmalar ilk başta iyi bir fikir gibi görünebilir, ancak uzun bağlam pencereleri istemi işlemek ve bir tamamlama oluşturmak için gereken hesaplama miktarını etkileyebilir. Bağlam pencerelerinin boyutu, yanıtın gecikme süresini ve OpenAI'nin isteği işleme maliyetini etkiler.

ChatGPT'nin bağlam penceresi sınırı nedir? Başka bir deyişle, ChatGPT kaç sözcükle çalışabilir?

Bağlam penceresi sınırı, üzerinde çalıştığınız LLM modeline, sürümüne ve edisyonuna bağlıdır. Ayrıca bağlam uzunlukları sözcüklerle değil belirteçlerle ölçülür. Belirteçler, modelin anlayıp oluşturabileceği en küçük metin birimleridir. Bu birimler sözcükler, sözcüklerin parçaları (heceler veya saplar gibi) ve hatta tek tek karakterler olabilir. Belirteçler, doğal dil işlemenin (NLP) merkezindedir.

Belirteçlerin kullanımı geliştiriciler için dikkat edilmesi gereken iki önemli noktadır:

  • Bağlam penceresi üst sınırı
  • Komut ve tamamlama başına fiyat

Belirteç oluşturma nedir?

Tokenization, metni belirteçlere dönüştürme işlemidir. LlM ile verileri eğitim veya çıkarım (istemlere göre tamamlama oluşturma işlemi) için hazırlamanın önemli bir adımıdır. Bu işlem, karmaşık metinleri yönetilebilir parçalara (belirteçler) bölmek de dahil olmak üzere modelin işleyebileceği çeşitli adımları içerir. Bu işlem, metni boşluklara ve noktalama işaretlerine bölme gibi basit veya daha karmaşık olabilir; farklı dilleri, morfolojileri (sözcüklerin yapısı) ve söz dizimlerini (sözcüklerin yerleşimi) işlemek için gelişmiş algoritmalar içerir. LLM araştırmacıları ve geliştiriciler, neyi gerçekleştirmeye çalıştıklarına bağlı olarak belirteç oluşturma yöntemine karar verir.

OpenAI belirteç oluşturucu sayfasında belirteç oluşturma hakkında daha fazla bilgi yer alır. Sayfada bir cümlenin veya paragrafın belirteçlere nasıl bölündüğünü gösteren bir hesap makinesi bile vardır.

OpenAI Belirteci sayfasının altındaki notta da belirtildiği gibi, tipik İngilizce metinlerde bir belirteç yaklaşık dört karaktere eşdeğerdir. Ortalama olarak 100 belirteç, belirteç başına yaklaşık 75 sözcük veya bir sözcüğün dörtte üçüne eşittir.

OpenAI Belirteci sayfası, OpenAI API'sine belirli bir istem göndermek için kaç belirteç gerektiğini programlı olarak tahmin etmek amacıyla kullanabileceğiniz bir Python ve JavaScript paketi olan tiktokenhakkında da konuşur.

Belirteç kullanımı faturalamayı etkiler

Her Azure OpenAI API'sinde farklı bir faturalama metodolojisi vardır. Sohbet Tamamlamaları API'siyle metin işlemek ve oluşturmak için, istem olarak gönderdiğiniz belirteç sayısına ve sonuç olarak oluşturulan belirteç sayısına (tamamlama) göre faturalandırılırsınız.

Her LLM modelinin (örneğin GPT-3.5, GPT-3.5 Turbo veya GPT-4) genellikle farklı bir fiyatı vardır ve bu da belirteçleri işlemek ve oluşturmak için gereken hesaplama miktarını yansıtır. Çoğu zaman, fiyat "1.000 belirteç başına fiyat" veya "1 milyon belirteç başına fiyat" olarak sunulur.

Bu fiyatlandırma modeli, kullanıcı etkileşimlerini tasarlama şeklinizi ve eklediğiniz ön işleme ve işlem sonrası miktarını önemli ölçüde etkiler.

Sistem istemleri ile kullanıcı istemleri karşılaştırması

Bu noktaya kadar, tartışma yalnızca kullanıcı istemleriüzerinde odaklanmıştır. Kullanıcı istemi, kullanıcı ile ChatGPT arasındaki değişimi oluşturan istem türüdür.

OpenAI, sistem istemi'i (özel yönergelerolarak da adlandırılır) tanıttı. Sistem istemi, tanımladığınız ve tüm sohbet konuşmalarınıza eklediğiniz bir dizi yönergedir. Bunu, LLM'nin her yeni sohbet oturumu başlattığınızda her zaman gözlemlemesini istediğiniz bir dizi meta yönerge olarak düşünün. Örneğin, sistem istemini "her zaman şiirsel haiku biçiminde yanıtla" olarak ayarlayabilirsiniz. Bu noktadan sonra, ChatGPT'ye yönelik her yeni istem yanıtı içeren bir haiku ile sonuçlandı.

"haiku biçiminde yanıtla" yararlı bir örnek olmasa da, istemin kendisini değiştirerek LLM'nin tamamlanmasını sizin isteminize etkileyebileceğiniz fikrini gösterir.

Kullanıcının istemini neden değiştirmek istiyorsunuz? Profesyonel bir hedef kitle için şirket çalışanlarını, müşterileri ve iş ortaklarını içerebilecek üretken bir yapay zeka özelliği veya uygulaması oluşturuyorsanız, yanıt verebileceği konu veya etki alanlarının kapsamını sınırlamak için şüphesiz korumalar eklemek istersiniz.

Ancak kullanıcı istemini değiştirmek, kullanıcılar için metin oluşturma deneyimini geliştirmek için yalnızca bir yöntemdir.

ChatGPT'de kullanıcılar için metin oluşturma deneyimini iyileştirme yöntemleri

Metin oluşturma sonuçlarını geliştirmek için geliştiriciler yalnızca istemi geliştirmekle sınırlıdır ve yardımcı olabilecek birçok istem mühendisliği tekniği vardır. Ancak, kendi üretken yapay zeka uygulamanızı oluşturuyorsanız, kullanıcılar için metin oluşturma deneyimini geliştirmenin çeşitli yolları vardır ve bunların tümünü uygulama denemeleri yapmak isteyebilirsiniz:

  • Kullanıcı istemlerini program aracılığıyla değiştirin.
  • Çıkarım işlem hattını uygula.
  • Retrieval-Augmented Nesli (diğer makalelerde tartışılmıştır).
  • İnce ayar (diğer makalelerde ele alındı).

Program aracılığıyla kullanıcı istemlerini değiştirme

Kullanıcı konuşmasına sistem istemi eklemek için özel bir API kullanmazsınız. Yönergeleri gerektiği gibi istemin sonuna eklemeniz gerekir.

Ancak kullanıcı istemlerini geliştirmek için birkaç teknik kullanabilirsiniz:

  • Bağlamı Belirleme: Konuşmanın alanı içindeki bağlamı açıkça ayarlayan sistem istemleri. Bu yaklaşım, her etkileşimin başında kısa bir açıklama veya bir dizi yönerge sağlamayı içerir. Yönergeler, yapay zekanın sorun etki alanı içinde kalmasına yardımcı olur.
  • Örnek tabanlı kılavuz: İlk istemde, etki alanınızla ilgili soru ve yanıt türlerinin örneklerini ekleyin. Bu yaklaşım, yapay zekanın ne tür yanıtlar bekleyebileceğinizi anlamasına yardımcı olur.

herhangi bir istem mühendisliği tekniği kullanabilirsiniz. Bunu program aracılığıyla gerçekleştirebiliyorsanız, kullanıcı istemini kendi adına geliştirebilirsiniz.

Bu yaklaşımla ilgili uyarı, istem ne kadar uzun olursa LLM'ye yapılan her çağrının maliyetinin o kadar yüksek olmasıdır. Yine de, bu yaklaşım büyük olasılıkla bu makalede açıklanan en düşük maliyetli yaklaşımdır.

Bir çıkarım işlem hattı uygulayın

Kullanıcının istemini program aracılığıyla değiştirmenin ötesindeki bir sonraki adım, çıkarım işlem hattının tamamını oluşturmaktır.

çıkarım işlem hattı, birincil isteminizi (ön işleme) gerçekleştirmek için kullanmadan önce ham girişi (metin veya görüntü gibi) "temizleyen" veya görüntülemeden önce kullanıcının gereksinimlerini karşıladığından emin olmak için tamamlanmasını denetleen uçtan uca bir işlemdir (işlem sonrası).

Ön işleme, anahtar sözcük denetimi, ilgi puanlaması veya sorguyu beklenen etki alanı diline daha uygun olacak şekilde dönüştürmeyi içerebilir. Örneğin, kullanıcının gönderdiği ilk istemleri analiz edebilirsiniz. Öncelikle, istemin mantıklı olup olmadığını, kabul etmeye istekli olduğunuz sınırlar içinde olup olmadığını, hatalı bir temele dayanıp dayanmadığını veya belirli önyargılardan kaçınmak için yeniden yazılması gerekip gerekmediğini LLM'ye sorarak başlayın. LLM istemi analiz eder ve sorunları bulursa, bir adım ileri gidebilirsiniz. LLM'den yanıtı iyileştirmek için isteği yeniden ifade etmesini isteyebilirsiniz.

Postprocessing, yanıtın etki alanıyla ilgisi ve uygunluğunu doğrulamayı içerebilir. Etki alanı gereksinimlerine uymayan yanıtları kaldırmayı veya işaretlemeyi içerebilir. Örneğin, kalite ve güvenlik gereksinimlerinizi karşıladığından emin olmak için LLM tarafından sağlanan tamamlanmayı incelemek isteyebilirsiniz. LLM'den yanıtı değerlendirmesini isteyebilir ve aslında uymasını istediğiniz gereksinimleri karşılayıp karşılamadiğini görebilirsiniz. Aksi takdirde LLM'nin tamamlama işlemini değiştirmesini isteyebilirsiniz. Tatmin edici bir sonuç elde edene kadar bu adımları yineleyin.

Ön işleme adımları eklemeye yönelik bir uyarı vardır: Çıkarım işlem hattınızda bir LLM'ye her çağrı eklediğinizde, genel gecikme süresini (yanıt verme süresi) ve kullanıcıyla yapılan her etkileşimin maliyetini artırırsınız. Deneyimli bir yazılım geliştiricisi olarak, bir yazılım sisteminin bütçesini, performansını ve etkinliğini etkileyen bu tür dengelerin zaten farkındasınızdır.

Çıkarım hattı oluşturmak için izlenecek belirli adımlar hakkında bilgi için bkz. Gelişmiş veri alımı artırılmış üretim sistemi.

Tamamlanmaları etkileyen diğer faktörler

İstemi programatik olarak değiştirmenin, çıkarım boru hattı oluşturmanın ve diğer tekniklerin ötesinde, daha fazla ayrıntı, geri çağırma ile genişletilmiş oluşturma ve ince ayarlama kullanarak büyük dilli bir modeli artırmayı ele alan ve'de tartışılmaktadır. Ayrıca, Azure OpenAI API'sine çağrı yaparken parametreleri değiştirebilirsiniz.

Tamamlanmanın çeşitli yönlerini etkileyebilecek gerekli ve isteğe bağlı parametreleri gözden geçirmek için Sohbet uç noktası belgelerinebakın. SDK kullanıyorsanız kullandığınız dilin SDK belgelerine bakın. Playgroundiçindeki parametrelerle denemeler yapabilirsiniz.

  • Temperature: Modelin oluşturduğu çıkışın rastgeleliğini denetleyin. Sıfırda model belirleyici hale gelir ve sürekli olarak eğitim verilerinden en olası sonraki belirteci seçer. 1 sıcaklığında model, yüksek olasılıklı belirteçleri seçme ve çıkışa rastgelelik ekleme arasında denge sağlar.

  • Max Tokens: Yanıtın uzunluk üst sınırını denetler. Daha yüksek veya daha düşük bir sınır ayarlamak, oluşturulan içeriğin ayrıntılarını ve kapsamını etkileyebilir.

  • Top P (çekirdek örnekleme): Yanıtın rastgeleliğini denetlemek için Temperature ile kullanılır. Top P, yapay zekayı her belirteci oluştururken yalnızca olasılık kütlesinin en üst yüzdesini (P) dikkate alacak şekilde sınırlar. Düşük değerler, daha odaklanmış ve tahmin edilebilir bir metne yol açar. Daha yüksek değerler daha fazla çeşitliliğe olanak sağlar.

  • Frequency Penalty: Modelin aynı satırı veya tümceciği yineleme olasılığını azaltır. Bu değerin artırılması, oluşturulan metinde yedekliliği önlemeye yardımcı olur.

  • Presence Penalty: Modeli tamamlamada yeni kavramlar ve terimler tanıtmaya teşvik eder. Presence Penalty daha çeşitli ve yaratıcı çıkışlar oluşturmak için kullanışlıdır.

  • Stop Sequences: API'ye daha fazla belirteç üretmeyi durdurmasını bildirmek için bir veya daha fazla dizi belirtebilirsiniz. Store Sequences, bir cümlenin veya paragrafın sonunda tamamlanmayı sonlandırmak gibi çıkışın yapısını denetlemek için yararlıdır.

  • Logit Bias: Belirtilen belirteçlerin tamamlanmada görünme olasılığını değiştirmenize olanak tanır. Logit Bias, tamamlama işlemini belirli bir yönde yönlendirmek veya belirli içeriği engellemek için kullanılabilir.

Microsoft OpenAI korumaları

LLM'nin yanıtlarını belirli konu veya etki alanlarına bağlı tutmanın yanı sıra, kullanıcılarınızın LLM'ye sorduğu soru türleri hakkında da endişeleriniz olabilir. Ne tür yanıtlar oluşturacaklarını göz önünde bulundurmak önemlidir.

İlk olarak, Microsoft OpenAI Services'a yapılan API çağrıları, API'nin rahatsız edici olabilecek içeriği otomatik olarak filtreler ve bunu birçok filtreleme kategorisinde size geri bildirir.

Zararlı olabilecek içerik olup olmadığını denetlemek için OpenAI Moderation API'sini doğrudan kullanabilirsiniz.

Daha sonra metin denetimi, görüntü moderasyonu, jailbreak risk algılama ve korumalı malzeme algılama konusunda yardımcı olması için Azure AI İçerik Güvenliği'ni kullanabilirsiniz. Bu, zararlı içeriği tanımlamak için uygulamanıza ekleyebileceğiniz kodla bir portal kurulum, yapılandırma ve raporlama deneyimini birleştirir.

Uygulama tasarımıyla ilgili son noktalar

Belirteç oluşturmayı, fiyatlandırmayı, bağlam pencerelerini anlamak ve kullanıcıların metin oluşturma deneyimini geliştirmek için programlı iyileştirmeler uygulamak, üretken yapay zeka sisteminizi tasarlama şeklinizi etkiler.

İşte dikkate alınacak şeylerin kısa bir listesi ve bu makaleden uygulama tasarımı kararlarınızı etkileyebilecek diğer şeyler:

  • Maliyetle ilgili dikkat edilmesi gerekenlere karşı en son yapay zeka modelini kullanmanın gerekliliğini değerlendirin. Daha düşük maliyetli modeller uygulamanızın ihtiyaçları için yeterli olabilir. Bütçe kısıtlamalarıyla performansı dengeleyin.
  • Kullanıcı deneyimini önemli ölçüde etkilemeden maliyetleri yönetmek için bağlam penceresi uzunluğunu iyileştirmeyi göz önünde bulundurun. Konuşmanın gereksiz bölümlerini kırpmak, kalite etkileşimlerini korurken işleme ücretlerini azaltabilir.
  • Belirteç oluşturmanın ve girişlerinizin ve çıkışlarınızın ayrıntı düzeyinin performansı nasıl etkilediğini değerlendirin. Seçtiğiniz LLM'nin belirteçleştirmeyi nasıl işlediğini anlamak, API çağrılarınızın verimliliğini iyileştirmenize, maliyetleri azaltmanıza ve yanıt sürelerini iyileştirmenize yardımcı olabilir.

Üretken bir yapay zeka çözümü oluşturmaya hemen başlamak istiyorsanız, Pythoniçin kendi veri örneğinizi kullanarak sohbet başlatma rehberi 'ye göz atmanızı öneririz. Öğretici ayrıca .NET, Javave JavaScript'nde de kullanılabilir.