Model LLM aracını açma

Açık Model LLM aracı, Azure Machine Learning istem akışında doğal dil işleme için Falcon ve Llama 2 gibi çeşitli Açık Model ve Temel Modellerin kullanılmasına olanak tanır.

Dikkat

Kullanımdan kaldırma bildirimi: Açık Model LLM aracı, Azure AI modeli çıkarım API'sinin desteklediği tüm modeller için destek sağlayan VE dolayısıyla daha fazla esneklik sağlayan LLM aracına göre kullanım dışı bırakılmıştır.

Visual Studio Code komut istemi akış uzantısında şu şekilde görünür. Bu örnekte araç bir LlaMa-2 sohbet uç noktasını çağırmak ve "CI nedir?" sorusunu sormak için kullanılır.

Bu istem akışı aracı iki farklı LLM API türünü destekler:

• Sohbet: Önceki örnekte gösterilmiştir. Sohbet API'sinin türü, metin tabanlı girişler ve yanıtlarla etkileşimli konuşmaları kolaylaştırır.
• Tamamlama: Tamamlama API'sinin türü, sağlanan istem girişine göre tek yanıt metin tamamlamaları oluşturmak için kullanılır.

Hızlı genel bakış: Açık Model LLM aracını Nasıl yaparım? kullanacaksınız?

1. Azure Machine Learning Model Kataloğu'ndan bir model seçin ve dağıtın.
2. Model dağıtımına bağlanın.
3. Açık model llm aracı ayarlarını yapılandırın.
4. İstemi hazırlayın.
5. Akışı çalıştırma.

Önkoşullar: Model dağıtımı

• Azure Machine Learning model kataloğundan senaryonuzla eşleşen modeli seçin.
• Modeli bir Azure Machine Learning çevrimiçi çıkarım uç noktasına dağıtmak için Dağıt düğmesini kullanın.
  • Kullandıkça öde dağıtım seçeneklerinden birini kullanın.

Daha fazla bilgi edinmek için bkz . Çıkarım için temel modelleri uç noktalara dağıtma.

Önkoşullar: Modele bağlanma

Komut istemi akışının dağıtılan modelinizi kullanabilmesi için bu modele bağlanmanız gerekir. Bağlanmanın iki yolu vardır.

Uç nokta bağlantıları

Akışınız bir Azure Machine Learning veya Azure AI Studio çalışma alanıyla ilişkilendirildikten sonra, Open Model LLM aracı söz konusu çalışma alanı üzerindeki uç noktaları kullanabilir.

• Azure Machine Learning veya Azure AI Studio çalışma alanlarını kullanma: Web sayfası tabanlı tarayıcı çalışma alanlarından birinde istem akışı kullanıyorsanız, bu çalışma alanında bulunan çevrimiçi uç noktalar otomatik olarak çalışır.

• Önce VS Code veya kod kullanma: VS Code'da veya Code First tekliflerinden birinde istem akışı kullanıyorsanız çalışma alanına bağlanmanız gerekir. Open Model LLM aracı yetkilendirme için azure.identity DefaultAzureCredential istemcisini kullanır. Bunun bir yolu, ortam kimlik bilgisi değerlerini ayarlamaktır.

Özel bağlantılar

Open Model LLM aracı CustomConnection kullanır. İstem akışı iki bağlantı türünü destekler:

• Çalışma alanı bağlantıları - Azure Machine Learning çalışma alanında gizli dizi olarak depolanan bağlantılar. Bu bağlantılar kullanılabilse de, çoğu yerde, yaygın olarak Studio kullanıcı arabiriminde oluşturulur ve korunur. Studio kullanıcı arabiriminde özel bağlantı oluşturmayı öğrenmek için bkz . Özel bağlantı oluşturma.

• Yerel bağlantılar - Makinenizde yerel olarak depolanan bağlantılar. Bu bağlantılar Studio UX'te kullanılamaz, ancak VS Code uzantısıyla kullanılabilir. Yerel Özel Bağlantı oluşturmayı öğrenmek için bkz . Yerel bağlantı oluşturma.

Ayarlanması gereken anahtarlar şunlardır:

• endpoint_url
  • Bu değer, daha önce oluşturulan Çıkarım uç noktasında bulunabilir.
• endpoint_api_key
  • Bunu gizli dizi değeri olarak ayarladığınızdan emin olun.
  • Bu değer, daha önce oluşturulan Çıkarım uç noktasında bulunabilir.
• model_family
  • Desteklenen değerler: LLAMA, DOLLY, GPT2 veya FALCON
  • Bu değer, hedeflediğiniz dağıtım türüne bağlıdır.

Aracı çalıştırma: Girişler

Open Model LLM aracının birçok parametresi vardır ve bunların bazıları gereklidir. Ayrıntılar için aşağıdaki tabloya bakın; görsel netlik için bu parametreleri önceki ekran görüntüsüyle eşleştirebilirsiniz.

Adı	Tür	Açıklama	Gerekli
api	Dize	Kullanılan modele ve seçilen senaryoya bağlı API modu. Desteklenen değerler: (Tamamlama | Sohbet)	Yes
endpoint_name	Dize	Desteklenen bir modelin dağıtılacağı Çevrimiçi Çıkarım Uç Noktasının adı. Bağlantı önceliği alır.	Yes
sıcaklık	kayan noktalı sayı	Oluşturulan metnin rastgeleliği. Varsayılan değer 1'dir.	Hayır
max_new_tokens	integer	Tamamlanmada oluşturulacak en fazla belirteç sayısı. Varsayılan değer 500'dür.	Hayır
top_p	kayan noktalı sayı	Oluşturulan belirteçlerden en iyi seçimi kullanma olasılığı. Varsayılan değer 1'dir.	Hayır
model_kwargs	sözlük	Bu giriş, kullanılan modele özgü yapılandırma sağlamak için kullanılır. Örneğin, Llama-02 modeli {"temperature":0.4} kullanabilir. Temerrüt: {}	Hayır
deployment_name	Dize	Çevrimiçi Çıkarım uç noktasında hedeflenmesi gereken dağıtımın adı. Hiçbir değer geçirilmezse, Çıkarım yük dengeleyici trafik ayarları kullanılır.	Hayır
Istemi	Dize	Dil modelinin yanıtını oluşturmak için kullandığı metin istemi.	Yes

Çıkışlar

API	Dönüş Türü	Açıklama
Tamamlama	Dize	Tahmin edilen bir tamamlamanın metni
Sohbet	Dize	Konuşmada bir yanıtın metni

Çevrimiçi uç noktaya dağıtma

Open Model LLM aracını içeren bir akışı çevrimiçi bir uç noktaya dağıttığınızda, izinleri ayarlamak için ek bir adım vardır. Web sayfaları aracılığıyla dağıtım sırasında, Sistem tarafından atanan ve Kullanıcı Tarafından Atanan Kimlik türleri arasında bir seçim vardır. Her iki durumda da, Azure portalını (veya benzer bir işlevi) kullanarak, uç noktayı barındıran Azure Machine Learning çalışma alanında veya Ai Studio projesinde kimliğe "Okuyucu" İş işlevi rolünü ekleyin. İstem akışı dağıtımının yenilenmesi gerekebilir.