Model LLM aracını açma

Warning

Microsoft Foundry ve Azure Machine Learning'daki istem akışı 20 Nisan 2027'de kullanımdan kaldırılacaktır. Yeni geliştirme için istem akışı artık önerilmez. Mevcut prompt akışı uygulamalarını ve dağıtımlarını 20 Nisan 2027'den önce Microsoft Agent Framework'e geçirin.

İstem akışı kapsayıcı görüntüleri artık güvenlik ve paket güncelleştirmeleri de dahil olmak üzere güncelleştirmeleri almıyor. Bu, , promptflow-runtimeve promptflow-runtime-stabledahil olmak üzere promptflow-pythonakış çalışma zamanı görüntülerini iste için geçerlidir.

20 Nisan 2027'nin ardından, Microsoft Foundry ve Azure Machine Learning web yazma deneyimi, VS Code uzantıları ve ilgili prompt akışı kapsayıcı görüntüleri de dahil olmak üzere istem akışı artık desteklenmeyecektir veya kullanılamayacaktır.

Uygulamanız istem akışı dağıtımlarına veya çalışma zamanı görüntülerine bağımlıysa, bu iş yüklerini kullanımdan kaldırma tarihinden önce Microsoft Agent Framework gibi desteklenen alternatiflere taşımayı planlayın. Geçiş kılavuzu için bkz. Akış geçiş kılavuzu ve geçiş kodu örnekleri isteme.

Açık Model LLM aracı, Azure Machine Learning istemi akışında doğal dil işleme için Falcon ve Llama 2 gibi çeşitli Açık Model ve Temel Modellerin kullanımını sağlar.

Dikkat

Deprecation notice: Open Model LLM aracı, LLM aracı, Azure yapay zeka modeli çıkarım API tarafından desteklenen tüm modeller için destek sağlar ve bu nedenle daha fazla esneklik sağlar.

Visual Studio Code istemi akışı uzantısında şu şekilde işlemde görünür. Bu örnekte araç bir LlaMa-2 sohbet uç noktasını çağırmak ve "CI nedir?" sorusunu sormak için kullanılır.

Bu istem akışı aracı iki farklı LLM API türünü destekler:

• Sohbet: Önceki örnekte gösterilmiştir. Sohbet API'sinin türü, metin tabanlı girişler ve yanıtlarla etkileşimli konuşmaları kolaylaştırır.
• Tamamlama: Tamamlama API'sinin türü, sağlanan istem girişine göre tek yanıt metin tamamlamaları oluşturmak için kullanılır.

Hızlı genel bakış: Open Model LLM aracını nasıl kullanabilirim?

1. Azure Machine Learning Model Kataloğu'ndan bir model seçin ve dağıtın.
2. Model dağıtımına bağlanın.
3. Açık model llm aracı ayarlarını yapılandırın.
4. İstemi hazırlayın.
5. Akışı çalıştırın.

Önkoşullar: Model dağıtımı

• Azure Machine Learning model kataloğundan senaryonuzla eşleşen modeli seçin.
• Modeli Azure Machine Learning çevrimiçi çıkarım uç noktasına dağıtmak için Deploy düğmesini kullanın.
  • Standart dağıtım seçeneklerinden birini kullanın.

Daha fazla bilgi edinmek için bkz . Çıkarım için temel modelleri uç noktalara dağıtma.

Önkoşullar: Modele bağlanma

Komut istemi akışının dağıtılan modelinizi kullanabilmesi için bu modele bağlanmanız gerekir. Bağlanmanın iki yolu vardır.

Uç nokta bağlantıları

Akışınız bir Azure Machine Learning veya Microsoft Foundry çalışma alanıyla ilişkilendirildikten sonra, Modeli Aç LLM aracı bu çalışma alanında uç noktaları kullanabilir.

• Azure Machine Learning veya Dökümhane çalışma alanlarını kullanma: Web sayfası tabanlı tarayıcı çalışma alanlarından birinde istem akışı kullanıyorsanız, bu çalışma alanında sağlanan çevrimiçi uç noktalar otomatik olarak çalışır.

• Önce VS Code veya kod kullanma: VS Code'da veya Code First tekliflerinden birinde istem akışı kullanıyorsanız çalışma alanına bağlanmanız gerekir. Open Model LLM aracı yetkilendirme için azure.identity DefaultAzureCredential istemcisini kullanır. Bunun bir yolu , ortam kimlik bilgisi değerlerini ayarlamaktır.

Özel bağlantılar

Open Model LLM aracı CustomConnection kullanır. İstem akışı iki bağlantı türünü destekler:

• Çalışma alanı bağlantıları - Azure Machine Learning çalışma alanında gizli dizi olarak depolanan bağlantılar. Bu bağlantılar kullanılabilse de, çoğu yerde, yaygın olarak Studio kullanıcı arabiriminde oluşturulur ve korunur. Studio kullanıcı arabiriminde özel bağlantı oluşturmayı öğrenmek için bkz. Özel bağlantı oluşturma.

• Yerel bağlantılar - Makinenizde yerel olarak depolanan bağlantılar. Bu bağlantılar Studio UX'te kullanılamaz, ancak VS Code uzantısıyla kullanılabilir. Yerel Özel Bağlantı oluşturmayı öğrenmek için bkz. Yerel bağlantı oluşturma.

Ayarlanması gereken anahtarlar şunlardır:

• endpoint_url
  • Bu değer, daha önce oluşturulan Çıkarım uç noktasında bulunabilir.
• endpoint_api_key
  • Bunu gizli dizi değeri olarak ayarladığınızdan emin olun.
  • Bu değer, daha önce oluşturulan Çıkarım uç noktasında bulunabilir.
• model_family
  • Desteklenen değerler: LLAMA, DOLLY, GPT2 veya FALCON
  • Bu değer, hedeflediğiniz dağıtım türüne bağlıdır.

Aracı çalıştırma: Girişler

Open Model LLM aracının birçok parametresi vardır ve bunların bazıları gereklidir. Ayrıntılar için aşağıdaki tabloya bakın; görsel netlik için bu parametreleri önceki ekran görüntüsüyle eşleştirebilirsiniz.

Name	Türü	Description	Gerekli
api	string	Kullanılan modele ve seçilen senaryoya bağlı API modu. Desteklenen değerler: (Tamamlama | Sohbet)	Yes
endpoint_name	string	Desteklenen bir modelin dağıtılacağı Çevrimiçi Çıkarım Uç Noktasının adı. Bağlantı önceliği alır.	Yes
sıcaklık	float	Oluşturulan metnin rastgeleliği. Varsayılan değer 1'dir.	Hayır
max_new_tokens	integer	Tamamlanmada oluşturulacak en fazla belirteç sayısı. Varsayılan değer 500'dür.	Hayır
top_p	float	Oluşturulan belirteçlerden en iyi seçimi kullanma olasılığı. Varsayılan değer 1'dir.	Hayır
model_kwargs	Sözlük	Bu giriş, kullanılan modele özgü yapılandırma sağlamak için kullanılır. Örneğin, Llama-02 modeli {"temperature":0.4} kullanabilir. Varsayılan: {}	Hayır
dağıtım_adı	string	Çevrimiçi Çıkarım uç noktasında hedeflenmesi gereken dağıtımın adı. Hiçbir değer geçirilmezse, Çıkarım yük dengeleyici trafik ayarları kullanılır.	Hayır
prompt	string	Dil modelinin yanıtını oluşturmak için kullandığı metin istemi.	Yes

Çıkışlar

API	Dönüş Türü	Description
Completion	string	Tahmin edilen bir tamamlamanın metni
Chat	string	Konuşmada bir yanıtın metni

Çevrimiçi uç noktaya dağıtma

Open Model LLM aracını içeren bir akışı çevrimiçi bir uç noktaya dağıttığınızda, izinleri ayarlamak için ek bir adım vardır. Web sayfaları aracılığıyla dağıtım sırasında, Sistem tarafından atanan ve Kullanıcı Tarafından Atanan Kimlik türleri arasında bir seçim vardır. Her iki durumda da, Azure portalını (veya benzer bir işlevi) kullanarak, uç noktayı barındıran Azure Machine Learning çalışma alanında veya Ai Studio projesinde kimliğe "Okuyucu" İş işlevi rolünü ekleyin. İstem akışı dağıtımının yenilenmesi gerekebilir.