Farklı bir çalışma alanından standart dağıtımları tüketme

Bu makalede, mevcut standart dağıtımı dağıtıldığı çalışma alanından farklı bir çalışma alanında yapılandırmayı öğreneceksiniz.

Model kataloğundaki bazı modeller standart dağıtımlar olarak dağıtılabilir. Bu tür bir dağıtım, modelleri aboneliğinizde barındırmadan API olarak kullanmanın yanı sıra kuruluşların ihtiyaç duyduğu kurumsal güvenlik ve uyumluluğu korumanın bir yolunu sağlar. Bu dağıtım seçeneği aboneliğinizden kota gerektirmez.

Farklı bir çalışma alanında standart bir dağıtım kullanma gereksinimi, dağıtımın oluşturulduğu çalışma alanından farklı olduğunda, aşağıdaki durumlarda ortaya çıkabilir:

• Dağıtımlarınızı belirli bir çalışma alanında merkezi hale getirmek ve kuruluşunuzdaki farklı çalışma alanlarından kullanmak istiyorsunuz.
• Modeli, söz konusu model için sunucusuz dağıtımın kullanılabildiği belirli bir Azure bölgesindeki bir çalışma alanına dağıtmanız gerekir. Ancak, belirli modeller için sunucusuz dağıtımın kullanılamadığı başka bir bölgeden kullanmanız gerekir.

Önkoşullar

• Geçerli bir ödeme yöntemine sahip bir Azure aboneliği. Ücretsiz veya deneme Azure abonelikleri çalışmaz. Azure aboneliğiniz yoksa başlamak için ücretli bir Azure hesabı oluşturun.

• Mevcut dağıtımı kullanmak istediğiniz bir Azure Machine Learning çalışma alanı.

• Standart bir dağıtıma konumlandırılan model. Bu makalede daha önce Meta-Llama-3-8B-Instruct modelini dağıttığınız varsayılır. Bu modeli standart dağıtım olarak dağıtmayı öğrenmek için bkz. Modelleri standart dağıtım olarak dağıtma.

• Azure Machine Learning ile çalışmak için aşağıdaki yazılımı yüklemeniz gerekir:

  Stüdyo

  Azure Machine Learning stüdyosu gitmek için uyumlu herhangi bir web tarayıcısını kullanabilirsiniz.

  Azure CLI

  Azure Machine Learning için Azure CLI ve ml uzantısı.

  az extension add -n ml
  

  Uzantı zaten yüklüyse en son sürümün yüklü olduğundan emin olun.

  az extension update -n ml
  

  Uzantı yüklendikten sonra yapılandırın:

  az account set --subscription <subscription>
  az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
  

  Python SDK'sı

  Python için Azure Machine Learning SDK'sını yükleyin.

  pip install -U azure-ai-ml
  

  Yüklendikten sonra gerekli ad alanlarını içeri aktar:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import ServerlessEndpoint, ServerlessConnection
  

Standart dağıtım bağlantısı oluşturma

Bağlantı oluşturmak için şu adımları izleyin:

1. Uç noktanın dağıtıldığı çalışma alanına bağlanın:

   Stüdyo

   Azure Machine Learning stüdyosu gidin ve bağlanmak istediğiniz uç noktanın dağıtıldığı çalışma alanına gidin.

   Azure CLI

   CLI'yi çalışma alanına işaret eden şekilde yapılandırın:

   az account set --subscription <subscription>
   az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
   

   Python SDK'sı

   Çalışma alanınıza bağlı bir istemci oluşturun:

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<workspace-name>",
   )
   

2. Bağlanmak istediğiniz uç noktanın URL'sini ve kimlik bilgilerini alın. Bu örnekte meta-llama3-8b-qwerty uç nokta adının ayrıntılarını alırsınız.

   Stüdyo

   1. Sol kenar çubuğundan Uç Noktalar'ı seçin.

   2. Standart dağıtımları görüntülemek için Sunucusuz uç noktalar sekmesini seçin.

   3. Bağlanmak istediğiniz uç noktayı seçin.

   4. Uç noktanın Ayrıntılar sekmesinde Hedef URI ve Anahtar değerlerini kopyalayın.

   Azure CLI

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Python SDK'sı

   endpoint_name = "meta-llama3-8b-qwerty"
   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

3. Şimdi, bağlantıyı oluşturmak istediğiniz çalışma alanına bağlanın ve uç noktayı kullanın.

4. Çalışma alanında bağlantı oluşturun:

   Stüdyo

   1. Bağlantının oluşturulması gereken çalışma alanına gidin.

   2. Sol bölmedeki Yönet bölümüne gidin ve Bağlantılar'ı seçin.

   3. Oluştur'u belirleyin.

   4. Sunucusuz Model'i seçin.

   5. Hedef URI için daha önce kopyaladığınız değeri yapıştırın.

   6. Anahtar için, daha önce kopyaladığınız değeri yapıştırın.

   7. Bağlantıya bir ad verin; bu durumda meta-llama3-8b-connection.

   8. Bağlantı ekle'yi seçin.

   Azure CLI

   Bağlantı tanımı oluşturma:

   connection.yml

   name: meta-llama3-8b-connection
   type: serverless
   endpoint: https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com
   api_key: 1234567890qwertyuiop
   

   az ml connection create -f connection.yml
   

   Python SDK'sı

   client.connections.create_or_update(ServerlessConnection(
       name="meta-llama3-8b-connection",
       endpoint="https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com",
       api_key="1234567890qwertyuiop"
   ))
   

5. Bu noktada, bağlantı tüketim için kullanılabilir.

6. Bağlantının çalıştığını doğrulamak için:

   1. Azure Machine Learning studio'nun sol bölmesinde Yazma>İstemi akışı'na gidin.

   2. Yeni akış oluşturmak için Oluştur'u seçin.

   3. Sohbet akışı kutusunda Oluştur'u seçin.

   4. İstem akışınıza bir ad verin ve Oluştur'u seçin.

   5. Sohbet bölümüne gitmek için grafikten sohbet düğümünü seçin.

   6. Bağlantı için, yeni oluşturduğunuz bağlantıyı seçmek için açılan listeyi açın; bu durumda meta-llama3-8b-connection.

   7. Bir istem akışı otomatik çalışma zamanı başlatmak için üst gezinti çubuğundan İşlem oturumunu başlat'ı seçin.

   8. Sohbet seçeneğini belirleyin. Artık ileti gönderebilir ve yanıt alabilirsiniz.

İlgili içerik

• Model Kataloğu ve Koleksiyonlar
• Modelleri standart dağıtımlar olarak dağıtma