Sunucusuz API uç noktalarını farklı bir çalışma alanından kullanma

Bu makalede, mevcut sunucusuz API uç noktasını dağıtıldığı çalışma alanından farklı bir çalışma alanında yapılandırmayı öğreneceksiniz.

Model kataloğundaki bazı modeller sunucusuz API'ler olarak dağıtılabilir. Bu tür bir dağıtım, modelleri aboneliğinizde barındırmadan API olarak kullanmanın yanı sıra kuruluşların ihtiyaç duyduğu kurumsal güvenlik ve uyumluluğu korumanın bir yolunu sağlar. Bu dağıtım seçeneği aboneliğinizden kota gerektirmez.

Sunucusuz API uç noktasını dağıtımı oluşturmak için kullanılandan farklı bir çalışma alanında kullanma gereksinimi aşağıdaki gibi durumlarda ortaya çıkabilir:

• Dağıtımlarınızı belirli bir çalışma alanında merkezi hale getirmek ve kuruluşunuzdaki farklı çalışma alanlarından kullanmak istiyorsunuz.
• Modeli, söz konusu model için sunucusuz dağıtımın kullanılabildiği belirli bir Azure bölgesindeki bir çalışma alanına dağıtmanız gerekir. Ancak, belirli modeller için sunucusuz dağıtımın kullanılamadığı başka bir bölgeden kullanmanız gerekir.

Önkoşullar

• Geçerli bir ödeme yöntemine sahip bir Azure aboneliği. Ücretsiz veya deneme Azure abonelikleri çalışmaz. Azure aboneliğiniz yoksa başlamak için ücretli bir Azure hesabı oluşturun.

• Mevcut dağıtımı kullanmak istediğiniz bir Azure Machine Learning çalışma alanı.

• Sunucusuz API uç noktasına dağıtılan bir model. Bu makalede daha önce Meta-Llama-3-8B-Instruct modelini dağıttığınız varsayılır. Bu modeli sunucusuz API olarak dağıtmayı öğrenmek için bkz . Modelleri sunucusuz API'ler olarak dağıtma.

• Azure Machine Learning ile çalışmak için aşağıdaki yazılımı yüklemeniz gerekir:

  Studio

  Azure Machine Learning stüdyosu gitmek için uyumlu herhangi bir web tarayıcısını kullanabilirsiniz.

  Azure CLI

  Azure Machine Learning için Azure CLI ve ml uzantısı.

  az extension add -n ml
  

  Uzantı zaten yüklüyse en son sürümün yüklü olduğundan emin olun.

  az extension update -n ml
  

  Uzantı yüklendikten sonra yapılandırın:

  az account set --subscription <subscription>
  az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
  

  Python SDK'sı

  Python için Azure Machine Learning SDK'sını yükleyin.

  pip install -U azure-ai-ml
  

  Yüklendikten sonra gerekli ad alanlarını içeri aktar:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import ServerlessEndpoint, ServerlessConnection
  

Sunucusuz API uç noktası bağlantısı oluşturma

Bağlantı oluşturmak için şu adımları izleyin:

1. Uç noktanın dağıtıldığı çalışma alanına Bağlan:

   Studio

   Azure Machine Learning stüdyosu gidin ve bağlanmak istediğiniz uç noktanın dağıtıldığı çalışma alanına gidin.

   Azure CLI

   CLI'yi çalışma alanına işaret eden şekilde yapılandırın:

   az account set --subscription <subscription>
   az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
   

   Python SDK'sı

   Çalışma alanınıza bağlı bir istemci oluşturun:

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<workspace-name>",
   )
   

2. Bağlanmak istediğiniz uç noktanın URL'sini ve kimlik bilgilerini alın. Bu örnekte meta-llama3-8b-qwerty uç nokta adının ayrıntılarını alırsınız.

   Studio

   1. Sol kenar çubuğundan Uç Noktalar'ı seçin.

   2. Sunucusuz API uç noktalarını görüntülemek için Sunucusuz uç noktalar sekmesini seçin.

   3. Bağlanmak istediğiniz uç noktayı seçin.

   4. Uç noktanın Ayrıntılar sekmesinde Hedef URI ve Anahtar değerlerini kopyalayın.

   Azure CLI

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Python SDK'sı

   endpoint_name = "meta-llama3-8b-qwerty"
   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

3. Şimdi, bağlantıyı oluşturmak istediğiniz çalışma alanına bağlanın ve uç noktayı kullanın.

4. Çalışma alanında bağlantı oluşturun:

   Studio

   1. Bağlantının oluşturulması gereken çalışma alanına gidin.

   2. Sol gezinti çubuğundaki Yönet bölümüne gidin ve Bağlan ions seçeneğini belirleyin.

   3. Oluştur'u belirleyin.

   4. Sunucusuz Model'i seçin.

   5. Hedef URI için daha önce kopyaladığınız değeri yapıştırın.

   6. Anahtar için, daha önce kopyaladığınız değeri yapıştırın.

   7. Bağlantıya bir ad verin; bu durumda meta-llama3-8b-connection.

   8. Bağlantı ekle'yi seçin.

   Azure CLI

   Bağlantı tanımı oluşturma:

   connection.yml

   name: meta-llama3-8b-connection
   type: serverless
   endpoint: https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com
   api_key: 1234567890qwertyuiop
   

   az ml connection create -f connection.yml
   

   Python SDK'sı

   client.connections.create_or_update(ServerlessConnection(
       name="meta-llama3-8b-connection",
       endpoint="https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com",
       api_key="1234567890qwertyuiop"
   ))
   

5. Bu noktada, bağlantı tüketim için kullanılabilir.

6. Bağlantının çalıştığını doğrulamak için:

   1. Azure Machine Learning stüdyosu sol gezinti çubuğundan>Yazma İstemi akışı'na gidin.

   2. Yeni akış oluşturmak için Oluştur'u seçin.

   3. Sohbet akışı kutusunda Oluştur'u seçin.

   4. İstem akışınıza bir ad verin ve Oluştur'u seçin.

   5. Sohbet bölümüne gitmek için grafikten sohbet düğümünü seçin.

   6. Bağlan için, yeni oluşturduğunuz bağlantıyı seçmek için açılan listeyi açın; bu örnekte meta-llama3-8b-connection.

   7. Bir istem akışı otomatik çalışma zamanı başlatmak için üst gezinti çubuğundan İşlem oturumunu başlat'ı seçin.

   8. Sohbet seçeneğini belirleyin. Artık ileti gönderebilir ve yanıt alabilirsiniz.

İlgili içerik

• Model Kataloğu ve Koleksiyonlar
• Modelleri sunucusuz API uç noktaları olarak dağıtma