Добавление и настройка моделей из моделей Azure AI Foundry

Вы можете решить и настроить, какие модели доступны для вывода в конечной точке модели вывода служб искусственного интеллекта Azure. После того как модель настроена, можно на её основе сгенерировать прогнозы, указав её имя или имя развертывания в запросах. В вашем коде больше никаких изменений не требуется для его использования.

В этой статье вы узнаете, как добавить новую модель из моделей Azure AI Foundry.

Предпосылки

Для работы с этой статьей необходимо иметь следующее.

• Подписка Azure. Если вы используете GitHub Models, вы можете улучшить свой опыт и одновременно создать подписку на Azure. Ознакомьтесь с информацией об обновлении моделей GitHub до моделей Azure AI Foundry, если это относится к вам.
• Ресурс служб ИИ Azure. Дополнительные сведения см. в статье "Создание ресурса Azure AI Foundry".

Добавление модели

В отличие от моделей GitHub, на которых уже настроены все модели, ресурс Служб искусственного интеллекта Azure позволяет управлять моделями, доступными в конечной точке, и под какой конфигурацией.

Вы можете добавить все необходимые модели в конечную точку с помощью Azure AI Foundry для GitHub. В следующем примере мы добавим Mistral-Large модель в службу:

1. Перейдите в раздел каталога моделей в Azure AI Foundry для GitHub.

2. Прокрутите страницу до нужной модели и выберите ее.

   

3. Вы можете просмотреть сведения о модели в карточке модели.

4. Выберите «Развернуть».

5. Для поставщиков моделей, требующих больше условий контракта, вам предлагается принять эти условия. Это так, например, для моделей Мистраля. Примите условия в этих случаях, выбрав Подписаться и развернуть.

   

6. Вы можете настроить параметры развертывания в настоящее время. По умолчанию развертывание получает имя модели, которую вы развертываете. Имя развертывания используется в параметре model для запроса на маршрутизацию к этому развертыванию модели. Это позволяет также настроить определенные имена для моделей при присоединении определенных конфигураций. Например o1-preview-safe , для модели с строгим фильтром содержимого. Используйте сторонние модели, такие как Mistral, вы также можете настроить развертывание для использования определенной версии модели.

Подсказка

Каждая модель может поддерживать различные типы развертываний, предоставляя различные гарантии расположения данных или пропускной способности. См. типы развертывания для получения дополнительных сведений.

7. Используйте параметр "Настройка", если необходимо изменить параметры, например фильтр содержимого.

8. Выберите «Развернуть».

9. После завершения развертывания новая модель будет указана на странице и будет готова к использованию.

Используйте модель

Развернутые модели в модели Azure AI Foundry можно использовать с помощью конечной точки вывода модели ИИ Azure для ресурса.

Чтобы ее использовать, сделайте следующее:

1. Получите URL-адрес конечной точки и ключи модели искусственного интеллекта Azure на странице развертывания или на странице обзора . Если вы используете проверку подлинности идентификатора Microsoft Entra, вам не нужен ключ.

2. При создании запроса укажите параметр model и вставьте созданное вами имя развертывания модели.

   Питон

   from azure.ai.inference.models import SystemMessage, UserMessage
   
   response = client.complete(
       messages=[
           SystemMessage(content="You are a helpful assistant."),
           UserMessage(content="Explain Riemann's conjecture in 1 paragraph"),
       ],
       model="mistral-large"
   )
   
   print(response.choices[0].message.content)
   

   JavaScript

   var messages = [
       { role: "system", content: "You are a helpful assistant" },
       { role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
   ];
   
   var response = await client.path("/chat/completions").post({
       body: {
           messages: messages,
           model: "mistral-large"
       }
   });
   
   console.log(response.body.choices[0].message.content)
   

   C#

   requestOptions = new ChatCompletionsOptions()
   {
       Messages = {
           new ChatRequestSystemMessage("You are a helpful assistant."),
           new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph")
       },
       Model = "mistral-large"
   };
   
   response = client.Complete(requestOptions);
   Console.WriteLine($"Response: {response.Value.Content}");
   

   Java

   List<ChatRequestMessage> chatMessages = new ArrayList<>();
   chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
   chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));
   
   ChatCompletions chatCompletions = client.complete(new ChatCompletionsOptions(chatMessages));
   
   for (ChatChoice choice : chatCompletions.getChoices()) {
       ChatResponseMessage message = choice.getMessage();
       System.out.println("Response:" + message.getContent());
   }
   

   ОТДЫХ

   запрос

   POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
   api-key: <api-key>
   Content-Type: application/json
   

   {
       "messages": [
           {
               "role": "system",
               "content": "You are a helpful assistant"
           },
           {
               "role": "user",
               "content": "Explain Riemann's conjecture in 1 paragraph"
           }
       ],
       "model": "mistral-large"
   }
   

3. При использовании конечной точки вы можете изменить параметр model на любое доступное развертывание модели в вашем ресурсе.

Кроме того, модели Azure OpenAI можно потреблять с помощью конечной точки Azure OpenAI в Azure AI Foundry Models в ресурсе. Эта конечная точка является эксклюзивной для каждого развертывания модели и имеет собственный URL-адрес.

Настройка развертывания модели

При создании развертываний модели можно настроить дополнительные параметры, включая фильтрацию содержимого и ограничения скорости. Выберите параметр "Настроить" в мастере развертывания, чтобы настроить его.

Замечание

Конфигурации могут отличаться в зависимости от модели, которую вы развертываете.

Связанный контент

• Разработка приложений с помощью моделей Azure AI Foundry