Se não conseguir encontrar respostas às suas perguntas neste documento e ainda precisar de ajuda, consulte o guia de opções de suporte Foundry Tools.
Geral
Qual é a diferença entre o Azure OpenAI e o Microsoft Foundry Models?
O Azure OpenAI dá aos clientes acesso a modelos de linguagem avançados da OpenAI. O Microsoft Foundry Models estende essa capacidade, dando aos clientes acesso a todos os modelos topo de gama do Microsoft Foundry sob o mesmo serviço, endpoint e credenciais. Inclui Azure OpenAI, Cohere, Mistral AI, Meta Llama, AI21 labs, etc. Os clientes podem alternar facilmente entre modelos sem alterar o seu código.
O Azure OpenAI está incluído nos Modelos vendidos pela família Azure na Foundry Models.
Qual é a diferença entre o Foundry Tools e o Microsoft Foundry?
As Foundry Tools são um conjunto de serviços de IA que fornecem APIs pré-construídas para cenários comuns de IA. O Foundry Tools faz parte da plataforma Microsoft Foundry. As Foundry Tools podem ser usadas no portal Microsoft Foundry para melhorar os seus modelos com capacidades de IA pré-construídas.
Qual é a diferença entre implantações de API sem servidor e modelos de fundição?
Ambas as funcionalidades permitem implementar modelos Models-as-a-Service no Microsoft Foundry. No entanto, existem algumas diferenças entre eles:
- Recurso envolvido: as implementações de APIs serverless são implementadas dentro de um recurso de projeto de IA, enquanto os Modelos Foundry fazem parte do recurso Microsoft Foundry.
- Opções de implantação: as implantações de API sem servidor permitem implantações regionais, enquanto os Modelos de Fundição permitem implantações sob uma capacidade global.
- Models: O Foundry Models também suporta a implementação de modelos Azure OpenAI.
- Ponto de extremidade: as implantações de API sem servidor criam um ponto de extremidade e uma credencial por implantação, enquanto o Foundry Models cria um ponto de extremidade e uma credencial por recurso.
- Roteador modelo: Foundry Models permite que você alterne entre modelos sem alterar seu código usando um roteador modelo.
Models
Porque é que todos os modelos do catálogo de modelos da Microsoft não são suportados nos serviços Microsoft Foundry?
Os Modelos Foundry suportam todos os modelos do catálogo de IA do Azure com faturação conforme o uso. Para mais informações, consulte o artigo the Models.
O catálogo de modelos da Microsoft contém uma lista mais ampla de modelos, no entanto, esses modelos exigem quota de computação da sua subscrição. Também precisam de ter um project ou hub de IA onde alojar a implementação. Para mais informações, consulte as opções de implementação no Microsoft Foundry.
Minha empresa não aprovou modelos específicos para uso. Como posso impedir que os usuários os implantem?
Pode restringir os modelos disponíveis para implementação no Foundry Tools usando as políticas do Azure. Os modelos estão listados no catálogo, mas qualquer tentativa de implantá-los é bloqueada. Leia Controlar a implantação do modelo de IA com políticas personalizadas.
SDKs e linguagens de programação
Quais são os SDKs e linguagens de programação suportados para Foundry Models?
Pode usar o Azure Inference SDK com qualquer modelo suportado pelos Foundry Models nos serviços Microsoft Foundry, pela classe AzureOpenAI no OpenAI SDK, ou pelo Azure OpenAI SDK.
O Cohere SDK, o Mistral SDK e os SDKs específicos de cada modelo não são suportados quando ligados ao Foundry Tools.
Para obter mais informações, consulte SDKs e linguagens de programação suportados.
Os Foundry Models funcionam com a biblioteca Python mais recente lançada pela OpenAI (versão>=1.0)?
O Foundry Tools suporta a versão mais recente da biblioteca Python OpenAI, versão >=1.0).
Estou fazendo uma solicitação para um modelo que suporta modelos de fundição, mas estou recebendo um erro 404. O que devo fazer?
Certifique-se de que criou uma implementação para um determinado modelo e que o nome da implementação corresponde exatamente ao valor que está a passar no model parâmetro. Embora o roteamento não diferencie maiúsculas de minúsculas, certifique-se de que não haja pontuação ou espaços especiais, pois esses são erros comuns.
Estou a usar o pacote 'azure-ai-inference' para Python e recebo um erro 401 quando tento autenticar usando chaves. O que devo fazer?
O recurso Foundry Tools requer a versão azure-ai-inference>=1.0.0b5 para Python. Certifique-se de que está a utilizar essa versão.
Estou a usar o SDK OpenAI e indiquei o endpoint de inferência Azure OpenAI como URL base (https://<resource-name>.openai.azure. com). No entanto, recebo um erro 404. O que devo fazer?
Certifique-se de que está a usar o endpoint correto para o Azure OpenAI e o conjunto correto de credenciais. Além disso, certifique-se de que você está usando a classe AzureOpenAI do SDK do OpenAI, pois o mecanismo de autenticação e as URLs usadas são diferentes.
Os modelos de fundição suportam cabeçalhos de API personalizados? Acrescentamos cabeçalhos personalizados às nossas solicitações de API e estamos vendo erros de falha HTTP 431.
Nossas APIs atuais permitem até 10 cabeçalhos personalizados, que são passados pelo pipeline e retornados. Observamos que alguns clientes agora excedem essa contagem de cabeçalhos, resultando em erros HTTP 431. Não há solução para esse erro, a não ser reduzir o volume do cabeçalho. Em versões futuras da API, não passamos mais por cabeçalhos personalizados. Recomendamos que você não dependa de cabeçalhos personalizados em arquiteturas de sistema futuras.
Preços e Faturação
Como são faturados os modelos de fundição?
Você é cobrado pelas entradas e saídas para as APIs, geralmente em tokens. Não há nenhum custo associado ao recurso em si ou às implantações.
O preço do token varia por cada modelo e você é cobrado por 1.000 tokens. Você pode ver os detalhes de preços antes de implantar um determinado modelo. Para obter mais informações sobre cobrança, consulte Gerenciar custo.
Onde posso ver os detalhes da fatura?
Faturação e custos são exibidos em Microsoft Gestão de Custos + Faturação. Pode ver os detalhes de utilização no Azure portal.
A faturação não é mostrada no portal Microsoft Foundry.
Como posso colocar um limite de gastos na minha fatura?
Pode definir um limite de despesa no Azure portal em Microsoft Cost Management + Billing. Esse limite impede que você gaste mais do que o limite definido. Quando o limite de gastos for atingido, a assinatura será desativada e você não poderá usar o ponto final até o próximo ciclo de cobrança.
Dados e Privacidade
Como é que os modelos de parceiros e da comunidade estão disponíveis?
Modelos de parceiros e da comunidade disponíveis para implementação em Foundry Tools com faturação pay-as-you-go (por exemplo, modelos Meta AI ou modelos Mistral) são oferecidos pelo fornecedor de modelos, mas alojados na infraestrutura Azure gerida pela Microsoft e acedidos via API no endpoint Foundry Models. Os fornecedores de modelos definem os termos da licença e definem o preço para a utilização dos seus modelos, enquanto o serviço Foundry Tools gere a infraestrutura de alojamento, disponibiliza as APIs de inferência e atua como processador de dados para prompts submetidos e conteúdos produzidos pelos modelos implementados. Leia sobre Privacidade de dados e segurança para modelos de terceiros.
Como os dados são processados pelo tipo de implantação Global-Standard?
Para implementações de modelos sob recursos do Foundry Tools, os prompts e saídas são processados usando a infraestrutura global do Azure para encaminhar dinamicamente o tráfego para o centro de dados com a melhor disponibilidade para cada pedido. O padrão global fornece a cota padrão mais alta e elimina a necessidade de balanceamento de carga em vários recursos. Os dados armazenados em repouso permanecem na geografia designada do Azure, enquanto os dados podem ser processados para inferência em qualquer local do Azure. Saiba mais sobre residência de dados.
Utiliza os dados da minha empresa para formar algum dos modelos?
Os modelos Foundry não utilizam dados de clientes para re-treanamento de modelos, e os dados de clientes nunca são compartilhados com fornecedores de modelos.
Os dados são partilhados com fornecedores de modelos?
Microsoft atua como processador de dados para prompts e saídas enviadas para e geradas por um modelo de implementação nos recursos do Foundry Tools. A Microsoft não compartilha esses prompts e saídas com o provedor do modelo. Além disso, a Microsoft não usa esses prompts e saídas para treinar ou melhorar os modelos da Microsoft, os modelos do provedor de modelos ou os modelos de terceiros. Como explicado durante o processo de implementação dos modelos Models-as-a-Service, a Microsoft pode partilhar informações de contacto do cliente e detalhes das transações (incluindo o volume de utilização associado à oferta) com o modelo publisher para que o publisher possa contactar os clientes relativamente ao modelo. Saiba mais sobre informações disponíveis para editoras modelo em Access insights para o mercado comercial Microsoft no Partner Center.
Compromisso de Direitos Autorais do Cliente
Como posso obter cobertura ao abrigo da Política de Direitos de Autor do Cliente?
O Compromisso de Direitos Autorais do Cliente é uma disposição a ser incluída nos Termos de Produto da Microsoft de 1º de dezembro de 2023 que descreve a obrigação da Microsoft de defender os clientes contra determinadas reivindicações de propriedade intelectual que não sejam da Microsoft relacionadas ao Conteúdo de Saída. Se o objeto da reclamação for o Conteúdo de Saída gerado pelo Azure OpenAI (ou qualquer outro Produto Coberto que permita aos clientes configurar os sistemas de segurança), então, para receber cobertura, os clientes devem ter implementado todas as mitigações exigidas pela documentação do Azure OpenAI na oferta que entregou o Conteúdo de Saída. As mitigações necessárias estão documentadas aqui e atualizadas de forma contínua. Para novos serviços, recursos, modelos ou casos de uso, novos requisitos de CCC serão publicados e entrarão em vigor no lançamento ou após o lançamento de tal serviço, recurso, modelo ou caso de uso. Caso contrário, os clientes terão seis meses a partir do momento da publicação para implementar novas mitigações para manter a cobertura sob o CCC. Se um cliente apresentar uma reclamação, ser-lhe-á pedido que demonstre a conformidade com os requisitos relevantes. Estas mitigações são necessárias para os Produtos Abrangidos, que permitem aos clientes configurar os sistemas de segurança, incluindo o Azure OpenAI; não afetam a cobertura para clientes que utilizam outros Produtos Abrangidos.