Guia de início rápido: fala para texto com o modelo Azure OpenAI Whisper

Artigo
10/30/2024

Este guia de início rápido explica como usar o modelo do Azure OpenAI Whisper para conversão de fala em texto. O modelo Whisper pode transcrever a fala humana em vários idiomas, e também pode traduzir outros idiomas para o inglês.

O limite de tamanho de arquivo para o modelo Whisper é de 25 MB. Se precisar transcrever um arquivo maior que 25 MB, você poderá usar a API de transcrição em lote do Azure AI Speech.

Pré-requisitos

Uma assinatura do Azure - Crie uma gratuitamente.
Um recurso OpenAI do Azure implantado em uma região com suporte e com um modelo suportado.
Certifique-se de que lhe foi atribuída pelo menos a função de Colaborador dos Serviços Cognitivos para o recurso OpenAI do Azure.
Baixe os dados de exemplo do GitHub se você não tiver seus próprios dados.

Configurar

Recuperar chave e ponto de extremidade

Para fazer uma chamada com êxito no Azure OpenAI, você precisa de um ponto de extremidade e uma chave.

Nome da variável	Value
`AZURE_OPENAI_ENDPOINT`	O ponto de extremidade do serviço pode ser encontrado na seção Chaves & Ponto de Extremidade ao examinar seu recurso no portal do Azure. Como alternativa, você pode encontrar o ponto de extremidade por meio da página Implantações no Azure AI Studio. Um exemplo de ponto de extremidade é: `https://docs-test-001.openai.azure.com/`.
`AZURE_OPENAI_API_KEY`	Este valor pode ser encontrado na secção Chaves e Ponto Final ao examinar o recurso no portal do Azure. Pode utilizar `KEY1` ou `KEY2`.

Vá para o seu recurso no portal do Azure. O Ponto de Extremidade e as Chaves podem ser encontrados na seção Gerenciamento de Recursos. Copie seu endpoint e sua chave de acesso, pois você precisará de ambos para autenticar suas chamadas de API. Pode utilizar KEY1 ou KEY2. Ter sempre duas chaves permite-lhe rodar e regenerar chaves de forma segura sem causar uma interrupção do serviço.

Variáveis de ambiente

Crie e atribua variáveis de ambiente persistentes para sua chave e endpoint.

Importante

Se você usar uma chave de API, armazene-a com segurança em outro lugar, como no Cofre de Chaves do Azure. Não inclua a chave da API diretamente no seu código e nunca a publique publicamente.

Para obter mais informações sobre segurança de serviços de IA, consulte Autenticar solicitações para serviços de IA do Azure.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE"

setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE"

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

echo export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE" >> /etc/environment && source /etc/environment

echo export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE" >> /etc/environment && source /etc/environment

Criar uma solicitação e resposta da API REST

Em um shell bash, execute o seguinte comando. Você precisa substituir YourDeploymentName pelo nome de implantação escolhido quando implantou o modelo Whisper. O nome da implantação não é necessariamente o mesmo que o nome do modelo. Inserir o nome do modelo resulta em um erro, a menos que você escolha um nome de implantação idêntico ao nome do modelo subjacente.

curl $AZURE_OPENAI_ENDPOINT/openai/deployments/YourDeploymentName/audio/transcriptions?api-version=2024-02-01 \
 -H "api-key: $AZURE_OPENAI_API_KEY" \
 -H "Content-Type: multipart/form-data" \
 -F file="@./wikipediaOcelot.wav"

A primeira linha do comando anterior com um ponto de extremidade de exemplo apareceria da seguinte maneira:

curl https://aoai-docs.openai.azure.com/openai/deployments/{YourDeploymentName}/audio/transcriptions?api-version=2024-02-01 \

Você pode obter arquivos de áudio de exemplo, como wikipediaOcelot.wav, do repositório do SDK de Fala do Azure AI no GitHub.

Importante

Para produção, armazene e acesse suas credenciais usando um método seguro, como o Azure Key Vault. Para obter mais informações sobre segurança de credenciais, consulte Segurança de serviços de IA do Azure.

Saída

{"text":"The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, Mexico, and Central and South America. This medium-sized cat is characterized by solid black spots and streaks on its coat, round ears, and white neck and undersides. It weighs between 8 and 15.5 kilograms, 18 and 34 pounds, and reaches 40 to 50 centimeters 16 to 20 inches at the shoulders. It was first described by Carl Linnaeus in 1758. Two subspecies are recognized, L. p. paradalis and L. p. mitis. Typically active during twilight and at night, the ocelot tends to be solitary and territorial. It is efficient at climbing, leaping, and swimming. It preys on small terrestrial mammals such as armadillo, opossum, and lagomorphs."}

Pré-requisitos

Uma subscrição do Azure. Você pode criar um gratuitamente.
Um recurso OpenAI do Azure com um modelo Whisper implantado em uma região com suporte. Para obter mais informações, consulte Criar um recurso e implantar um modelo com o Azure OpenAI.
Python 3.8 ou posterior
A seguinte biblioteca Python: os

Configurar

Recuperar chave e ponto de extremidade

Para fazer uma chamada com êxito no Azure OpenAI, você precisa de um ponto de extremidade e uma chave.

Nome da variável	Value
`AZURE_OPENAI_ENDPOINT`	O ponto de extremidade do serviço pode ser encontrado na seção Chaves & Ponto de Extremidade ao examinar seu recurso no portal do Azure. Como alternativa, você pode encontrar o ponto de extremidade por meio da página Implantações no Azure AI Studio. Um exemplo de ponto de extremidade é: `https://docs-test-001.openai.azure.com/`.
`AZURE_OPENAI_API_KEY`	Este valor pode ser encontrado na secção Chaves e Ponto Final ao examinar o recurso no portal do Azure. Pode utilizar `KEY1` ou `KEY2`.

Variáveis de ambiente

Crie e atribua variáveis de ambiente persistentes para sua chave e endpoint.

Importante

Se você usar uma chave de API, armazene-a com segurança em outro lugar, como no Cofre de Chaves do Azure. Não inclua a chave da API diretamente no seu código e nunca a publique publicamente.

Para obter mais informações sobre segurança de serviços de IA, consulte Autenticar solicitações para serviços de IA do Azure.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE"

setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE"

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

echo export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE" >> /etc/environment && source /etc/environment

echo export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE" >> /etc/environment && source /etc/environment

Recomenda-se autenticação sem senha

Para autenticação sem senha, você precisa

Utilize a @azure/identity embalagem.
Atribua a Cognitive Services User função à sua conta de utilizador. Isso pode ser feito no portal do Azure em Controle de acesso (IAM)>Adicionar atribuição de função.
Entre com a CLI do Azure, como az login.

Criar um ambiente Python

Instale a biblioteca de cliente OpenAI Python com:

OpenAI Python 1.x
OpenAI Python 0.28.1

pip install openai

Nota

A versão 0.28.1 da biblioteca OpenAI Python foi preterida. Recomendamos a utilização do 1.x. Consulte o nosso guia de migração para obter informações sobre como mudar de 0.28.1 .1.x

pip install openai==0.28.1

Criar o aplicativo Python

Crie um novo arquivo Python chamado quickstart.py. Em seguida, abra-o no seu editor ou IDE preferido.
Substitua o conteúdo do quickstart.py pelo código a seguir. Modifique o código para adicionar seu nome de implantação:

OpenAI Python 1.x
OpenAI Python 0.28.1

    import os
    from openai import AzureOpenAI
        
    client = AzureOpenAI(
        api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
        api_version="2024-02-01",
        azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT")
    )
    
    deployment_id = "YOUR-DEPLOYMENT-NAME-HERE" #This will correspond to the custom name you chose for your deployment when you deployed a model."
    audio_test_file = "./wikipediaOcelot.wav"
    
    result = client.audio.transcriptions.create(
        file=open(audio_test_file, "rb"),            
        model=deployment_id
    )
    
    print(result)

    import openai
    import time
    import os
    
    openai.api_key = os.getenv("AZURE_OPENAI_API_KEY")
    openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT")  # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    openai.api_type = "azure"
    openai.api_version = "2024-02-01"
    
    model_name = "whisper"
    deployment_id = "YOUR-DEPLOYMENT-NAME-HERE" #This will correspond to the custom name you chose for your deployment when you deployed a model."
    audio_language="en"
    
    audio_test_file = "./wikipediaOcelot.wav"
    
    result = openai.Audio.transcribe(
                file=open(audio_test_file, "rb"),            
                model=model_name,
                deployment_id=deployment_id
            )
    
    print(result)

Execute o aplicativo usando o python comando em seu arquivo de início rápido:

python quickstart.py

Você pode obter arquivos de áudio de exemplo, como wikipediaOcelot.wav, do repositório do SDK de Fala do Azure AI no GitHub.

Importante

Saída

{"text":"The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, Mexico, and Central and South America. This medium-sized cat is characterized by solid black spots and streaks on its coat, round ears, and white neck and undersides. It weighs between 8 and 15.5 kilograms, 18 and 34 pounds, and reaches 40 to 50 centimeters 16 to 20 inches at the shoulders. It was first described by Carl Linnaeus in 1758. Two subspecies are recognized, L. p. paradalis and L. p. mitis. Typically active during twilight and at night, the ocelot tends to be solitary and territorial. It is efficient at climbing, leaping, and swimming. It preys on small terrestrial mammals such as armadillo, opossum, and lagomorphs."}

Pré-requisitos

Uma subscrição do Azure. Você pode criar um gratuitamente.
Um recurso OpenAI do Azure com um modelo Whisper implantado em uma região com suporte. Para obter mais informações, consulte Criar um recurso e implantar um modelo com o Azure OpenAI.
O SDK do .NET 8.0

Configurar

Recuperar chave e ponto de extremidade

Para fazer uma chamada com êxito no Azure OpenAI, você precisa de um ponto de extremidade e uma chave.

Nome da variável	Value
`AZURE_OPENAI_ENDPOINT`	O ponto de extremidade do serviço pode ser encontrado na seção Chaves & Ponto de Extremidade ao examinar seu recurso no portal do Azure. Como alternativa, você pode encontrar o ponto de extremidade por meio da página Implantações no Azure AI Studio. Um exemplo de ponto de extremidade é: `https://docs-test-001.openai.azure.com/`.
`AZURE_OPENAI_API_KEY`	Este valor pode ser encontrado na secção Chaves e Ponto Final ao examinar o recurso no portal do Azure. Pode utilizar `KEY1` ou `KEY2`.

Criar o aplicativo .NET

Crie um aplicativo .NET usando o dotnet new comando:
```
dotnet new console -n OpenAIWhisper
```
Mude para o diretório do novo aplicativo:
```
cd OpenAIWhisper
```
Instale a biblioteca do Azure.OpenAI cliente:
```
dotnet add package Azure.AI.OpenAI
```

Recomenda-se autenticação sem senha

A autenticação sem senha é mais segura do que as alternativas baseadas em chave e é a abordagem recomendada para se conectar aos serviços do Azure. Se você optar por usar a autenticação sem senha, precisará concluir o seguinte:

Adicione o pacote Azure.Identity.
```
dotnet add package Azure.Identity
```
Atribua a Cognitive Services User função à sua conta de utilizador. Isso pode ser feito no portal do Azure em seu recurso OpenAI em Controle de acesso (IAM)>Adicionar atribuição de função.
Entre no Azure usando o Visual Studio ou a CLI do Azure via az login.

Atualizar o código do aplicativo

Substitua o conteúdo do pelo código a seguir e atualize os valores de program.cs espaço reservado com os seus.

Nota

Você pode obter arquivos de áudio de exemplo, como wikipediaOcelot.wav, do repositório do SDK de Fala do Azure AI no GitHub.

using Azure;
using Azure.AI.OpenAI;
using Azure.Identity; // Required for Passwordless auth

var endpoint = new Uri("YOUR_OPENAI_ENDPOINT");
var credentials = new AzureKeyCredential("YOUR_OPENAI_KEY");
// var credentials = new DefaultAzureCredential(); // Use this line for Passwordless auth
var deploymentName = "whisper"; // Default deployment name, update with your own if necessary
var audioFilePath = "YOUR_AUDIO_FILE_PATH";

var openAIClient = new AzureOpenAIClient(endpoint, credentials);

var audioClient = openAIClient.GetAudioClient(deploymentName);

var result = await audioClient.TranscribeAudioAsync(audioFilePath);

Console.WriteLine("Transcribed text:");
foreach (var item in result.Value.Text)
{
    Console.Write(item);
}

Importante

Execute o aplicativo usando o dotnet run comando ou o botão Executar na parte superior do Visual Studio:

dotnet run

Se você estiver usando o arquivo de áudio de exemplo, deverá ver o seguinte texto impresso no console:

The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, 
Mexico, and Central and South America. This medium-sized cat is characterized by solid 
black spots and streaks on its coat, round ears...

Pacote de código-fonte (npm) | Amostras |

Pré-requisitos

Uma assinatura do Azure - Crie uma gratuitamente
Versões LTS do Node.js
CLI do Azure usada para autenticação sem senha em um ambiente de desenvolvimento local, crie o contexto necessário entrando com a CLI do Azure.
Um recurso OpenAI do Azure criado em uma região com suporte (consulte Disponibilidade da região). Para obter mais informações, consulte Criar um recurso e implantar um modelo com o Azure OpenAI.

Configurar

Recuperar chave e ponto de extremidade

Para fazer uma chamada com êxito no Azure OpenAI, você precisa de um ponto de extremidade e uma chave.

Nome da variável	Value
`AZURE_OPENAI_ENDPOINT`	O ponto de extremidade do serviço pode ser encontrado na seção Chaves & Ponto de Extremidade ao examinar seu recurso no portal do Azure. Como alternativa, você pode encontrar o ponto de extremidade por meio da página Implantações no Azure AI Studio. Um exemplo de ponto de extremidade é: `https://docs-test-001.openai.azure.com/`.
`AZURE_OPENAI_API_KEY`	Este valor pode ser encontrado na secção Chaves e Ponto Final ao examinar o recurso no portal do Azure. Pode utilizar `KEY1` ou `KEY2`.

Variáveis de ambiente

Crie e atribua variáveis de ambiente persistentes para sua chave e endpoint.

Importante

Se você usar uma chave de API, armazene-a com segurança em outro lugar, como no Cofre de Chaves do Azure. Não inclua a chave da API diretamente no seu código e nunca a publique publicamente.

Para obter mais informações sobre segurança de serviços de IA, consulte Autenticar solicitações para serviços de IA do Azure.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE"

setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE"

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

echo export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE" >> /etc/environment && source /etc/environment

echo export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE" >> /etc/environment && source /etc/environment

A autenticação do Microsoft Entra ID é recomendada

Para autenticação sem senha, você precisa

Utilize a @azure/identity embalagem.
Atribua a Cognitive Services User função à sua conta de utilizador. Isso pode ser feito no portal do Azure em Controle de acesso (IAM)>Adicionar atribuição de função.
Entre com a CLI do Azure, como az login.

Criar um aplicativo de nó

Numa janela de consola (como cmd, PowerShell ou Bash), crie um novo diretório para a sua aplicação e navegue para a mesma. Em seguida, execute o npm init comando para criar um aplicativo de nó com um arquivo package.json .

npm init

Instalar a biblioteca de cliente

Instale as bibliotecas de cliente com:

npm install openai @azure/identity

O arquivo de package.json do seu aplicativo será atualizado com as dependências.

Crie um novo arquivo chamado Whisper.js e abra-o no editor de códigos de sua preferência. Copie o seguinte código para o arquivo Whisper.js :

const { createReadStream } = require("fs");
const { AzureOpenAI } = require("openai");
const { DefaultAzureCredential, getBearerTokenProvider } = require("@azure/identity");

// You will need to set these environment variables or edit the following values
const audioFilePath = "<audio file path>";
const endpoint = process.env["AZURE_OPENAI_ENDPOINT"] || "<endpoint>";

// Required Azure OpenAI deployment name and API version
const apiVersion = "2024-08-01-preview";
const deploymentName = "whisper";

// keyless authentication    
const credential = new DefaultAzureCredential();
const scope = "https://cognitiveservices.azure.com/.default";
const azureADTokenProvider = getBearerTokenProvider(credential, scope);

function getClient() {
  return new AzureOpenAI({
    endpoint,
    azureADTokenProvider,
    apiVersion,
    deployment: deploymentName,
  });
}

export async function main() {
  console.log("== Transcribe Audio Sample ==");

  const client = getClient();
  const result = await client.audio.transcriptions.create({
    model: "",
    file: createReadStream(audioFilePath),
  });

  console.log(`Transcription: ${result.text}`);
}

main().catch((err) => {
  console.error("The sample encountered an error:", err);
});

Execute o script com o seguinte comando:
```
node Whisper.js
```

Crie um novo arquivo chamado Whisper.js e abra-o no editor de códigos de sua preferência. Copie o seguinte código para o arquivo Whisper.js :

import { createReadStream } from "fs";
import { AzureOpenAI } from "openai";

// You will need to set these environment variables or edit the following values
const audioFilePath = "<audio file path>";
const endpoint = process.env["AZURE_OPENAI_ENDPOINT"] || "<endpoint>";
const apiKey = process.env["AZURE_OPENAI_API_KEY"] || "<api key>";

// Required Azure OpenAI deployment name and API version
const apiVersion = "2024-08-01-preview";
const deploymentName = "whisper";

function getClient(): AzureOpenAI {
  return new AzureOpenAI({
    endpoint,
    apiKey,
    apiVersion,
    deployment: deploymentName,
  });
}

export async function main() {
  console.log("== Transcribe Audio Sample ==");

  const client = getClient();
  const result = await client.audio.transcriptions.create({
    model: "",
    file: createReadStream(audioFilePath),
  });

  console.log(`Transcription: ${result.text}`);
}

main().catch((err) => {
  console.error("The sample encountered an error:", err);
});

Crie o aplicativo com o seguinte comando:
```
tsc
```
Execute o aplicativo com o seguinte comando:
```
node Whisper.js
```

Você pode obter arquivos de áudio de exemplo, como wikipediaOcelot.wav, do repositório do SDK de Fala do Azure AI no GitHub.

Importante

Saída

{"text":"The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, Mexico, and Central and South America. This medium-sized cat is characterized by solid black spots and streaks on its coat, round ears, and white neck and undersides. It weighs between 8 and 15.5 kilograms, 18 and 34 pounds, and reaches 40 to 50 centimeters 16 to 20 inches at the shoulders. It was first described by Carl Linnaeus in 1758. Two subspecies are recognized, L. p. paradalis and L. p. mitis. Typically active during twilight and at night, the ocelot tends to be solitary and territorial. It is efficient at climbing, leaping, and swimming. It preys on small terrestrial mammals such as armadillo, opossum, and lagomorphs."}

Pacote de código-fonte (npm) | Amostras |

Pré-requisitos

Uma assinatura do Azure - Crie uma gratuitamente
Versões LTS do Node.js
TypeScript
CLI do Azure usada para autenticação sem senha em um ambiente de desenvolvimento local, crie o contexto necessário entrando com a CLI do Azure.
Um recurso OpenAI do Azure criado em uma região com suporte (consulte Disponibilidade da região). Para obter mais informações, consulte Criar um recurso e implantar um modelo com o Azure OpenAI.

Configurar

Recuperar chave e ponto de extremidade

Para fazer uma chamada com êxito no Azure OpenAI, você precisa de um ponto de extremidade e uma chave.

Nome da variável	Valor
`AZURE_OPENAI_ENDPOINT`	Este valor pode ser encontrado na secção Chaves e Ponto Final ao examinar o recurso no portal do Azure. Como alternativa, você pode encontrar o valor na Exibição de Código do Azure OpenAI Studio>Playground.> Um exemplo de ponto de extremidade é: `https://aoai-docs.openai.azure.com/`.
`AZURE_OPENAI_API_KEY`	Este valor pode ser encontrado na secção Chaves e Ponto Final ao examinar o recurso no portal do Azure. Pode utilizar `KEY1` ou `KEY2`.

Variáveis de ambiente

Crie e atribua variáveis de ambiente persistentes para sua chave e endpoint.

Importante

Se você usar uma chave de API, armazene-a com segurança em outro lugar, como no Cofre de Chaves do Azure. Não inclua a chave da API diretamente no seu código e nunca a publique publicamente.

Para obter mais informações sobre segurança de serviços de IA, consulte Autenticar solicitações para serviços de IA do Azure.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE"

setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE"

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

echo export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE" >> /etc/environment && source /etc/environment

echo export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE" >> /etc/environment && source /etc/environment

A autenticação do Microsoft Entra ID é recomendada

Para autenticação sem senha, você precisa

Utilize a @azure/identity embalagem.
Atribua a Cognitive Services User função à sua conta de utilizador. Isso pode ser feito no portal do Azure em Controle de acesso (IAM)>Adicionar atribuição de função.
Entre com a CLI do Azure, como az login.

Criar um aplicativo de nó

npm init

Instalar a biblioteca de cliente

Instale as bibliotecas de cliente com:

npm install openai @azure/identity

O arquivo de package.json do seu aplicativo será atualizado com as dependências.

Criar um aplicativo de exemplo

Microsoft Entra ID
Chave de API

Crie um novo arquivo chamado Whisper.ts e abra-o em seu editor de código preferido. Copie o seguinte código para o arquivo Whisper.ts :

import { createReadStream } from "fs";
import { AzureOpenAI } from "openai";
import { DefaultAzureCredential, getBearerTokenProvider } from "@azure/identity";

// You will need to set these environment variables or edit the following values
const audioFilePath = "<audio file path>";
const endpoint = process.env["AZURE_OPENAI_ENDPOINT"] || "<endpoint>";

// Required Azure OpenAI deployment name and API version
const apiVersion = "2024-08-01-preview";
const deploymentName = "whisper";

// keyless authentication    
const credential = new DefaultAzureCredential();
const scope = "https://cognitiveservices.azure.com/.default";
const azureADTokenProvider = getBearerTokenProvider(credential, scope);

function getClient(): AzureOpenAI {
  return new AzureOpenAI({
    endpoint,
    azureADTokenProvider,
    apiVersion,
    deployment: deploymentName,
  });
}

export async function main() {
  console.log("== Transcribe Audio Sample ==");

  const client = getClient();
  const result = await client.audio.transcriptions.create({
    model: "",
    file: createReadStream(audioFilePath),
  });

  console.log(`Transcription: ${result.text}`);
}

main().catch((err) => {
  console.error("The sample encountered an error:", err);
});

Crie o aplicativo com o seguinte comando:
```
tsc
```
Execute o aplicativo com o seguinte comando:
```
node Whisper.js
```

Crie um novo arquivo chamado Whisper.ts e abra-o em seu editor de código preferido. Copie o seguinte código para o arquivo Whisper.ts :

import { createReadStream } from "fs";
import { AzureOpenAI } from "openai";

// You will need to set these environment variables or edit the following values
const audioFilePath = "<audio file path>";
const endpoint = process.env["AZURE_OPENAI_ENDPOINT"] || "<endpoint>";
const apiKey = process.env["AZURE_OPENAI_API_KEY"] || "<api key>";

// Required Azure OpenAI deployment name and API version
const apiVersion = "2024-08-01-preview";
const deploymentName = "whisper";

function getClient(): AzureOpenAI {
  return new AzureOpenAI({
    endpoint,
    apiKey,
    apiVersion,
    deployment: deploymentName,
  });
}

export async function main() {
  console.log("== Transcribe Audio Sample ==");

  const client = getClient();
  const result = await client.audio.transcriptions.create({
    model: "",
    file: createReadStream(audioFilePath),
  });

  console.log(`Transcription: ${result.text}`);
}

main().catch((err) => {
  console.error("The sample encountered an error:", err);
});

Crie o aplicativo com o seguinte comando:
```
tsc
```
Execute o aplicativo com o seguinte comando:
```
node Whisper.js
```

Você pode obter arquivos de áudio de exemplo, como wikipediaOcelot.wav, do repositório do SDK de Fala do Azure AI no GitHub.

Importante

Saída

{"text":"The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, Mexico, and Central and South America. This medium-sized cat is characterized by solid black spots and streaks on its coat, round ears, and white neck and undersides. It weighs between 8 and 15.5 kilograms, 18 and 34 pounds, and reaches 40 to 50 centimeters 16 to 20 inches at the shoulders. It was first described by Carl Linnaeus in 1758. Two subspecies are recognized, L. p. paradalis and L. p. mitis. Typically active during twilight and at night, the ocelot tends to be solitary and territorial. It is efficient at climbing, leaping, and swimming. It preys on small terrestrial mammals such as armadillo, opossum, and lagomorphs."}

Pré-requisitos

Uma assinatura do Azure - Crie uma gratuitamente
Você pode usar a versão mais recente, o PowerShell 7 ou o Windows PowerShell 5.1.
Um recurso do Serviço OpenAI do Azure com um modelo implantado. Para obter mais informações sobre a implementação de modelos, veja o guia de implementação de recursos.
Um recurso do Serviço OpenAI do Azure com o gpt-35-turbo ou os gpt-4 modelos implantados. Para obter mais informações sobre a implementação de modelos, veja o guia de implementação de recursos.

Configurar

Recuperar chave e ponto de extremidade

Para fazer uma chamada com êxito no Azure OpenAI, você precisa de um ponto de extremidade e uma chave.

Nome da variável	Value
`AZURE_OPENAI_ENDPOINT`	O ponto de extremidade do serviço pode ser encontrado na seção Chaves & Ponto de Extremidade ao examinar seu recurso no portal do Azure. Como alternativa, você pode encontrar o ponto de extremidade por meio da página Implantações no Azure AI Studio. Um exemplo de ponto de extremidade é: `https://docs-test-001.openai.azure.com/`.
`AZURE_OPENAI_API_KEY`	Este valor pode ser encontrado na secção Chaves e Ponto Final ao examinar o recurso no portal do Azure. Pode utilizar `KEY1` ou `KEY2`.

Variáveis de ambiente

Crie e atribua variáveis de ambiente persistentes para sua chave e endpoint.

Importante

Se você usar uma chave de API, armazene-a com segurança em outro lugar, como no Cofre de Chaves do Azure. Não inclua a chave da API diretamente no seu código e nunca a publique publicamente.

Para obter mais informações sobre segurança de serviços de IA, consulte Autenticar solicitações para serviços de IA do Azure.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE"

setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE"

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

echo export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE" >> /etc/environment && source /etc/environment

echo export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE" >> /etc/environment && source /etc/environment

Criar um aplicativo PowerShell

Execute o seguinte comando. Você precisa substituir YourDeploymentName pelo nome de implantação escolhido quando implantou o modelo Whisper. O nome da implantação não é necessariamente o mesmo que o nome do modelo. Inserir o nome do modelo resulta em um erro, a menos que você escolha um nome de implantação idêntico ao nome do modelo subjacente.

# Azure OpenAI metadata variables
$openai = @{
    api_key     = $Env:AZURE_OPENAI_API_KEY
    api_base    = $Env:AZURE_OPENAI_ENDPOINT # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    api_version = '2024-02-01' # this may change in the future
    name        = 'YourDeploymentName' #This will correspond to the custom name you chose for your deployment when you deployed a model.
}

# Header for authentication
$headers = [ordered]@{
    'api-key' = $openai.api_key
}

$form = @{ file = get-item -path './wikipediaOcelot.wav' }

# Send a completion call to generate an answer
$url = "$($openai.api_base)/openai/deployments/$($openai.name)/audio/transcriptions?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Form $form -Method Post -ContentType 'multipart/form-data'
return $response.text

Você pode obter arquivos de áudio de exemplo, como wikipediaOcelot.wav, do repositório do SDK de Fala do Azure AI no GitHub.

Importante

Para produção, armazene e acesse suas credenciais usando um método seguro, como o Gerenciamento Secreto do PowerShell com o Cofre de Chaves do Azure. Para obter mais informações sobre segurança de credenciais, consulte Segurança de serviços de IA do Azure.

Saída

The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, Mexico, and Central and South America. This medium-sized cat is characterized by solid black spots and streaks on its coat, round ears, and white neck and undersides. It weighs between 8 and 15.5 kilograms, 18 and 34 pounds, and reaches 40 to 50 centimeters 16 to 20 inches at the shoulders. It was first described by Carl Linnaeus in 1758. Two subspecies are recognized, L. p. paradalis and L. p. mitis. Typically active during twilight and at night, the ocelot tends to be solitary and territorial. It is efficient at climbing, leaping, and swimming. It preys on small terrestrial mammals such as armadillo, opossum, and lagomorphs.

Clean up resources (Limpar recursos)

Se quiser limpar e remover um recurso do Azure OpenAI, você pode excluir o recurso. Antes de excluir o recurso, você deve primeiro excluir todos os modelos implantados.

Próximos passos

Para saber como converter dados de áudio em texto em lotes, consulte Criar uma transcrição em lote.
Para obter mais exemplos, confira o repositório GitHub de amostras do Azure OpenAI.

Partilhar via

Guia de início rápido: fala para texto com o modelo Azure OpenAI Whisper

Pré-requisitos

Configurar

Recuperar chave e ponto de extremidade

Variáveis de ambiente

Criar uma solicitação e resposta da API REST

Saída

Pré-requisitos

Configurar

Recuperar chave e ponto de extremidade

Variáveis de ambiente

Recomenda-se autenticação sem senha

Criar um ambiente Python

Criar o aplicativo Python

Saída

Pré-requisitos

Configurar

Recuperar chave e ponto de extremidade

Criar o aplicativo .NET

Recomenda-se autenticação sem senha

Atualizar o código do aplicativo

Pré-requisitos

Configurar

Recuperar chave e ponto de extremidade

Variáveis de ambiente

A autenticação do Microsoft Entra ID é recomendada

Criar um aplicativo de nó

Instalar a biblioteca de cliente

Criar um aplicativo de exemplo

Saída

Pré-requisitos

Configurar

Recuperar chave e ponto de extremidade

Variáveis de ambiente

A autenticação do Microsoft Entra ID é recomendada

Criar um aplicativo de nó

Instalar a biblioteca de cliente

Criar um aplicativo de exemplo

Saída

Pré-requisitos

Configurar

Recuperar chave e ponto de extremidade

Variáveis de ambiente

Criar um aplicativo PowerShell

Saída

Clean up resources (Limpar recursos)

Próximos passos

Comentários

Recursos adicionais