Łączenie usługi Azure Speech w Foundry Tools z agentem

Azure Mowa w narzędziach Foundry Tools umożliwia agentowi konwertowanie mowy na tekst i generowanie dźwięku mowy na podstawie tekstu. Narzędzie można połączyć, dodając zdalny serwer protokołu MCP (Model Context Protocol) do agenta w usłudze agenta Foundry.

Ważne

Narzędzie Speech MCP nie obsługuje Microsoft Foundry zabezpieczonego siecią. Aby uzyskać więcej informacji, zobacz Connect to Model Context Protocol servers (Nawiązywanie połączenia z serwerami protokołu kontekstu modelu).

Wymagania wstępne

Uwaga

Jeśli podczas łączenia narzędzia wystąpi błąd Invalid tool value(s): mcp. Use the Enterprise offerings to access these tool(s), zasób nie obsługuje MCP. Utwórz nowy zasób rozwiązania Foundry, który obsługuje warstwę Enterprise w obsługiwanym regionie.

Wsparcie użytkowania

W tym artykule pokazano, jak połączyć narzędzie w portalu Foundry.

Jeśli chcesz pracować z kodem, sprawdź Połączenie z serwerami protokołu kontekstu modelu dla przykładowych SDK w Python, C# i JavaScript.

Bezpieczeństwo i prywatność

Klucz zasobu usługi Mowa oraz adresy URL sygnatur dostępu współdzielonego (SAS) magazynu traktuj jak tajne dane:

  • Nie wklejaj kluczy ani adresów URL SAS do promptów agenta, transkrypcji czatów, zrzutów ekranu ani systemu kontroli wersji.
  • Użyj najkrótszego praktycznego czasu wygaśnięcia sygnatury dostępu współdzielonego (SAS).
  • Określanie zakresów adresów URL SAS do minimalnego wymaganego zasobu (na przykład pojedynczego kontenera).
  • Okresowo obracaj klucze jako najlepsze rozwiązanie w zakresie zabezpieczeń lub natychmiast, jeśli podejrzewasz, że są narażone.

Konfigurowanie magazynu

Potrzebujesz konta Azure Storage do przechowywania wejściowych plików audio na potrzeby przetwarzania mowy na tekst i odbierania wyjściowych plików audio z przetwarzania zamiany tekstu na mowę.

  1. Utwórz konto usługi Azure Storage , jeśli jeszcze go nie masz.
  2. Przypisz do swojego konta użytkownika rolę Współautor danych obiektu blob usługi Storage dla konta magazynu, aby móc wygenerować adresy URL SAS:
    1. W portalu Azure przejdź do swojego konta przechowywania.
    2. Wybierz pozycję Kontrola dostępu (IAM)>Dodaj>Dodaj przypisanie roli.
    3. Wybierz rolę Współautor danych obiektów blob usługi Storage, przypisz ją do swojego konta użytkownika, a następnie wybierz pozycję Przejrzyj i przypisz.
  3. Utwórz co najmniej jeden kontener blob do przechowywania plików wejściowych i wyjściowych audio. Na koncie magazynu wybierz pozycję Kontenery>+ Kontener, wprowadź nazwę (na przykład speech-audio), a następnie wybierz pozycję Utwórz.

Tworzenie agenta

  1. Przejdź do Microsoft Foundry.
  2. W prawym górnym menu wybierz pozycję Kompiluj.
  3. W okienku po lewej stronie wybierz pozycję Agenci, a następnie wybierz pozycję Utwórz agenta.
  4. Wprowadź nazwę i opis.
  5. Wybierz model, który obsługuje wywoływanie narzędzi, np. gpt-4o lub nowszy model. Modele bez obsługi wywoływania narzędzi nie mogą wywoływać serwera Speech MCP.
  6. Wybierz Utwórz.

Twój agent pojawia się na liście Agenci. Wybierz go, aby otworzyć plac zabaw agenta.

Łączenie narzędzia Azure Mowa z agentem

  1. W agencie otwórz plac zabaw agenta.

  2. W obszarze Narzędzia wybierz pozycję Dodaj>nowe narzędzie.

  3. W obszarze Wybierz narzędzie wybierz kartę Wykaz.

  4. Wyszukaj Azure Speech MCP Server wybierz go, a następnie wybierz Utwórz.

  5. Na stronie konfiguracji wypełnij następujące pola:

    Section Pole Value
    Parametry foundry-resource-name Nazwa zasobu Foundry utworzonego wcześniej w ramach wymagań wstępnych.
    Authorization Bearer (Klucz interfejsu API) Użyj KEY1 lub KEY2 ze strony Klucze i punkt końcowy zasobu Foundry w portalu Azure.
    Authorization X-Blob-Container-Url Adres URL SAS do kontenera magazynu z uprawnieniami odczytu i zapisu. Usługa przechowuje pliki wyjściowe audio w tym kontenerze.

    Aby wygenerować adres URL SAS kontenera w portalu Azure, przejdź do kontenera magazynu, wybierz pozycję Tokeny dostępu współdzielonego, ustaw Uprawnienia na Odczyt i Zapis, ustaw możliwie najkrótszy czas wygaśnięcia, wybierz pozycję Wygeneruj token SAS i adres URL, a następnie skopiuj adres URL SAS obiektu blob.

  6. Wybierz Połącz, aby dodać zdalny serwer MCP Mowa jako narzędzie dla agenta.

Po nawiązaniu połączenia narzędzie rozpoznawania mowy zostanie wyświetlone na liście Narzędzia agenta ze stanem połączenia. Jeśli tak nie jest, zobacz Rozwiązywanie problemów.

Testuj narzędzie Azure Speech

Wprowadź What can you do? na czacie w placu zabaw agenta.

Agent wyświetla listę dostępnych funkcji, w tym zamianę mowy na tekst i zamianę tekstu na mowę. To potwierdza, że zdalny serwer MCP mowy jest połączony.

Testowanie zamiany mowy na tekst

Narzędzie do mowy może konwertować plik audio na tekst. Plik audio można przechowywać w Azure Blob Storage, uzyskując do niego dostęp za pomocą URL SAS, albo może być dowolnym publicznie dostępnym adresem URL pliku audio.

Uwaga

Obsługiwane formaty audio obejmują WAV, MP3, OGG, FLAC i inne typowe formaty. Aby uzyskać najlepsze wyniki z rozpoznawaniem mowy, użyj plików WAV z częstotliwością próbkowania 16 kHz i głębokością 16-bitową.

  1. Prześlij plik audio do kontenera magazynu obiektów blob Azure.

  2. Wygeneruj adres URL SAS dla pliku, korzystając z jednej z następujących metod:

    Azure Portal:

    1. Wybierz przekazany plik audio.
    2. W Właściwościach wybierz Generuj SAS.
    3. W obszarze Uprawnienia wybierz pozycję Odczyt.
    4. Ustaw najkrótszy praktyczny czas wygaśnięcia, a następnie wybierz pozycję Generuj token SAS i adres URL.

    Azure CLI:

    az storage blob generate-sas \
    --account-name <your-storage-account> \
    --container-name <your-container> \
    --name <your-audio-file> \
    --permissions r \
    --expiry <expiry-datetime-utc> \
    --auth-mode login \
    --as-user \
    --full-uri -o tsv

  3. Skopiuj URL SAS. Następnie użyj go w jednym z następujących przykładowych monitów w oknie czatu agenta:

    • Recognize this English audio file located in <blob SAS URL>
    • Recognize the audio file located in <blob SAS URL> with these phrase hints: "Azure, OpenAI, Cognitive Services, Lucy" to improve accuracy.
    • Convert this audio file located in <blob SAS URL> into text and summarize it for me.
    • Recognize this French audio file located in <blob SAS URL> with detailed output format.
    • Recognize this Hindi audio file located in <blob SAS URL> and remove profanity.

  4. Wyświetl tekst wyjściowy w oknie czatu.

Testowanie zamiany tekstu na mowę

Uruchom nowy czat na placu zabaw agenta i użyj jednego z poniższych przykładowych monitów. Zastąp symbol zastępczy własnym tekstem:

  • Convert text to speech: <your text to speak>
  • Synthesize speech from "<your text to speak>"
  • Generate speech audio from text "<your text to speak>"
  • Convert text to speech with Chinese language: <your text to speak>
  • Synthesize speech with voice en-US-JennyNeural from text <your text to speak>

Dźwięk wyjściowy jest zapisywany jako plik WAV w kontenerze blob. Link audio jest wyświetlany w oknie czatu. Wybierz go, aby nasłuchiwać danych wyjściowych.

Rozwiązywanie problemów

Kwestia Prawdopodobna przyczyna Rozdzielczość
Nie możesz znaleźć serwera Azure Speech MCP w katalogu narzędzi. Narzędzie nie jest dostępne dla tego dzierżawcy, regionu ani warstwy zasobów. Upewnij się, że zasób usługi Foundry został utworzony w obsługiwanym regionie i obsługuje narzędzia MCP (warstwa Agent Service Enterprise).
Connect nie działa z Invalid tool value(s): mcp. Use the Enterprise offerings to access these tool(s). Twój zasób Foundry nie obsługuje narzędzi MCP. Utwórz nowy zasób Foundry z warstwą Enterprise Agent Service w obsługiwanym regionie.
Nawiązywanie połączenia kończy się niepowodzeniem z błędami autoryzacji. Klucz interfejsu API jest niepoprawny lub wygasł. Skopiuj ponownie KEY1 lub KEY2 ze strony Klucze i punkt końcowy zasobu. W razie potrzeby obracaj klucze.
Łącze audio wyjściowej mowy nie działa. Adres URL SAS kontenera jest nieprawidłowy, wygasł lub nie zawiera uprawnień. Wygeneruj ponownie adres URL SAS kontenera z uprawnieniami odczytu i zapisu oraz z prawidłowym czasem wygaśnięcia.
Funkcja zamiany mowy na tekst nie ma dostępu do pliku audio. Adres URL SAS pliku jest nieprawidłowy lub wygasł. Wygeneruj ponownie adres URL SAS pliku z uprawnieniami odczytu i ponów próbę.
Agent nie wyświetla listy możliwości mowy po nawiązaniu połączenia z narzędziem. Wybrany model nie obsługuje wywoływania narzędzi. Wybierz model z obsługą narzędzi (np gpt-4o . lub nowszy) w konfiguracji agenta.
Przekazywanie audio kończy się niepowodzeniem z powodu błędu uprawnień. Twoje konto nie ma roli Współautor danych obiektów blob usługi Storage dla kontenera. Przypisz rolę Współautor danych obiektu blob usługi Storage swojemu kontu użytkownika na koncie magazynu danych.

Uprzątnij zasoby

Jeśli zasoby zostały utworzone tylko w celu przetestowania tego narzędzia, usuń je, aby uniknąć bieżących kosztów:

  • Usuń agenta: W portalu Foundry przejdź do pozycji Agenci, wybierz agenta testowego, a następnie wybierz pozycję Usuń.
  • Usuń kontener magazynu (opcjonalnie): w portalu Azure przejdź do kontenera magazynu i wybierz pozycję Delete.
  • Unieważnianie adresów URL SAS: Adresy URL SAS wygasają automatycznie po upływie ustawionego czasu wygaśnięcia. Aby natychmiast odwołać wszystkie tokeny SAS, należy obrócić klucze konta magazynu na stronie Klucze dostępu .

Następne kroki

Następujące funkcje mowy są dostępne w portalu Foundry (nowy):

  • Last updated on