Kılavuz: Sesli not yazıcı oluşturma

Konuşulan sesi tamamen cihazınızdaki düzenli notlara dönüştüren bir uygulama oluşturun. Uygulama önce konuşmayı metne dönüştürme modelini kullanarak ses dosyasının dökümünü alır, ardından transkripsiyonu özetlemek ve temiz notlar halinde düzenlemek için bir sohbet modeli kullanır.

Bu eğitimde şunları öğreniyorsunuz:

  • Bir proje ayarlama ve Foundry Yerel SDK'sını yükleme
  • Konuşmayı metne dönüştürme modelini yükleme ve ses dosyasının dökümünü alma
  • Sohbet modeli yükleme ve transkripsiyonu özetleme
  • Transkripsiyon ve özetlemeyi eksiksiz bir uygulamada birleştirme
  • Kaynakları temizle

Önkoşullar

  • En az 8 GB RAM'e sahip bir Windows, macOS veya Linux bilgisayar.
  • .wav Dökümü yapılacak bir ses dosyası (öğreticide örnek bir dosya kullanılır).

Paketleri yükleme

Örnekler deposu

Bu makalenin örnek kodunun tamamını Dökümhane örnekleri GitHub deposunda bulabilirsiniz. Depoyu kopyalamak ve örneğe gitmek için şunu kullanın:

git clone https://github.com/microsoft-foundry/foundry-samples.git
cd foundry-samples/samples/csharp/foundry-local/tutorial-voice-to-text

Windows üzerinde geliştiriyor veya gönderiyorsanız Windows sekmesini seçin. Windows paketi Windows ML çalışma zamanıyla tümleşir; aynı API yüzey alanını daha geniş bir donanım hızlandırmasıyla sağlar.

dotnet add package Microsoft.AI.Foundry.Local.WinML
dotnet add package OpenAI

GitHub deposundaki C# örnekleri önceden yapılandırılmış projelerdir. Sıfırdan oluşturuyorsanız, C# projenizi Foundry Local ile nasıl ayarlayacağınız hakkında daha fazla ayrıntı için Foundry Yerel SDK başvurusunu okumalısınız.

Ses dosyasını yazıya dök.

Bu adımda, konuşmayı metne dönüştürme modelini yükler ve ses dosyasının dökümünü alırsınız. Foundry'nin Yerel SDK'sı, whisper model takma adını kullanarak donanımınız için en iyi Whisper varyantını seçer.

  • SDK'yı başlatmak, konuşma modelini yüklemek ve bir ses dosyasının dökümünü almak için içeriğini aşağıdaki kodla açın Program.cs ve değiştirin:

    // Load the speech-to-text model
var speechModel = await catalog.GetModelAsync("whisper-tiny")
    ?? throw new Exception("Speech model not found");

await speechModel.DownloadAsync(progress =>
{
    Console.Write($"\rDownloading speech model: {progress:F2}%");
    if (progress >= 100f) Console.WriteLine();
});

await speechModel.LoadAsync();
Console.WriteLine("Speech model loaded.");

// Transcribe the audio file
var audioClient = await speechModel.GetAudioClientAsync();
var transcriptionText = new StringBuilder();

Console.WriteLine("\nTranscription:");
var audioResponse = audioClient
    .TranscribeAudioStreamingAsync("meeting-notes.wav", ct);
await foreach (var chunk in audioResponse)
{
    Console.Write(chunk.Text);
    transcriptionText.Append(chunk.Text);
}
Console.WriteLine();

// Unload the speech model to free memory
await speechModel.UnloadAsync();

    yöntemi, GetAudioClientAsync ses işlemleri için bir istemci döndürür. Bu TranscribeAudioStreamingAsync yöntemi, kullanılabilir hale geldikçe transkripsiyon öbeklerini aktarır. Sonraki adımda sohbet modeline geçirebilmek için metni biriktirirsiniz.

Uyarı

"meeting-notes.wav" ile ses dosyanızın yolunu değiştirin. Desteklenen biçimler WAV, MP3 ve FLAC'tir.

Transkripsiyonu özetleme

Şimdi ham transkripsiyonu yapılandırılmış notlar halinde düzenlemek için bir sohbet modeli kullanın. qwen2.5-0.5b Modeli yükleyin ve dökümü, modele temiz, özetlenmiş notlar üretmesini isteyen bir sistem istemiyle bağlam olarak gönderin.

Transkripsiyon adımından sonra aşağıdaki kodu ekleyin:

// Load the chat model for summarization
var chatModel = await catalog.GetModelAsync("qwen2.5-0.5b")
    ?? throw new Exception("Chat model not found");

await chatModel.DownloadAsync(progress =>
{
    Console.Write($"\rDownloading chat model: {progress:F2}%");
    if (progress >= 100f) Console.WriteLine();
});

await chatModel.LoadAsync();
Console.WriteLine("Chat model loaded.");

// Summarize the transcription into organized notes
var chatClient = await chatModel.GetChatClientAsync();
var messages = new List<ChatMessage>
{
    new ChatMessage
    {
        Role = "system",
        Content = "You are a note-taking assistant. Summarize " +
                  "the following transcription into organized, " +
                  "concise notes with bullet points."
    },
    new ChatMessage
    {
        Role = "user",
        Content = transcriptionText.ToString()
    }
};

var chatResponse = await chatClient.CompleteChatAsync(messages, ct);
var summary = chatResponse.Choices[0].Message.Content;
Console.WriteLine($"\nSummary:\n{summary}");

// Clean up
await chatModel.UnloadAsync();
Console.WriteLine("\nDone. Models unloaded.");

Sistem istemi modelin çıkış biçimini şekillendirir. Buna "madde işaretli düzenli, kısa notlar" oluşturma talimatı vererek ham bir ifade yerine yapılandırılmış içerik elde edersiniz.

Tam bir uygulama halinde birleştirin

Program.cs içeriğini, bir ses dosyası dökümü oluşturan ve bu dökümü özetleyen aşağıdaki tam kodla değiştirin:

using Microsoft.AI.Foundry.Local;
using Betalgo.Ranul.OpenAI.ObjectModels.RequestModels;
using Microsoft.Extensions.Logging;
using System.Text;

CancellationToken ct = CancellationToken.None;

var config = new Configuration
{
    AppName = "foundry_local_samples",
    LogLevel = Microsoft.AI.Foundry.Local.LogLevel.Information
};

using var loggerFactory = LoggerFactory.Create(builder =>
{
    builder.SetMinimumLevel(
        Microsoft.Extensions.Logging.LogLevel.Information
    );
});
var logger = loggerFactory.CreateLogger<Program>();

// Initialize the singleton instance
await FoundryLocalManager.CreateAsync(config, logger);
var mgr = FoundryLocalManager.Instance;

// Download and register all execution providers.
var currentEp = "";
await mgr.DownloadAndRegisterEpsAsync((epName, percent) =>
{
    if (epName != currentEp)
    {
        if (currentEp != "") Console.WriteLine();
        currentEp = epName;
    }
    Console.Write($"\r  {epName.PadRight(30)}  {percent,6:F1}%");
});
if (currentEp != "") Console.WriteLine();

var catalog = await mgr.GetCatalogAsync();

// Load the speech-to-text model
var speechModel = await catalog.GetModelAsync("whisper-tiny")
    ?? throw new Exception("Speech model not found");

await speechModel.DownloadAsync(progress =>
{
    Console.Write($"\rDownloading speech model: {progress:F2}%");
    if (progress >= 100f) Console.WriteLine();
});

await speechModel.LoadAsync();
Console.WriteLine("Speech model loaded.");

// Transcribe the audio file
var audioClient = await speechModel.GetAudioClientAsync();
var transcriptionText = new StringBuilder();

Console.WriteLine("\nTranscription:");
var audioResponse = audioClient
    .TranscribeAudioStreamingAsync("meeting-notes.wav", ct);
await foreach (var chunk in audioResponse)
{
    Console.Write(chunk.Text);
    transcriptionText.Append(chunk.Text);
}
Console.WriteLine();

// Unload the speech model to free memory
await speechModel.UnloadAsync();

// Load the chat model for summarization
var chatModel = await catalog.GetModelAsync("qwen2.5-0.5b")
    ?? throw new Exception("Chat model not found");

await chatModel.DownloadAsync(progress =>
{
    Console.Write($"\rDownloading chat model: {progress:F2}%");
    if (progress >= 100f) Console.WriteLine();
});

await chatModel.LoadAsync();
Console.WriteLine("Chat model loaded.");

// Summarize the transcription into organized notes
var chatClient = await chatModel.GetChatClientAsync();
var messages = new List<ChatMessage>
{
    new ChatMessage
    {
        Role = "system",
        Content = "You are a note-taking assistant. Summarize " +
                  "the following transcription into organized, " +
                  "concise notes with bullet points."
    },
    new ChatMessage
    {
        Role = "user",
        Content = transcriptionText.ToString()
    }
};

var chatResponse = await chatClient.CompleteChatAsync(messages, ct);
var summary = chatResponse.Choices[0].Message.Content;
Console.WriteLine($"\nSummary:\n{summary}");

// Clean up
await chatModel.UnloadAsync();
Console.WriteLine("\nDone. Models unloaded.");

Uyarı

"meeting-notes.wav" ile ses dosyanızın yolunu değiştirin. Desteklenen biçimler WAV, MP3 ve FLAC'tir.

Not alan'ı çalıştırın:

dotnet run

Şuna benzer bir çıkış görürsünüz:

Downloading speech model: 100.00%
Speech model loaded.

Transcription:
OK so let's get started with the weekly sync. First, the backend
API is nearly done. Sarah finished the authentication endpoints
yesterday. We still need to add rate limiting before we go to
staging. On the frontend, the dashboard redesign is about seventy
percent complete. Jake, can you walk us through the new layout?
Great. The charts look good. I think we should add a filter for
date range though. For testing, we have about eighty percent code
coverage on the API. We need to write integration tests for the
new auth flow before Friday. Let's plan to do a full regression
test next Tuesday before the release. Any blockers? OK, sounds
like we are in good shape. Let's wrap up.

Downloading chat model: 100.00%
Chat model loaded.

Summary:
- **Backend API**: Authentication endpoints complete. Rate limiting
  still needed before staging deployment.
- **Frontend**: Dashboard redesign 70% complete. New chart layout
  reviewed. Action item: add a date range filter.
- **Testing**: API code coverage at 80%. Integration tests for the
  auth flow due Friday. Full regression test scheduled for next
  Tuesday before release.
- **Status**: No blockers reported. Team is on track.

Done. Models unloaded.

Uygulama önce akış çıkışıyla ses içeriğinin dökümünü alır, ardından birikmiş metni önemli noktaları ayıklayan ve bunları yapılandırılmış notlar halinde düzenleyen bir sohbet modeline geçirir.

Paketleri yükleme

Örnekler deposu

Bu makalenin örnek kodunun tamamına foundry-samples GitHub deposundan ulaşabilirsiniz. Depoyu klonlamak ve örneğe gitmek için şu adımları kullanın:

git clone https://github.com/microsoft-foundry/foundry-samples.git
cd foundry-samples/samples/javascript/foundry-local/tutorial-voice-to-text

Windows üzerinde geliştiriyor veya gönderiyorsanız Windows sekmesini seçin. Windows paketi Windows ML çalışma zamanıyla tümleşir; aynı API yüzey alanını daha geniş bir donanım hızlandırmasıyla sağlar.

npm install foundry-local-sdk-winml openai

Ses dosyasını yazıya dök.

Bu adımda, konuşmayı metne dönüştürme modelini yükler ve ses dosyasının dökümünü alırsınız. Foundry'nin Yerel SDK'sı, whisper model takma adını kullanarak donanımınız için en iyi Whisper varyantını seçer.

  1. adlı app.jsbir dosya oluşturun.

  2. SDK'yı başlatmak, konuşma modelini yüklemek ve bir ses dosyasının dökümünü almak için aşağıdaki kodu ekleyin:

    // Load the speech-to-text model
const speechModel = await manager.catalog.getModel('whisper-tiny');
await speechModel.download((progress) => {
    process.stdout.write(
        `\rDownloading speech model: ${progress.toFixed(2)}%`
    );
});
console.log('\nSpeech model downloaded.');

await speechModel.load();
console.log('Speech model loaded.');

// Transcribe the audio file
const audioClient = speechModel.createAudioClient();
const transcription = await audioClient.transcribe(
    path.join(__dirname, 'meeting-notes.wav')
);
console.log(`\nTranscription:\n${transcription.text}`);

// Unload the speech model to free memory
await speechModel.unload();

    yöntemi, createAudioClient ses işlemleri için bir istemci döndürür. transcribe yöntemi bir dosya yolunu kabul eder ve dökümü alınmış içeriği içeren bir özelliğe sahip bir text nesne döndürür.

Uyarı

'./meeting-notes.wav' ile ses dosyanızın yolunu değiştirin. Desteklenen biçimler WAV, MP3 ve FLAC'tir.

Transkripsiyonu özetleme

Şimdi ham transkripsiyonu yapılandırılmış notlar halinde düzenlemek için bir sohbet modeli kullanın. qwen2.5-0.5b Modeli yükleyin ve dökümü, modele temiz, özetlenmiş notlar üretmesini isteyen bir sistem istemiyle bağlam olarak gönderin.

Transkripsiyon adımından sonra aşağıdaki kodu ekleyin:

// Load the chat model for summarization
const chatModel = await manager.catalog.getModel('qwen2.5-0.5b');
await chatModel.download((progress) => {
    process.stdout.write(
        `\rDownloading chat model: ${progress.toFixed(2)}%`
    );
});
console.log('\nChat model downloaded.');

await chatModel.load();
console.log('Chat model loaded.');

// Summarize the transcription into organized notes
const chatClient = chatModel.createChatClient();
const messages = [
    {
        role: 'system',
        content: 'You are a note-taking assistant. Summarize ' +
                 'the following transcription into organized, ' +
                 'concise notes with bullet points.'
    },
    {
        role: 'user',
        content: transcription.text
    }
];

const response = await chatClient.completeChat(messages);
const summary = response.choices[0]?.message?.content;
console.log(`\nSummary:\n${summary}`);

// Clean up
await chatModel.unload();
console.log('\nDone. Models unloaded.');

Sistem istemi modelin çıkış biçimini şekillendirir. Buna "madde işaretli düzenli, kısa notlar" oluşturma talimatı vererek ham bir ifade yerine yapılandırılmış içerik elde edersiniz.

Tam bir uygulama halinde birleştirin

adlı app.js bir dosya oluşturun ve ses dosyasının dökümünü oluşturan ve transkripsiyonu özetleyen aşağıdaki tam kodu ekleyin:

import { FoundryLocalManager } from 'foundry-local-sdk';
import { fileURLToPath } from 'url';
import path from 'path';

const __dirname = path.dirname(fileURLToPath(import.meta.url));

// Initialize the Foundry Local SDK
const manager = FoundryLocalManager.create({
    appName: 'foundry_local_samples',
    logLevel: 'info'
});

// Download and register all execution providers.
let currentEp = '';
await manager.downloadAndRegisterEps((epName, percent) => {
    if (epName !== currentEp) {
        if (currentEp !== '') process.stdout.write('\n');
        currentEp = epName;
    }
    process.stdout.write(`\r  ${epName.padEnd(30)}  ${percent.toFixed(1).padStart(5)}%`);
});
if (currentEp !== '') process.stdout.write('\n');

// Load the speech-to-text model
const speechModel = await manager.catalog.getModel('whisper-tiny');
await speechModel.download((progress) => {
    process.stdout.write(
        `\rDownloading speech model: ${progress.toFixed(2)}%`
    );
});
console.log('\nSpeech model downloaded.');

await speechModel.load();
console.log('Speech model loaded.');

// Transcribe the audio file
const audioClient = speechModel.createAudioClient();
const transcription = await audioClient.transcribe(
    path.join(__dirname, 'meeting-notes.wav')
);
console.log(`\nTranscription:\n${transcription.text}`);

// Unload the speech model to free memory
await speechModel.unload();

// Load the chat model for summarization
const chatModel = await manager.catalog.getModel('qwen2.5-0.5b');
await chatModel.download((progress) => {
    process.stdout.write(
        `\rDownloading chat model: ${progress.toFixed(2)}%`
    );
});
console.log('\nChat model downloaded.');

await chatModel.load();
console.log('Chat model loaded.');

// Summarize the transcription into organized notes
const chatClient = chatModel.createChatClient();
const messages = [
    {
        role: 'system',
        content: 'You are a note-taking assistant. Summarize ' +
                 'the following transcription into organized, ' +
                 'concise notes with bullet points.'
    },
    {
        role: 'user',
        content: transcription.text
    }
];

const response = await chatClient.completeChat(messages);
const summary = response.choices[0]?.message?.content;
console.log(`\nSummary:\n${summary}`);

// Clean up
await chatModel.unload();
console.log('\nDone. Models unloaded.');

Uyarı

'./meeting-notes.wav' ile ses dosyanızın yolunu değiştirin. Desteklenen biçimler WAV, MP3 ve FLAC'tir.

Not alan'ı çalıştırın:

node app.js

Şuna benzer bir çıkış görürsünüz:

Downloading speech model: 100.00%
Speech model downloaded.
Speech model loaded.

Transcription:
OK so let's get started with the weekly sync. First, the backend
API is nearly done. Sarah finished the authentication endpoints
yesterday. We still need to add rate limiting before we go to
staging. On the frontend, the dashboard redesign is about seventy
percent complete. Jake, can you walk us through the new layout?
Great. The charts look good. I think we should add a filter for
date range though. For testing, we have about eighty percent code
coverage on the API. We need to write integration tests for the
new auth flow before Friday. Let's plan to do a full regression
test next Tuesday before the release. Any blockers? OK, sounds
like we are in good shape. Let's wrap up.

Downloading chat model: 100.00%
Chat model downloaded.
Chat model loaded.

Summary:
- **Backend API**: Authentication endpoints complete. Rate limiting
  still needed before staging deployment.
- **Frontend**: Dashboard redesign 70% complete. New chart layout
  reviewed. Action item: add a date range filter.
- **Testing**: API code coverage at 80%. Integration tests for the
  auth flow due Friday. Full regression test scheduled for next
  Tuesday before release.
- **Status**: No blockers reported. Team is on track.

Done. Models unloaded.

Uygulama önce ses içeriğinin dökümünü alır, ardından bu metni önemli noktaları ayıklayan ve bunları yapılandırılmış notlar halinde düzenleyen bir sohbet modeline geçirir.

Paketleri yükleme

Örnekler deposu

Bu makalenin örnek kodunun tamamına foundry-samples GitHub deposundan ulaşabilirsiniz. Depoyu klonlamak ve örneğe gitmek için şu adımları kullanın:

git clone https://github.com/microsoft-foundry/foundry-samples.git
cd foundry-samples/samples/python/foundry-local/tutorial-voice-to-text

Windows üzerinde geliştiriyor veya gönderiyorsanız Windows sekmesini seçin. Windows paketi Windows ML çalışma zamanıyla tümleşir; aynı API yüzey alanını daha geniş bir donanım hızlandırmasıyla sağlar.

pip install foundry-local-sdk-winml openai

Ses dosyasını yazıya dök.

Bu adımda, konuşmayı metne dönüştürme modelini yükler ve ses dosyasının dökümünü alırsınız. Foundry'nin Yerel SDK'sı, whisper model takma adını kullanarak donanımınız için en iyi Whisper varyantını seçer.

  1. adlı app.pybir dosya oluşturun.

  2. SDK'yı başlatmak, konuşma modelini yüklemek ve bir ses dosyasının dökümünü almak için aşağıdaki kodu ekleyin:

    # Load the speech-to-text model
speech_model = manager.catalog.get_model("whisper-tiny")
speech_model.download(
    lambda progress: print(
        f"\rDownloading speech model: {progress:.2f}%",
        end="",
        flush=True,
    )
)
print()
speech_model.load()
print("Speech model loaded.")

# Transcribe the audio file
audio_client = speech_model.get_audio_client()
transcription = audio_client.transcribe("meeting-notes.wav")
print(f"\nTranscription:\n{transcription.text}")

# Unload the speech model to free memory
speech_model.unload()

    yöntemi, get_audio_client ses işlemleri için bir istemci döndürür. transcribe yöntemi bir dosya yolunu kabul eder ve dökümü alınmış içeriği içeren bir özelliğe sahip bir text nesne döndürür.

Uyarı

"meeting-notes.wav" ile ses dosyanızın yolunu değiştirin. Desteklenen biçimler WAV, MP3 ve FLAC'tir.

Transkripsiyonu özetleme

Şimdi ham transkripsiyonu yapılandırılmış notlar halinde düzenlemek için bir sohbet modeli kullanın. qwen2.5-0.5b Modeli yükleyin ve dökümü, modele temiz, özetlenmiş notlar üretmesini isteyen bir sistem istemiyle bağlam olarak gönderin.

Transkripsiyon adımından sonra aşağıdaki kodu ekleyin:

# Load the chat model for summarization
chat_model = manager.catalog.get_model("qwen2.5-0.5b")
chat_model.download(
    lambda progress: print(
        f"\rDownloading chat model: {progress:.2f}%",
        end="",
        flush=True,
    )
)
print()
chat_model.load()
print("Chat model loaded.")

# Summarize the transcription into organized notes
client = chat_model.get_chat_client()
messages = [
    {
        "role": "system",
        "content": "You are a note-taking assistant. "
        "Summarize the following transcription "
        "into organized, concise notes with "
        "bullet points.",
    },
    {"role": "user", "content": transcription.text},
]

response = client.complete_chat(messages)
summary = response.choices[0].message.content
print(f"\nSummary:\n{summary}")

# Clean up
chat_model.unload()
print("\nDone. Models unloaded.")

Sistem istemi modelin çıkış biçimini şekillendirir. Buna "madde işaretli düzenli, kısa notlar" oluşturma talimatı vererek ham bir ifade yerine yapılandırılmış içerik elde edersiniz.

Tam bir uygulama halinde birleştirin

adlı app.py bir dosya oluşturun ve ses dosyasının dökümünü oluşturan ve transkripsiyonu özetleyen aşağıdaki tam kodu ekleyin:

from foundry_local_sdk import Configuration, FoundryLocalManager



def main():
    # Initialize the Foundry Local SDK
    config = Configuration(app_name="foundry_local_samples")
    FoundryLocalManager.initialize(config)
    manager = FoundryLocalManager.instance

    # Download and register all execution providers.
    current_ep = ""

    def ep_progress(ep_name: str, percent: float):
        nonlocal current_ep
        if ep_name != current_ep:
            if current_ep:
                print()
            current_ep = ep_name
        print(f"\r  {ep_name:<30}  {percent:5.1f}%", end="", flush=True)

    manager.download_and_register_eps(progress_callback=ep_progress)
    if current_ep:
        print()

    # Load the speech-to-text model
    speech_model = manager.catalog.get_model("whisper-tiny")
    speech_model.download(
        lambda progress: print(
            f"\rDownloading speech model: {progress:.2f}%",
            end="",
            flush=True,
        )
    )
    print()
    speech_model.load()
    print("Speech model loaded.")

    # Transcribe the audio file
    audio_client = speech_model.get_audio_client()
    transcription = audio_client.transcribe("meeting-notes.wav")
    print(f"\nTranscription:\n{transcription.text}")

    # Unload the speech model to free memory
    speech_model.unload()

    # Load the chat model for summarization
    chat_model = manager.catalog.get_model("qwen2.5-0.5b")
    chat_model.download(
        lambda progress: print(
            f"\rDownloading chat model: {progress:.2f}%",
            end="",
            flush=True,
        )
    )
    print()
    chat_model.load()
    print("Chat model loaded.")

    # Summarize the transcription into organized notes
    client = chat_model.get_chat_client()
    messages = [
        {
            "role": "system",
            "content": "You are a note-taking assistant. "
            "Summarize the following transcription "
            "into organized, concise notes with "
            "bullet points.",
        },
        {"role": "user", "content": transcription.text},
    ]

    response = client.complete_chat(messages)
    summary = response.choices[0].message.content
    print(f"\nSummary:\n{summary}")

    # Clean up
    chat_model.unload()
    print("\nDone. Models unloaded.")


if __name__ == "__main__":
    main()

Uyarı

"meeting-notes.wav" ile ses dosyanızın yolunu değiştirin. Desteklenen biçimler WAV, MP3 ve FLAC'tir.

Not alan'ı çalıştırın:

python app.py

Şuna benzer bir çıkış görürsünüz:

Downloading speech model: 100.00%
Speech model loaded.

Transcription:
OK so let's get started with the weekly sync. First, the backend
API is nearly done. Sarah finished the authentication endpoints
yesterday. We still need to add rate limiting before we go to
staging. On the frontend, the dashboard redesign is about seventy
percent complete. Jake, can you walk us through the new layout?
Great. The charts look good. I think we should add a filter for
date range though. For testing, we have about eighty percent code
coverage on the API. We need to write integration tests for the
new auth flow before Friday. Let's plan to do a full regression
test next Tuesday before the release. Any blockers? OK, sounds
like we are in good shape. Let's wrap up.

Downloading chat model: 100.00%
Chat model loaded.

Summary:
- **Backend API**: Authentication endpoints complete. Rate limiting
  still needed before staging deployment.
- **Frontend**: Dashboard redesign 70% complete. New chart layout
  reviewed. Action item: add a date range filter.
- **Testing**: API code coverage at 80%. Integration tests for the
  auth flow due Friday. Full regression test scheduled for next
  Tuesday before release.
- **Status**: No blockers reported. Team is on track.

Done. Models unloaded.

Uygulama önce ses içeriğinin dökümünü alır, ardından bu metni önemli noktaları ayıklayan ve bunları yapılandırılmış notlar halinde düzenleyen bir sohbet modeline geçirir.

Paketleri yükleme

Örnekler deposu

Bu makalenin örnek kodunun tamamına foundry-samples GitHub deposundan ulaşabilirsiniz. Depoyu klonlamak ve örneğe gitmek için şu adımları kullanın:

git clone https://github.com/microsoft-foundry/foundry-samples.git
cd foundry-samples/samples/rust/foundry-local/tutorial-voice-to-text

Windows üzerinde geliştiriyor veya gönderiyorsanız Windows sekmesini seçin. Windows paketi Windows ML çalışma zamanıyla tümleşir; aynı API yüzey alanını daha geniş bir donanım hızlandırmasıyla sağlar.

cargo add foundry-local-sdk --features winml
cargo add tokio --features full
cargo add tokio-stream anyhow

Ses dosyasını yazıya dök.

Bu adımda, konuşmayı metne dönüştürme modelini yükler ve ses dosyasının dökümünü alırsınız. Foundry'nin Yerel SDK'sı, whisper model takma adını kullanarak donanımınız için en iyi Whisper varyantını seçer.

  • SDK'yı başlatmak, konuşma modelini yüklemek ve bir ses dosyasının dökümünü almak için içeriğini aşağıdaki kodla açın src/main.rs ve değiştirin:

    // Load the speech-to-text model
let speech_model = manager
    .catalog()
    .get_model("whisper-tiny")
    .await?;

if !speech_model.is_cached().await? {
    println!("Downloading speech model...");
    speech_model
        .download(Some(|progress: f64| {
            print!("\r  {progress:.1}%");
            io::stdout().flush().ok();
        }))
        .await?;
    println!();
}

speech_model.load().await?;
println!("Speech model loaded.");

// Transcribe the audio file
let audio_client = speech_model.create_audio_client();
let transcription = audio_client
    .transcribe("meeting-notes.wav")
    .await?;
println!("\nTranscription:\n{}", transcription.text);

// Unload the speech model to free memory
speech_model.unload().await?;

    yöntemi, create_audio_client ses işlemleri için bir istemci döndürür. transcribe yöntemi bir dosya yolunu kabul eder ve dökümü alınmış içeriği içeren bir alana sahip bir text nesne döndürür.

Uyarı

"meeting-notes.wav" ile ses dosyanızın yolunu değiştirin. Desteklenen biçimler WAV, MP3 ve FLAC'tir.

Transkripsiyonu özetleme

Şimdi ham transkripsiyonu yapılandırılmış notlar halinde düzenlemek için bir sohbet modeli kullanın. qwen2.5-0.5b Modeli yükleyin ve dökümü, modele temiz, özetlenmiş notlar üretmesini isteyen bir sistem istemiyle bağlam olarak gönderin.

Transkripsiyon adımından sonra işlevinin main içine aşağıdaki kodu ekleyin:

// Load the chat model for summarization
let chat_model = manager
    .catalog()
    .get_model("qwen2.5-0.5b")
    .await?;

if !chat_model.is_cached().await? {
    println!("Downloading chat model...");
    chat_model
        .download(Some(|progress: f64| {
            print!("\r  {progress:.1}%");
            io::stdout().flush().ok();
        }))
        .await?;
    println!();
}

chat_model.load().await?;
println!("Chat model loaded.");

// Summarize the transcription into organized notes
let client = chat_model
    .create_chat_client()
    .temperature(0.7)
    .max_tokens(512);

let messages: Vec<ChatCompletionRequestMessage> = vec![
    ChatCompletionRequestSystemMessage::from(
        "You are a note-taking assistant. Summarize \
         the following transcription into organized, \
         concise notes with bullet points.",
    )
    .into(),
    ChatCompletionRequestUserMessage::from(
        transcription.text.as_str(),
    )
    .into(),
];

let response = client
    .complete_chat(&messages, None)
    .await?;
let summary = response.choices[0]
    .message
    .content
    .as_deref()
    .unwrap_or("");
println!("\nSummary:\n{}", summary);

// Clean up
chat_model.unload().await?;
println!("\nDone. Models unloaded.");

Sistem istemi modelin çıkış biçimini şekillendirir. Buna "madde işaretli düzenli, kısa notlar" oluşturma talimatı vererek ham bir ifade yerine yapılandırılmış içerik elde edersiniz.

Tam bir uygulama halinde birleştirin

src/main.rs içeriğini, bir ses dosyası dökümü oluşturan ve bu dökümü özetleyen aşağıdaki tam kodla değiştirin:

use foundry_local_sdk::{
    ChatCompletionRequestMessage,
    ChatCompletionRequestSystemMessage,
    ChatCompletionRequestUserMessage,
    FoundryLocalConfig, FoundryLocalManager,
};
use std::io::{self, Write};

#[tokio::main]
async fn main() -> anyhow::Result<()> {
    // Initialize the Foundry Local SDK
    let manager = FoundryLocalManager::create(
        FoundryLocalConfig::new("foundry_local_samples"),
    )?;

    // Download and register all execution providers.
    manager
        .download_and_register_eps_with_progress(None, {
            let mut current_ep = String::new();
            move |ep_name: &str, percent: f64| {
                if ep_name != current_ep {
                    if !current_ep.is_empty() {
                        println!();
                    }
                    current_ep = ep_name.to_string();
                }
                print!("\r  {:<30}  {:5.1}%", ep_name, percent);
                io::stdout().flush().ok();
            }
        })
        .await?;
    println!();

    // Load the speech-to-text model
    let speech_model = manager
        .catalog()
        .get_model("whisper-tiny")
        .await?;

    if !speech_model.is_cached().await? {
        println!("Downloading speech model...");
        speech_model
            .download(Some(|progress: f64| {
                print!("\r  {progress:.1}%");
                io::stdout().flush().ok();
            }))
            .await?;
        println!();
    }

    speech_model.load().await?;
    println!("Speech model loaded.");

    // Transcribe the audio file
    let audio_client = speech_model.create_audio_client();
    let transcription = audio_client
        .transcribe("meeting-notes.wav")
        .await?;
    println!("\nTranscription:\n{}", transcription.text);

    // Unload the speech model to free memory
    speech_model.unload().await?;

    // Load the chat model for summarization
    let chat_model = manager
        .catalog()
        .get_model("qwen2.5-0.5b")
        .await?;

    if !chat_model.is_cached().await? {
        println!("Downloading chat model...");
        chat_model
            .download(Some(|progress: f64| {
                print!("\r  {progress:.1}%");
                io::stdout().flush().ok();
            }))
            .await?;
        println!();
    }

    chat_model.load().await?;
    println!("Chat model loaded.");

    // Summarize the transcription into organized notes
    let client = chat_model
        .create_chat_client()
        .temperature(0.7)
        .max_tokens(512);

    let messages: Vec<ChatCompletionRequestMessage> = vec![
        ChatCompletionRequestSystemMessage::from(
            "You are a note-taking assistant. Summarize \
             the following transcription into organized, \
             concise notes with bullet points.",
        )
        .into(),
        ChatCompletionRequestUserMessage::from(
            transcription.text.as_str(),
        )
        .into(),
    ];

    let response = client
        .complete_chat(&messages, None)
        .await?;
    let summary = response.choices[0]
        .message
        .content
        .as_deref()
        .unwrap_or("");
    println!("\nSummary:\n{}", summary);

    // Clean up
    chat_model.unload().await?;
    println!("\nDone. Models unloaded.");

    Ok(())
}

Uyarı

"meeting-notes.wav" ile ses dosyanızın yolunu değiştirin. Desteklenen biçimler WAV, MP3 ve FLAC'tir.

Not alan'ı çalıştırın:

cargo run

Şuna benzer bir çıkış görürsünüz:

Downloading speech model: 100.00%
Speech model loaded.

Transcription:
OK so let's get started with the weekly sync. First, the backend
API is nearly done. Sarah finished the authentication endpoints
yesterday. We still need to add rate limiting before we go to
staging. On the frontend, the dashboard redesign is about seventy
percent complete. Jake, can you walk us through the new layout?
Great. The charts look good. I think we should add a filter for
date range though. For testing, we have about eighty percent code
coverage on the API. We need to write integration tests for the
new auth flow before Friday. Let's plan to do a full regression
test next Tuesday before the release. Any blockers? OK, sounds
like we are in good shape. Let's wrap up.

Downloading chat model: 100.00%
Chat model loaded.

Summary:
- **Backend API**: Authentication endpoints complete. Rate limiting
  still needed before staging deployment.
- **Frontend**: Dashboard redesign 70% complete. New chart layout
  reviewed. Action item: add a date range filter.
- **Testing**: API code coverage at 80%. Integration tests for the
  auth flow due Friday. Full regression test scheduled for next
  Tuesday before release.
- **Status**: No blockers reported. Team is on track.

Done. Models unloaded.

Uygulama önce ses içeriğinin dökümünü alır, ardından bu metni önemli noktaları ayıklayan ve bunları yapılandırılmış notlar halinde düzenleyen bir sohbet modeline geçirir.

Kaynakları temizle

Modeli kaldırmanızın ardından model ağırlıkları yerel önbelleğinizde kalır. Bu, uygulamayı bir sonraki çalıştırmanızda indirme adımının atlandığı ve modelin daha hızlı yüklendiği anlamına gelir. Disk alanını geri kazanmak istemediğiniz sürece fazladan temizleme gerekmez.

İlgili içerik

  • Last updated on