Yapay zeka aracıları için Dayanıklı Görev

Saatlerce çalışan, dış araçları çağıran ve altyapı hatalarından kurtulması gereken yapay zeka aracıları , kalıcı yürütmeye ihtiyaç duyar. Bu, ilerleme durumunu otomatik olarak denetleyebilme ve kaldığı yerden devam edebilme olanağı sunar. Dayanıklı Görev Zamanlayıcı ve Dayanıklı Görev programlama modeli, aracı kodunuzun gerekmesin diye durum yönetimi, denetim noktası oluşturma ve dağıtılmış koordinasyonu işleyen bu altyapıyı sağlar.

Bu programlama modeliyle, .NET, Python, Java ve JavaScript/TypeScript'te standart programlama yapılarını (döngüler, koşullular, hata işleme) kullanarak dayanıklı, durum bilgisi olan aracı iş akışları oluşturursunuz. Çalışma zamanı durumu devam ettirip hatalardan otomatik olarak kurtarır.

Dayanıklı Görev bir aracı çerçevesi değildir — Microsoft Agent Framework, LangChain veya doğrudan LLM API çağrıları dahil, herhangi bir yapay zeka aracı çerçevesi ile çalışır. Aracı mantığına odaklanırsınız; Dayanıklı Görev, büyük ölçekte güvenilir yürütmeyi işler.

Bu makalede şunları öğreneceksiniz:

  • Yapay zeka aracıları için dayanıklı yürütmenin çözdüğü üretim zorlukları
  • Dayanıklı Görev programlama modeli tarafından desteklenen aracı iş akışı desenleri
  • Dayanıklı Görev teknoloji yığınının Azure'de diğer aracılı iş akışı seçenekleriyle karşılaştırması

Tip

İnşa etmeye başlamaya hazır mısınız? Kod örnekleri için Agentic uygulama desenlerine atlayın veya anahtar teslimi tümleştirme için Microsoft Agent Framework için Durable Task uzantısını deneyin.

Üretimdeki zorlukları dayanıklı yürütme çözer.

Üretimdeki yapay zeka ajanları, dayanıklı yürütmenin ele aldığı çeşitli zorluklarla karşı karşıya gelir.

  • Uzun süre çalışan, durum bilgisi olan oturumlar — Döngüdeki insan etkileşimleri, çok adımlı akıl yürütme ve araç artırılmış iş akışları, bir aracıyı saatler, günler veya haftalar boyunca etkin tutabilir. Aracı, her adımda korunması gereken durumu (konuşma geçmişi, ara sonuçlar, bekleyen kararlar) biriktirir.
  • Pahalı belirteç tüketimi — Büyük hacimli LLM belirteçlerinin işlenmesi maliyetlidir ve zaman alır. Hız sınırları, iş akışının ortasında aracınızı kısıtlayabilir. Bir hata yarıda oluşursa, zaten tüketilen belirteçler ve zaten harcanan zaman kaybedilir.
  • Altyapı kesintileri — İşlem yeniden başlatmaları, dağıtımlar, ölçek daraltma olayları ve geçici hatalar aracı oturumlarını kilitleyebilir. Kurtarma olmadan, ajanın baştan başlaması, daha önce harcanan tüm jetonları yeniden tüketmesi ve tamamlanan tüm işleri tekrarlaması gerekir.

Dayanıklı yürütme şu zorlukları çözer:

  • Otomatik denetim noktası oluşturma — Dayanıklı Görev çalışma zamanı denetim noktaları, dayanıklı depolamaya her durum geçişini (LLM yanıtları, araç çağrısı sonuçları, denetim akışı kararları) sağlar.
  • Son denetim noktasından devam et — Bir hata oluştuğunda, iyi durumdaki bir VM'de yürütme otomatik olarak sürdürülür. Tamamlanan LLM çağrıları, hem belirteç harcaması hem de gerçek zaman korunarak tekrarlanmaz.
  • Yerleşik yeniden denemeler — Geri alma ile yapılandırılabilir yeniden deneme ilkeleri LLM API'lerinden, dış araçlardan ve aşağı akış hizmetlerinden gelen geçici hataları ek kod olmadan işler.

Etken iş akışı desenleri

Dayanıklı Görev, iki geniş kategoriye giren bir dizi aracı iş akışı desenini destekler:

  • Belirleyici iş akışları: Kodunuz denetim akışını tanımlar. Standart programlama yapılarını kullanarak dallanma, paralellik ve hata işleme dahil olmak üzere adım dizisini yazarsınız. LLM, iş akışı içinde bir adım olarak çağrılır ancak genel akışı denetlemez.
  • Aracı tarafından yönlendirilen iş akışları (aracı döngüleri): Kontrol akışını LLM yönetir. Ajan, hangi araçları çağıracağına, hangi sırayla ve görevin ne zaman tamamlanacağına karar verir. Araçlar ve yönergeler sağlarsınız, ancak etken çalışma zamanı icra yolunu belirler.

Her iki kategori de dayanıklı yürütmeden yararlanılır ve aynı uygulamada birleştirilebilir. Kod örnekleriyle desteklenen desenlere ayrıntılı bir bakış için bkz. Aracı uygulama desenleri.

Azure aracı iş akışı seçeneklerini karşılaştırma

Dayanıklı Görev teknoloji yığınına ek olarak Azure üzerinde aracı iş akışları oluşturmak için çeşitli seçenekler vardır. Denetim akışı, programlama dili desteği, yapay zeka çerçevesi tümleştirmesi, barındırma, durum yönetimi ve hedef kitle gereksinimlerinize bağlı olarak her seçeneğin farklı güçlü yönleri ve avantajları vardır. Aşağıdaki tablo, hangisinin gereksinimlerinize uygun olduğunu belirlemenize yardımcı olur.

Kapasite Sürdürülebilir Görev Agent Framework iş akışları Logic Apps aracı döngüsü
Denetim akışı Kesinlik (kod tanımlı) Graf tabanlı (kod tanımlı) Bildirim temelli (tasarımcı / JSON)
Diller .NET, Python, Java, TypeScript/JS .NET, Python Görsel tasarımcı / JSON
Yapay zeka çerçevesi desteği Herhangi bir (Semantik Çekirdek, LangChain, AutoGen, doğrudan API) Aracı Çerçevesi için optimize edilmiş Yerleşik yapay zeka bağlayıcıları
Barındırma Azure İşlevleri veya başka bir konak Herhangi biri; birinci sınıf Foundry Barındırılan Aracılar Yönetilen Logic Apps hizmeti
Durum depolama Dayanıklı Görev Zamanlayıcı (yönetilen) Kendi denetim noktası yöneticinizi getirin Logic Apps çalışma zamanı (yönetilen)
Aracı tarafından yönlendirilen iş akışları Kendi uygulamanızı oluşturun veya Dayanıklı Görev uzantısını kullanın Built-in Aracı Döngüsü Eylemi
Hedef kitle Backend geliştiricileri Uygulama geliştiricileri Entegrasyon / düşük kod kullanıcılar
Uzun süre çalışan görevler Birinci sınıf (birkaç saatten sonsuzluğa) Geliştiricinin kontrol ettiği denetim noktası yoluyla Yalnızca durum bilgisi olan iş akışları (90 güne kadar)
Hata giderme Automatic Kılavuz Automatic
Gözlemlenebilirlik Zamanlayıcı kontrol paneli, OpenTelemetry OpenTelemetry, özel görselleştirme Azure İzleyici, Logic Apps tanılaması

Sonraki Adımlar

  • Last updated on