Tworzenie agenta na platformie Azure

Kiedy startup postanawia opuścić etap prototypów i budować agentów sztucznej inteligencji produkcyjnych, skupienie przesuwa się z eksperymentów na architekturę. Tworzenie agenta dla klientów korporacyjnych wymaga zabezpieczeń, niezawodności i możliwości adaptacji dla wielu klientów. Startupy muszą również zrównoważyć przemyślany projekt z szybkością i prostotą.

Podczas tworzenia agentów na Azure istnieją cztery podstawowe obszary projektowe, którymi każda firma startupowa musi się zająć.

  1. Wielodostępność: jak bezpiecznie i wydajnie obsługiwać wielu klientów podczas izolowania danych, kontekstu i obliczeń.
  2. Warstwa aplikacji: sposób, w jaki użytkownicy wchodzą w interakcje z agentem za pośrednictwem interfejsów API, aplikacji Teams lub doświadczeń webowych, oraz jak te interfejsy są mapowane na logikę i zabezpieczenia specyficzne dla najemcy.
  3. Warstwa orkiestracji: sposób, w jaki rozumowanie, użycie narzędzi i koordynacja działań są zarządzane w celu uzyskania niezawodnych, łatwych do audytu wyników w różnych zadaniach i modelach.
  4. Warstwa kontekstu: sposób pozyskiwania, strukturacji i rozumowania nad odpowiednią wiedzą, przy użyciu wyszukiwania wektorowego, zasobów pamięci i integracji danych na żywo.

Te cztery obszary stanowią szkielet skalowalnej architektury agentów. Określają nie tylko sposób działania agenta, ale także sposób jego rozwoju oraz wspierają ciągłe ulepszanie, dostosowywanie dla każdego najemcy i głębszą integrację z ekosystemów klientów.

Wielodzierżawność

W przypadku startupów wielodostępność jest podstawą tworzenia zrównoważonej, skalowalnej platformy systemu agentowego. Definiuje ona sposób, w jaki system obsługuje wielu klientów, z których każdy ma własne dane, modele i kontekst, przy jednoczesnym zachowaniu bezpieczeństwa, wydajności i efektywności kosztowej. W świecie agentów sztucznej inteligencji, gdzie kontekst i personalizacja są kluczowe dla tworzenia wartości, wielodzierżawość określa również sposób partycjonowania, udostępniania i ewolucji inteligencji wśród najemców.

Azure oferuje kilka natywnych wzorców i usług, które sprawiają, że wielodostępność jest elastyczna i bezpieczna. Właściwe podejście zależy od modelu produktu, poufności danych i wymagań dotyczących skalowania.

Logiczna a fizyczna wielodostępność

  • Logical multitenancy jest osiągana przez izolowanie danych i konfiguracji klientów w zasobach udostępnionych (na przykład pojedyncze wystąpienie Cosmos DB z partycjami lub kolekcjami specyficznymi dla dzierżawy albo pojedyncza usługa Wyszukiwanie AI platformy Azure z indeksami specyficznymi dla dzierżawy). Ten model oferuje wysoką wydajność i prostsze operacje, co czyni go idealnym rozwiązaniem dla startów na wczesnym etapie.
  • Physical multitenancy zapewnia silniejszą izolację dzięki aprowizowaniu dedykowanych zasobów dla każdego najemcy, takich jak oddzielne bazy danych, konta magazynu lub całościowe wdrożenia z wykorzystaniem ofert aplikacja systemu Azure. Takie podejście jest powszechne w przypadku regulowanych branż lub klientów korporacyjnych, którzy wymagają gwarancji rezydencji danych.

Większość startupów stosuje model hybrydowy: izolację logiczną dla większości najemców oraz izolację fizyczną dla klientów o wysokiej wartości lub wymagających zgodności. Jest to często określane jako wdrożenie partycjonowane w poziomie. Wdrożenia partycjonowane poziomo są optymalne dla startupów na wczesnym etapie, ponieważ umożliwiają minimalną infrastrukturę aplikacyjną przy jednoczesnym zapewnieniu izolacji danych najemcy dla klientów B2B. Zmniejsza to zapotrzebowanie na złożone partycjonowanie danych i zmniejsza koszty nadmiarowej infrastruktury.

Wielodostępność agentów sztucznej inteligencji

Tożsamość i Kontrola dostępu

Sednem wielowłaścicielstwa jest tożsamość. Microsoft Entra ID (Azure AD) stanowi podstawę bezpiecznej, świadomej dzierżawy kontroli dostępu.

Wiele wielodostępnych rozwiązań działa jako SaaS. Jednak wybór użycia Microsoft Entra ID lub External ID zależy częściowo od sposobu definiowania twoich dzierżawców lub bazy klientów.

  • Jeśli najemcy lub klienci są organizacjami, mogą już używać Microsoft Entra ID w usługach takich jak Microsoft 365, Microsoft Teams lub dla własnych środowisk Azure. Możesz utworzyć aplikację multitenant we własnym katalogu Microsoft Entra ID, aby udostępnić rozwiązanie innym katalogom Microsoft Entra ID. Rozwiązanie można również wyświetlić w Azure Marketplace i udostępnić je organizacjom korzystającym z Microsoft Entra ID.
  • Jeśli najemcy lub klienci nie używają Microsoft Entra ID lub jeśli są osobami fizycznymi, a nie organizacjami, rozważ użycie External ID. Identyfikator zewnętrzny udostępnia funkcje umożliwiające kontrolowanie sposobu rejestrowania się i logowania użytkowników. Możesz na przykład ograniczyć dostęp do rozwiązania tylko do zapraszanych użytkowników lub włączyć rejestrację samoobsługową. Możesz użyć znakowania niestandardowego. Aby umożliwić swoim pracownikom logowanie, możesz zaprosić użytkowników z dzierżawy Microsoft Entra ID jako gości do External ID za pośrednictwem dostępu gościa. Identyfikator zewnętrzny umożliwia również federację z innymi dostawcami tożsamości.
  • Niektóre rozwiązania wielodostępne są przeznaczone dla obu scenariuszy. Niektórzy dzierżawcy mogą mieć własne Microsoft Entra ID, a inni mogą nie mieć. W tym scenariuszu można użyć identyfikatora zewnętrznego i użyj federacji, aby umożliwić logowanie się użytkownikom z katalogu Microsoft Entra ID tenanta.

Postępuj zgodnie z tym przewodnikiem (Konwertuj aplikację jednostanowiskową na wielostanowiskową w Microsoft Entra ID: Platforma tożsamości Microsoft | Microsoft Learn), aby użyć Entra ID do aktywacji aplikacji wielostanowiskowej.

Izolacja danych i kontekstu

Ponieważ agenci w dużej mierze polegają na wiedzy kontekstowej, kluczowe jest izolowanie procesów pobierania danych i osadzania w kontekście każdej dzierżawy. Azure Cache for Redis, Cosmos DB, i Azure Storage obsługują przestrzenie nazw i indeksy specyficzne dla dzierżawy, a usługi takie jak Azure Confidential Computing lub Private Endpoints chronią poufne interakcje.

W przypadku używania bazy danych wektorowych do pobierania uzupełnianego (RAG) startupy powinny implementować indywidualne przestrzenie nazw wektorowych lub oddzielne kolekcje, aby zapobiec wyciekowi danych dla różnych klientów. Upraszcza to również skalowanie i rozliczenia dla każdego najemcy.

Możliwość obserwowania, koszt i skala

Widoczność operacyjna jest kluczowa w platformie wielozadaniowej agentów.

  • Azure Monitor i Application Insights można rozszerzyć do rejestrowania użycia dla dzierżawcy, pomagając w rozwiązywaniu problemów, dostrajaniu wydajności i rozliczeń opartych na użyciu.
  • Azure Container Apps i AKS pozwalają na automatyczne skalowanie na podstawie obciążenia najemcy, zachowując efektywność kosztową.
  • W przypadku zarabiania za pośrednictwem Microsoft commercial marketplace dane użycia dzierżawy mogą być przekazywane bezpośrednio do interfejsów API pomiarów na potrzeby automatycznego rozliczania i raportowania.

Dlaczego ma to znaczenie

Uzyskanie wielodostępności na wczesnym etapie umożliwia startupom:

  • Obsługa wielu klientów bez duplikowania infrastruktury.
  • Wymuszanie silnych granic danych i mechanizmów kontroli zgodności.
  • Obsługa zarówno małych, jak i przedsiębiorstw najemców z dostosowaną izolacją.
  • Uprość monetyzację przyszłego rynku i gotowość do współsprzedaży.

Krótko mówiąc, wielodostępność przekształca agenta z autonomicznego prototypu w biznes platformowy, umożliwiający obsługę setek organizacji za pośrednictwem jednego, bezpiecznego i elastycznego szkieletu Azure.

Warstwa aplikacji

Warstwa aplikacji, w której użytkownicy wchodzą w interakcję z agentem za pośrednictwem interfejsów czatu, interfejsów API lub osadzonych copilotów w narzędziach takich jak Microsoft Teams. W przypadku startupów ta warstwa jest miejscem, w którym wartość klienta staje się namacalna. Tłumaczy logikę orkiestracji i kontekstową inteligencję na doświadczenie użytkownika, które jest szybko reagujące, spersonalizowane i bezpieczne dla klienta.

W Azure warstwa aplikacji obsługuje dwie role krytyczne:

  1. Działa jako brama dla żądań specyficznych dla najemcy i weryfikacji tożsamości.
  2. Definiuje warstwę środowiska , z którą korzystają użytkownicy, deweloperzy i systemy zewnętrzne.

Granice aplikacji świadomej najemcy

Warstwa aplikacji musi być w pełni świadoma tego, który najemca wysyła żądanie i jakie dane i funkcje są dostępne dla niego. Azure udostępnia kilka usług, aby to włączyć:

  • Azure Front Door lub API Management (APIM) może działać jako globalny punkt wejścia, przekierowując żądania do środowisk lub funkcji specyficznych dla najemcy.
  • Entra ID zarządza uwierzytelnianiem i autoryzacją, zapewniając prawidłowe przypisywanie tokenów użytkowników i usług do właściwego kontekstu dzierżawy.
  • Azure App Configuration i Key Vault zarządzają konfiguracjami specyficznymi dla dzierżawców, kluczami API i sekretami środowiskowymi.

Te granice zapewniają, że każdy najemca używa tej samej platformy agenta, ale w ramach własnej bezpiecznej piaskownicy logicznej, co jest krytycznym krokiem w zapobieganiu przechodzeniu danych i utrzymaniu zgodności z wymogami korporacyjnymi.

Dostarczanie obejmujące wiele kanałów

Nowoczesne środowisko agenta wykracza poza pojedynczy interfejs użytkownika czatu. Startupy mogą prezentować swojego agenta za pośrednictwem wielu kanałów dystrybucji.

warstwa tożsamości Azure zapewnia, że wszystkie te interfejsy współużytkują ujednolicony model uwierzytelniania i autoryzacji, nawet jeśli łączą się z różnymi usługami zaplecza. Ta spójność pozwala startupom na utrzymanie jednego rdzenia agenta, dostarczając jednocześnie dostosowane interfejsy dla każdego klienta lub przypadku użycia.

Zarządzanie stanem i kontekst sesji

W aplikacjach agentycznych sesje często łączą wiele interakcji i modalności. Na przykład użytkownik może rozpocząć konwersację w usłudze Teams, kontynuować za pośrednictwem interfejsu API i przeglądać szczegółowe informacje na pulpicie nawigacyjnym internetowym.

Aby zachować spójność:

  • Azure Cosmos DB lub Azure Cache for Redis może utrwalać stan sesji i kontekst konwersacji per dzierżawcę.
  • Durable Functions umożliwiają długotrwałe przepływy pracy, które śledzą kroki rozumowania agenta, nawet w ramach składników rozproszonych.
  • Event Grid lub Service Bus mogą propagować kontekst i sygnały między modułami, gdy użytkownicy lub systemy wyzwalają aktualizacje.

Ten projekt świadomy sesji pozwala agentom czuć się ciągle i kontekstowo inteligentnymi, bez twardego kodowania przepływów pracy dla każdego trybu interakcji.

Telemetria i informacje o doświadczeniu użytkownika

Warstwa aplikacji jest również miejscem, w którym startupy uzyskują wgląd w interakcje klientów z ich agentami.

  • Usługa Application Insights przechwytuje metryki interakcji, opóźnienia i sygnały zadowolenia użytkowników.
  • Rejestrowanie niestandardowe umożliwia śledzenie współczynników powodzenia intencji, czasów ukończenia lub pętli informacji zwrotnej w celu ciągłego ulepszania jakości orkiestracji.
  • Startupy mogą agregować dane telemetryczne dla najemców w celu tworzenia cen opartych na wykorzystaniu lub raportowania SLA. Te dane są również źródłem pomiarów na platformie handlowej na potrzeby zarabiania.

Dlaczego ma to znaczenie

Warstwa aplikacji definiuje powierzchnię środowiska klienta platformy agenta. Projektując ją tak, aby była świadoma potrzeb najemców, elastyczna w związku z kanałami i bezpieczna dla danych od samego początku, startupy mogą:

  • Zapewnianie spójnych, zaufanych interakcji między aplikacjami Teams, internetem i interfejsami API.
  • Obsługa wymogów dotyczących tożsamości, audytu i zgodności na poziomie korporacyjnym.
  • Zbieranie cennych szczegółowych informacji, które zwiększają rozumowanie i wydajność agenta.
  • Umożliwianie zarabiania na platformie handlowej przy użyciu danych telemetrycznych i pomiarów użycia.

W istocie warstwa aplikacji jest drzwiami wejściowymi do inteligencji agenta, gdzie projektowanie produktu, bezpieczeństwo i doświadczenie użytkownika się łączą.

Integrowanie interfejsów użytkownika dla procesów agentowych

Podczas gdy warstwa aplikacji definiuje sposób, w jaki agent uwidacznia interfejsy API i zarządza dostępem, integracja interfejsu użytkownika definiuje sposób, w jaki użytkownicy końcowi korzystają z agenta. Dla startupów jest to potężna dźwignia. Osadzanie agentów w istniejących powierzchniach współpracy i przepływów pracy, takich jak Microsoft Teams, Outlook i aplikacje Microsoft 365 mogą skrócić cykle wdrażania i zwiększyć zaangażowanie.

Budowanie w Microsoft Teams

Teams to naturalny interfejs dla agentów klasy korporacyjnej. Dzięki aplikacjom usługi Teams startupy mogą osadzać swoich agentów bezpośrednio na czacie, spotkaniach i kanałach, umożliwiając użytkownikom interakcję z agentem, w którym już pracują.

  • Boty i rozszerzenia komunikatów umożliwiają interakcję konwersacyjną lub szybkie akcje łączące się bezpośrednio z warstwą aranżacji agenta za pośrednictwem bezpiecznego interfejsu API.
  • Adaptive Cards i Task Modules mogą prezentować uporządkowane dane wyjściowe, umożliwiając przepływy pracy i zatwierdzenia z przewodnikiem.
  • Łączenie ofert SaaS lub aplikacja systemu Azure w usłudze Teams pozwala na monetyzację doświadczeń powiązanych z ofertami w Azure Marketplace.
  • Integracja Entra ID zapewnia jednokrotne logowanie i kontrolę dostępu na poziomie dzierżawcy, upraszczając wdrożenia wielodzierżawcze w organizacjach.

Teams działa zarówno jako kanał dostarczania, jak i warstwa zaufania, łącząc system sztucznej inteligencji z przepływami pracy przedsiębiorstwa w ramach modelu zabezpieczeń Microsoft. Zestaw narzędzi M365 Agents Toolkit jest dostępny w celu usprawnienia tworzenia agentów gotowych do przedsiębiorstwa na potrzeby integracji z usługą Teams i innymi produktami z pakietu M365. Zestaw Toolkit to rozszerzenie Visual Studio Code i interfejs wiersza polecenia usprawniające tworzenie, debugowanie i wdrażanie agentów niestandardowych dla platform Microsoft 365, takich jak Copilot i Teams. Automatyzuje zadania, takie jak zarządzanie manifestem, sideloading i aprowizowanie zasobów w Azure, umożliwiając deweloperom tworzenie agentów deklaratywnych lub pro-code z zintegrowaną tożsamością i dostępem do danych.

Osadzanie w środowiskach Microsoft 365

Poza usługą Teams startupy mogą rozszerzać swoich agentów w szerszym ekosystemie M365:

  • Outlook wtyczki umożliwiają proaktywną lub reaktywną pomoc w wiadomościach e-mail (na przykład podsumowywanie wątków lub generowanie dalszych działań).
  • Graph Connectors mogą dostarczać dane ustrukturyzowane do środowisk M365 Search i Copilot, rozszerzając zasięg agenta na wiedzę firmową.

Dzięki integracji z powierzchniami M365 startupy mogą korzystać z Microsoft interfejs Graph API w celu ujednolicenia kontekstu, łączenia komunikatów, zdarzeń kalendarza, dokumentów i zadań oraz kontekstowego informowania agenta o środowisku pracy użytkownika.

Inne opcje interfejsu

W przypadku scenariuszy zewnętrznych lub hybrydowych startupy mogą również integrować:

  • Aplikacje lub portale internetowe utworzone za pomocą Azure App Service lub Static Web Apps często służąc jako konsole zarządzania lub pulpity nawigacyjne.
  • Aplikowanie mobilne obsługiwane przez platformę React Native lub .NET MAUI, uwierzytelnione za pośrednictwem Entra ID i połączone za pośrednictwem usługi API Management.
  • Integracje innych firm przy użyciu interfejsów API REST lub Microsoft Graph dla usług Slack, Salesforce lub ServiceNow, umożliwiając agentowi interakcję między ekosystemami.

Projektowanie pod kątem doświadczeń i zabezpieczeń

Niezależnie od interfejsu, startupy powinny projektować:

  • Contextual grounding, które umożliwia agentowi pobieranie odpowiednich danych dzierżawy lub użytkownika z Microsoft Graph lub wewnętrznych interfejsów API.
  • Bezproblemowe uwierzytelnianie przy użyciu logowania jednokrotnego Entra lub tokenów delegowanych dla bezproblemowego doświadczenia użytkownika.
  • Spójne doświadczenie użytkownika i branding , aby interakcje agentów były naturalne w każdym środowisku hosta.

Integrowanie agentów z ekosystemem Microsoft 365 nie dotyczy tylko wygody. Chodzi o to, by docierać do użytkowników tam, gdzie pracują, i uczynić rozwiązanie sztucznej inteligencji naturalnym rozszerzeniem ich narzędzi do zwiększania produktywności, a nie kolejną oddzielną aplikacją.

Warstwa orkiestracji

Jeśli warstwa aplikacji jest drzwiami wejściowymi do platformy agenta, to warstwa orkiestracji jest mózgiem, koordynuje rozumowanie, narzędzia i przepływy pracy, aby dostarczyć spójne i świadome kontekstu wyniki. To miejsce, gdzie inteligencja spotyka się z działaniem.

Warstwa aranżacji łączy intencję użytkownika (z warstwy aplikacji) z logiką domeny, danymi i systemami zewnętrznymi. Dla startupów agentowych jest to najbardziej strategiczna część architektury, równoważąc elastyczność, skalowalność i możliwość obserwacji, jednocześnie abstrahując złożoność od interfejsu użytkownika.

Podstawowe funkcje warstwy orkiestracji

Warstwa orkiestracji zwykle wykonuje pięć kluczowych obowiązków:

  1. Interpretacja intencji: tłumaczenie monitów użytkownika lub wywołań interfejsu API na akcje lub cele ustrukturyzowane.
  2. Zestaw kontekstu: pobieranie odpowiednich danych, pamięci lub narzędzi przed wywołaniem modeli rozumowania.
  3. Wywołanie narzędzia: wykonywanie wywołań interfejsu API, przepływów pracy lub integracji w imieniu agenta.
  4. Synteza odpowiedzi: połączenie wnioskowania z logiką domeny w celu wygenerowania znaczących odpowiedzi.
  5. Obserwacja i uczenie: rejestrowanie wyników, błędów i metryk w celu ciągłego ulepszania.

W przypadku przedsiębiorstw te funkcje mogą być modelowane jako przepływ mikroorkiestracji , a nie jako pojedynczy monolit. Startupy mają jednak tendencję do wykorzystania bardziej monolitycznych wzorców projektowych na wcześniejszych etapach w celu optymalizacji pod kątem szybkości i prostoty.

Implementowanie na Azure

Azure stanowi natywną podstawę do tworzenia i skalowania logiki aranżacji:

  • Azure Functions pełnią rolę bezstanowych węzłów obliczeniowych, które wykonują określoną logikę lub przepływy zadań. Każda funkcja może być powiązana z określonym dzierżawcą, tematem lub typem zdarzenia.
  • Durable Functions umożliwiają długotrwałe lub wieloetapowe wzorce aranżacji, które są dobrze dostosowane do pętli rozumowania, współpracy agentów lub wieloetapowych przepływów pracy.
  • Azure Service Bus zapewnia niezawodne, uporządkowane dostarczanie komunikatów między komponentami orkiestracji, co jest niezbędne do deterministycznego wykonywania w usługach rozproszonych.

Te bezserwerowe elementy pierwotne pozwalają startupom rozwijać się od prostych agentów żądań po reaktywne, sterowane zdarzeniami systemy sztucznej inteligencji, które dynamicznie dostosowują się do kontekstu użytkownika i systemu.

Rozumowanie i użycie narzędzi przez sztuczną inteligencję

W centrum warstwy orkiestracji leży rozumowanie, obsługiwane przez modele Azure OpenAI, takie jak GPT-5 lub inne modele w ofercie Azure-Direct Model.

Najlepiej używać tych modeli nie jako monolitycznych mózgów, ale jako węzłów rozumowania w ustrukturyzowanym potoku:

  • Użyj monitów systemowych i wywołań funkcji , aby kierować modelami rozumowania w kontrolowany sposób.
  • Przechowuj definicje narzędzi i metadane punktów końcowych w centralnym rejestrze narzędzi (na przykład Cosmos DB lub Azure App Configuration), który każde wystąpienie agenta może dynamicznie zapytywać.
  • Wykonuj akcje o wysokich uprawnieniach za pośrednictwem Managed Identities, aby agenci mogli bezpiecznie wywoływali interfejsy API w Azure lub zewnętrzne, bez osadzania poświadczeń.

Oddzielając to, co model decyduje od sposobu realizacji wykonania, zyskujesz zarówno izolację bezpieczeństwa, jak i możliwość obserwowania procesu rozumowania.

Kontekstowa kompozycja i koordynacja pamięci

Rozumowanie jest tak dobre, jak podany kontekst. Warstwa aranżacji jest odpowiedzialna za zebranie tego kontekstu z wielu źródeł przed wywołaniem modelu:

Takie podejście umożliwia rozumowanie kontekstowe. Jest to znak rozpoznawczy zaawansowanych systemów agentycznych.

Obserwowalność i pętle sprzężenia zwrotnego

Aby zapewnić, że agenci pozostaną niezawodni i łatwi do debugowania na dużą skalę, warstwa orkiestracji powinna emitować bogate dane telemetryczne:

  • aplikacja systemu Azure Insights może śledzić każdy krok rozumowania, wywołanie modelu i wykonywanie interfejsu API.
  • Azure Monitor Logs może śledzić wydajność działania agenta według dzierżawy, intencji lub użycia narzędzi.
  • Sygnały opinii (na przykład korekty użytkowników lub wskaźniki sukcesu) mogą być wprowadzane do potoków dokładnego dostrajania lub optymalizacji poleceń w warstwie sztucznej inteligencji.

Dlaczego ma to znaczenie

Warstwa orkiestracji sprawia, że agent jest w stanie planować, decydować i działać autonomicznie.
Implementując tę warstwę przy użyciu infrastruktury opartej na zdarzeniach i bezserwerowej Azure, startupy mogą wykonywać następujące czynności:

  • Dynamiczne skalowanie orkiestracji na lokatora lub obciążenie pracy.
  • Włącz szczegółową kontrolę nad dostępem do narzędzi i kontekstem rozumowania.
  • Zachowaj możliwy do śledzenia łańcuch myślenia na potrzeby zgodności i debugowania.
  • Szybko rozszerzaj swojego agenta za pomocą nowych narzędzi, kanałów lub zachowań.

Krótko mówiąc, warstwa orkiestracji przekształca platformę Azure z chmury obliczeniowej w platformę wykonawczą dla inteligentnych agentów, gdzie rozumowanie, narzędzia i kontekst zbiega się bezproblemowo.

Warstwa kontekstu

Warstwa kontekstu to miejsce, w którym agent zyskuje zrozumienie. Łączy rozumowanie z rzeczywistą wiedzą, zapewniając, że odpowiedzi są dokładne, istotne i specyficzne dla najemcy. Bez dobrze zaprojektowanej warstwy kontekstowej, nawet najbardziej zaawansowane modele rozumowania mogą stać się zawodne lub ogólne.

W przypadku startupów ta warstwa jest wyróżnikiem konkurencyjnym. Jest to miejsce, w którym zastrzeżone dane, spostrzeżenia dotyczące klientów i integracje systemu zbiegają się, aby agent był naprawdę przydatny. Wyzwaniem jest zaprojektowanie go tak, aby było bezpieczne, wielodostępne i dynamicznie komponowalne w różnych przypadkach użycia i klientach.

Rola kontekstu w systemach agentycznych

Analiza agenta sztucznej inteligencji zależy nie tylko od modelu, ale od tego, co wie w momencie rozumowania. Kontekst służy do trzech podstawowych celów:

  1. Podstawy wiedzy: wzbogacanie odpowiedzi modelu za pomocą faktów, danych i ustrukturyzowanej logiki biznesowej.
  2. Pamięć: utrzymywanie ciągłości konwersacji, przepływów pracy lub sesji.
  3. Pobieranie i synteza: pobieranie, filtrowanie i podsumowywanie odpowiednich danych w czasie rzeczywistym.

Razem te funkcje przekształcają model bezstanowy w stanowy system rozumowania , który uczy się i dostosowuje się do każdej interakcji.

Kompozycja kontekstu w Azure

Azure udostępnia wiele usług, które mogą składać się z niezawodnego, wielowarstwowego stosu kontekstowego:

  • Wyszukiwanie AI platformy Azure: podstawa generowania wspomaganego pobieraniem (RAG). Indeksuje dane ustrukturyzowane i nieustrukturyzowane, umożliwiając agentom pozyskiwanie wiedzy specyficznej dla najemcy w czasie wykonywania zapytań.
  • Cosmos DB: idealne rozwiązanie do przechowywania częściowo ustrukturyzowanej wiedzy domenowej, metadanych narzędzi oraz konfiguracji dla najemców.
  • Azure Storage lub Data Lake: używane do długoterminowego przechowywania dokumentów i potoków indeksowania wsadowego.
  • Redis Cache lub PostgreSQL: obsługują pamięć krótkoterminową i sesję, umożliwiając ciągłość kontekstu między konwersacjami.
  • Azure OpenAI Embeddings: umożliwia semantyczną wektoryzację danych dzierżawcy, umożliwiając wyszukiwanie podobieństwa na potrzeby pobierania kontekstu.

Podczas organizowania tych usług tworzą hierarchiczny system pamięci, łącząc szybkie pamięci podręczne z głębszymi warstwami pobierania na potrzeby długoterminowego przechowywania.

Izolacja danych w środowisku wielodostępnym

Startupy muszą projektować systemy kontekstowe, które dokładnie oddzielają granice wiedzy:

Ta architektura zapewnia zgodność i pomaga zapobiegać wyciekom danych między dzierżawami. Krytyczne znaczenie ma zaufanie przedsiębiorstwa.

Augmentowane odzyskiwanie danych i rozumowanie

W czasie wykonywania warstwa kontekstu wzbogaca wywołania o wiedzę dynamiczną za pomocą potoków RAG. Typowy przepływ może wyglądać następująco:

  1. Odbierz zapytanie użytkownika lub intencję z warstwy orkiestracji.
  2. Uruchom wyszukiwanie semantyczne w Wyszukiwanie AI platformy Azure dla odpowiednich dokumentów.
  3. Pobieranie faktów pomocniczych lub definicji narzędzi.
  4. Skonstruuj złożony monit za pomocą pobranego kontekstu.
  5. Wyślij wzbogacony monit do modelu rozumowania (na przykład GPT-4 Turbo).

Dzięki eksternalizacji pozyskiwania wiedzy startupy mogą zachować uproszczone monity dotyczące modelu, zapewniając jednocześnie aktualne osadzenie specyficzne dla najemcy.

Systemy pamięci na potrzeby zachowania adaptacyjnego

Poza pobieraniem kontekst obejmuje pamięć krótkoterminową i długoterminową — mechanizmy, które pozwalają agentowi ewoluować:

  • Wiedza: dane statyczne, które są podstawą zachowania agenta (think RAG).
  • Pamięć długoterminowa: pamięć semantyczna zgromadzona przez agentów za pośrednictwem środowiska i interakcji. Umożliwia to personalizację i poprawę doświadczenia użytkownika z czasem.
  • Pamięć krótkoterminowa: pamięć robocza do zarządzania kontekstem w ramach sesji. Ma to kluczowe znaczenie dla trwałości sesji i rozwiązań z wieloma agentami.

Takie podejście do warstwowej pamięci umożliwia agentom dostosowanie zachowania w czasie bez ponownego trenowania modelu.

Obserwowanie i zarządzanie kosztami

Pobieranie kontekstu i wyszukiwanie wektorów mogą stać się kosztowne na dużą skalę, zwłaszcza przy dużych zestawach danych najemców. Azure ułatwia zarządzanie tym za pomocą:

Startupy mogą dodatkowo optymalizować koszty, buforując zapytania o wysokiej częstotliwości, kompresując osadzenia lub wsadowo pobierając dokumenty.

Dlaczego warstwa kontekstu ma znaczenie

Warstwa kontekstu stanowi fundament wiarygodnej inteligencji. Gwarantuje, że agent nie doświadcza halucynacji, pozostaje osadzony w danych klientów i rozwija się wraz z rzeczywistym użyciem. Implementując go za pomocą usług Azure natywnych, startupy zyskują:

  • Bezpieczny, odizolowany od dzierżawy dostęp do wiedzy.
  • Skalowalne pobieranie i zarządzanie pamięcią.
  • Spójne, faktyczne dokładne rozumowanie między użytkownikami i kontekstami. Kiedy warstwa ta jest poprawnie zaprojektowana, przekształca agenta z systemu konwersacyjnego w asystenta merytorycznego, zdolnego do rozumienia działalności każdego najemcy, jakby była to jego własna.
  • Last updated on