Wdrażanie rozszerzenia dla programu Edge RAG w wersji zapoznawczej włączonej przez usługę Azure Arc

Po wykonaniu kroków wymagań wstępnych wykonaj kroki opisane w tym artykule, aby wdrożyć rozszerzenie EDGE RAG.

Ważne

Edge RAG (wersja zapoznawcza) włączona przez usługę Azure Arc jest obecnie dostępna w wersji zapoznawczej. Zobacz dodatkowe warunki użytkowania dla wersji zapoznawczych platformy Microsoft Azure, aby zapoznać się z postanowieniami prawnymi dotyczącymi funkcji platformy Azure, które są w wersji beta, wersji zapoznawczej lub w inny sposób nie zostały jeszcze wydane w wersji ogólnodostępnej.

Wymagania wstępne

Przed rozpoczęciem należy spełnić wymagania wstępne wdrożenia dla wersji zapoznawczej programu Edge RAG.

Wdrażanie rozszerzenia

Wdróż Edge RAG przy użyciu Azure portal lub Azure CLI z dostarczonym przez Microsoft modelem językowym lub dodaj własny model językowy.

Portal Azure

1. W witrynie Azure Portal przejdź do klastra Usługi Azure Kubernetes w środowisku lokalnym platformy Azure.

2. Wybierz Ustawienia>Rozszerzenia>+ Dodaj i Edge RAG z listy.

   

3. Na karcie Podstawowe podaj następujące informacje:

   (No changes needed)	Wartość
   Subskrypcja	Wybierz subskrypcję zawierającą klaster usługi Azure Kubernetes Service (AKS) w środowisku lokalnym platformy Azure.
   Grupa zasobów	Wybierz grupę zasobów zawierającą klaster usługi AKS Arc.
   Nazwa wdrożenia	Podaj nazwę wdrożenia.
   Rejon	Wybierz region, w którym chcesz wdrożyć program Edge RAG.
   Klaster	Wybierz klaster, do którego chcesz wdrożyć program Edge RAG.

   

4. Wybierz Dalej: Konfiguracja.

5. Na karcie Konfiguracja podaj następujące informacje:

   (No changes needed)	Wartość
   Tryb wdrażania	Wybierz tryb procesora GPU lub tryb procesora CPU w zależności od dostępnego sprzętu.
   Model	Informacje wprowadzone w tej sekcji zależą od wybranego modelu językowego.
   Model językowy	Wybierz model językowy, który chcesz wdrożyć. Wybierz model językowy udostępniony przez Microsoft lub własny.
   Model językowy firmy Microsoft	Jeśli wybrano pozycję Firma Microsoft, wybierz jeden z udostępnionych modeli językowych firmy Microsoft.
   Dodawanie własnego modelu językowego	Jeśli zdecydujesz się na podanie własnego modelu językowego, wprowadź następujące informacje.
   Nazwa modelu	Wprowadź nazwę modelu językowego.
   Punkt końcowy usługi LLM	Wprowadź nazwę punktu końcowego dużego modelu językowego (LLM) w formacie http://some-endpoint lub https://some-endpoint. Na przykład https://<Endpoint_Name>.openai.azure.com/openai/deployments/<model_name> /chat/completions?api-version=<API_VERSION>.
   Maksymalny token (k)	Wprowadź zakres liczb z zakresu od 4K do 2048 K dla modelu językowego.
   Ustawienia protokołu SSL
   SSL CNAME	Podaj nazwę domeny dla systemu. Ta nazwa domeny jest taka sama jak podany identyfikator URI przekierowania podczas rejestracji aplikacji.
   Nazwa sekretu SSL w Kubernetes	Podaj przyjazną nazwę tajnego klucza SSL, który ma być używany przez aplikację. Domyślnie usługa Edge RAG używa certyfikatu SSL z podpisem własnym do przechowywania pod tą nazwą w magazynie tajemnic Kubernetes. Po zakończeniu instalacji można zaktualizować certyfikat za pomocą oficjalnego podpisanego certyfikatu.
   Uzyskaj dostęp
   Identyfikator aplikacji Entra	Podaj identyfikator aplikacji z aplikacji zarejestrowanej w ramach konfigurowania uwierzytelniania (Rejestracje > aplikacji Przegląd aplikacji > ).
   Identyfikator najemcy Entra	Podaj identyfikator dzierżawy z aplikacji zarejestrowanej w ramach konfigurowania uwierzytelniania (Rejestracje > aplikacji Przegląd aplikacji > ).

   

6. Wybierz Dalej: Przejrzyj i utwórz.

7. Przejrzyj i zweryfikuj podane parametry.

8. Wybierz pozycję Utwórz , aby ukończyć wdrażanie programu Edge RAG.

9. Po zakończeniu wdrażania, pod Rozszerzenia, sprawdź, czy wyświetlane są typy rozszerzeń microsoft.arc.rag i microsoft.extensiondiagnostics.

Azure CLI

1. Ustaw wartości parametrów w poniższym poleceniu, a następnie uruchom polecenie.

   $gpu_enabled = "true"  # Mark it true if you have GPUs available for Edge RAG
   $localextname = "edgeragdemo" # Once used do not change
   $autoUpgrade = "false"
   $tenantId = "<App Tenant ID>" # App registrations -> Your app -> Overview on Azure portal
   $appId = "<App ID>" # App registrations -> Your app -> Overview on Azure portal
   $domainName = "arcrag.contoso.com" # App redirect URI and this domain name should be the same
   $sub = "<Subscription GUID>"
   $rg = "<Resource Group name>"
   $k8scluster = "<Azure Kubernetes Service (ASK) Arc cluster name>"
   $extension "microsoft.arc.rag" # do not change
   $n = "arc-rag" # do not change
   

2. Ustaw wartości wymagane dla modelu językowego dostarczonego przez firmę Microsoft lub własnego modelu językowego.

   • Opcja modelu językowego dostarczonego przez firmę Microsoft: edytuj następujące polecenie zgodnie z potrzebami i uruchom polecenie .

     $modelName = "microsoft/Phi-3.5" # If you want to switch to Mistral 7B, change this variable to "mistralAI/Mistral-7B" 
     

   • Opcja Bring your own language model (Przynieś własny model językowy): edytuj następujące polecenie zgodnie z potrzebami i uruchom polecenie .

     $apiEndpoint = <Endpoint URI> 
     $apiModel = <Model Name> 
     $maxTokensInK = <Max Tokens In K (e.g. 10, 20 etc.)> 
     

3. Po wypełnieniu wartości parametrów wdróż rozszerzenie usługi Azure Arc, uruchamiając polecenie dla modelu językowego dostarczonego przez firmę Microsoft lub własnego modelu językowego:

   • Opcja modelu językowego dostarczonego przez firmę Microsoft: uruchom następujące polecenie.

     az provider register --namespace Microsoft.KubernetesConfiguration
     az feature register --namespace Microsoft.KubernetesConfiguration --name extensions 
     
     az k8s-extension create --cluster-type connectedClusters --cluster-name $k8scluster --resource-group $rg --name $localextname --extension-type $extension --debug --release-train preview --auto-upgrade $autoUpgrade `
        --configuration-settings isManagedIdentityRequired=true --configuration-settings gpu_enabled=$gpu_enabled --configuration-settings AgentOperationTimeoutInMinutes=30  `
        --configuration-settings model=$modelName --configuration-settings auth.tenantId=$tenantId --configuration-settings auth.clientId=$appId --configuration-settings ingress.domainname=$domainName
     

   • Dodaj własną opcję modelu językowego: uruchom następujące polecenie.

     az k8s-extension create --cluster-type connectedClusters --cluster-name $k8scluster --resource-group $rg --name $localextname --extension-type $extension --debug --release-train preview --auto-upgrade $autoUpgrade ` 
         --configuration-settings isManagedIdentityRequired=true --configuration-settings gpu_enabled=$gpu_enabled --configuration-settings AgentOperationTimeoutInMinutes=30  `     
         --configuration-settings auth.tenantId=$tenantId --configuration-settings auth.clientId=$appId --configuration-settings ingress.domainname=$domainName `   
         --configuration-settings byom.enabled="true" --configuration-settings byom.apiEndpoint=$apiEndpoint --configuration-settings byom.apiModel=$apiModel --configuration-settings byom.maxTokensInK=$maxTokensInK 
     

Wdrożenie rozszerzenia EDGE RAG zwykle trwa około 30 minut, ale może trwać dłużej w zależności od łączności.

Dodawanie własnego modelu językowego

Jeśli podczas wdrażania rozszerzenia EDGE RAG dodano własny model językowy, wykonaj kroki opisane w temacie Konfigurowanie uwierzytelniania punktu końcowego "BYOM" dla programu Edge RAG.

Treści powiązane

• Konfigurowanie uwierzytelniania punktu końcowego "BYOM" dla rozwiązania Edge RAG
• Niestandardowy urząd certyfikacji w usłudze Azure Kubernetes Service (AKS)
• Konfigurowanie rozwiązania czatu dla programu Edge RAG
• Dodawanie źródła danych dla rozwiązania czatu w usłudze Edge RAG