Implementación de la extensión para edge RAG Preview habilitada por Azure Arc

Después de completar los pasos previos, complete los pasos descritos en este artículo para implementar la extensión RAG de Edge.

Importante

La versión preliminar de RAG de Edge habilitada por Azure Arc está actualmente en versión preliminar. Consulte Términos de uso complementarios para las versiones preliminares de Microsoft Azure para conocer los términos legales que se aplican a las características de Azure que se encuentran en la versión beta, en versión preliminar o que todavía no se han publicado para que estén disponibles con carácter general.

Prerrequisitos

Antes de comenzar, complete los requisitos previos de implementación para edge RAG Preview.

Implementar la extensión

Implemente Edge RAG mediante Azure Portal o la CLI de Azure con un modelo de lenguaje proporcionado por Microsoft o agregue su propio modelo de lenguaje.

Azure Portal

1. En Azure Portal, vaya al clúster de Azure Kubernetes en Azure Local.

2. Seleccione Configuración>Extensiones>+ Agregar y Edge RAG en la lista.

   

3. En la pestaña Básico, especifique la siguiente información:

   Campo	Importancia
   Suscripción	Seleccione la suscripción que contiene el clúster de Azure Kubernetes Service (AKS) en Azure Local.
   Grupo de recursos	Seleccione el grupo de recursos que contiene el clúster de AKS Arc.
   Nombre de implementación	Proporcione un nombre para la implementación.
   Región	Seleccione la región para implementar Edge RAG.
   Clúster	Seleccione el clúster en el que desea implementar Edge RAG.

   

4. Seleccione Siguiente: Configuration (Siguiente: Configuración).

5. En la pestaña Configuración, proporcione la siguiente información:

   Campo	Importancia
   Modo de implementación	Seleccione el modo de GPU o el modo de CPU en función del hardware disponible.
   Modelo	La información que escriba en esta sección depende del modelo de lenguaje que seleccione.
   Modelo de lenguaje	Seleccione el modelo de lenguaje que desea implementar. Elija un modelo de lenguaje proporcionado por Microsoft o bien su propio modelo de lenguaje.
   Modelo de lenguaje de Microsoft	Si eligió Microsoft proporcionado, seleccione uno de los modelos de lenguaje proporcionados por Microsoft.
   Adición de su propio modelo de lenguaje	Si decide proporcionar su propio modelo de lenguaje, escriba la siguiente información.
   Nombre del modelo	Escriba el nombre del modelo de lenguaje.
   Punto de conexión LLM	Escriba el nombre del punto de conexión del modelo de lenguaje grande (LLM) en el formato http://some-endpoint o https://some-endpoint. Por ejemplo: https://<Endpoint_Name>.openai.azure.com/openai/deployments/<model_name> /chat/completions?api-version=<API_VERSION>.
   Token máximo (k)	Escriba un intervalo de números entre 4K y 2048 K para el modelo de lenguaje.
   Configuración de SSL
   SSL CNAME	Proporcione el nombre de dominio del sistema. Este nombre de dominio es el mismo que el URI de redirección proporcionado durante el registro de la aplicación.
   Nombre del secreto SSL de Kubernetes	Proporcione un nombre descriptivo para el secreto SSL que va a usar la aplicación. De forma predeterminada, Edge RAG usa un certificado SSL autofirmado para almacenar bajo este nombre en el almacén de secretos de Kubernetes. Después de la instalación, puede actualizar el certificado con un certificado firmado oficial.
   Acceso
   Entra ID de aplicación	Proporcione el identificador de la aplicación de la aplicación que registró como parte de la configuración de la autenticación (Registros de aplicaciones > Su aplicación > Información general).
   Entra el ID de inquilino	Proporcione el tenant ID de la aplicación que registró como parte de la configuración de la autenticación (Registros de aplicaciones > Su aplicación > Resumen).

   

6. Seleccione Siguiente: Revisar y crear.

7. Revise y valide los parámetros proporcionados.

8. Seleccione Crear para completar la implementación de RAG de Edge.

9. Una vez completada la implementación, en Extensiones, compruebe que se enumeran los tipos de extensión microsoft.arc.rag y microsoft.extensiondiagnostics .

Azure CLI

1. Establezca los valores de los parámetros en el comando siguiente y, a continuación, ejecute el comando .

   $gpu_enabled = "true"  # Mark it true if you have GPUs available for Edge RAG
   $localextname = "edgeragdemo" # Once used do not change
   $autoUpgrade = "false"
   $tenantId = "<App Tenant ID>" # App registrations -> Your app -> Overview on Azure portal
   $appId = "<App ID>" # App registrations -> Your app -> Overview on Azure portal
   $domainName = "arcrag.contoso.com" # App redirect URI and this domain name should be the same
   $sub = "<Subscription GUID>"
   $rg = "<Resource Group name>"
   $k8scluster = "<Azure Kubernetes Service (ASK) Arc cluster name>"
   $extension "microsoft.arc.rag" # do not change
   $n = "arc-rag" # do not change
   

2. Establezca los valores necesarios para el modelo de lenguaje proporcionado por Microsoft o su propio modelo de lenguaje.

   • Opción del modelo de lenguaje proporcionado por Microsoft: edite el siguiente comando según corresponda y ejecute el comando.

     $modelName = "microsoft/Phi-3.5" # If you want to switch to Mistral 7B, change this variable to "mistralAI/Mistral-7B" 
     

   • Traiga su propia opción de modelo de lenguaje: edite el siguiente comando según corresponda y ejecute el comando.

     $apiEndpoint = <Endpoint URI> 
     $apiModel = <Model Name> 
     $maxTokensInK = <Max Tokens In K (e.g. 10, 20 etc.)> 
     

3. Después de rellenar los valores de parámetro, implemente la extensión de Azure Arc ejecutando el comando para el modelo de lenguaje proporcionado por Microsoft o para su propio modelo de lenguaje:

   • Opción del modelo de lenguaje proporcionado por Microsoft: ejecute el siguiente comando.

     az provider register --namespace Microsoft.KubernetesConfiguration
     az feature register --namespace Microsoft.KubernetesConfiguration --name extensions 
     
     az k8s-extension create --cluster-type connectedClusters --cluster-name $k8scluster --resource-group $rg --name $localextname --extension-type $extension --debug --release-train preview --auto-upgrade $autoUpgrade `
        --configuration-settings isManagedIdentityRequired=true --configuration-settings gpu_enabled=$gpu_enabled --configuration-settings AgentOperationTimeoutInMinutes=30  `
        --configuration-settings model=$modelName --configuration-settings auth.tenantId=$tenantId --configuration-settings auth.clientId=$appId --configuration-settings ingress.domainname=$domainName
     

   • Agregue su propia opción de modelo de lenguaje: ejecute el siguiente comando.

     az k8s-extension create --cluster-type connectedClusters --cluster-name $k8scluster --resource-group $rg --name $localextname --extension-type $extension --debug --release-train preview --auto-upgrade $autoUpgrade ` 
         --configuration-settings isManagedIdentityRequired=true --configuration-settings gpu_enabled=$gpu_enabled --configuration-settings AgentOperationTimeoutInMinutes=30  `     
         --configuration-settings auth.tenantId=$tenantId --configuration-settings auth.clientId=$appId --configuration-settings ingress.domainname=$domainName `   
         --configuration-settings byom.enabled="true" --configuration-settings byom.apiEndpoint=$apiEndpoint --configuration-settings byom.apiModel=$apiModel --configuration-settings byom.maxTokensInK=$maxTokensInK 
     

La implementación de la extensión RAG de Edge suele tardar unos 30 minutos, pero puede tardar más en función de la conectividad.

Adición de su propio modelo de lenguaje

Si ha agregado su propio modelo de lenguaje al desplegar la extensión Edge RAG, complete los pasos descritos en Configure la autenticación del endpoint "BYOM" para Edge RAG.

Contenido relacionado

• Configurar la autenticación del endpoint "BYOM" para Edge RAG
• Autoridad certificadora personalizada en el Servicio Kubernetes de Azure (AKS)
• Configuración de la solución de chat para Edge RAG
• Adición de un origen de datos para la solución de chat en Edge RAG