Erste Schritte mit dem Java Enterprise-Chatbeispiel mit RAG

In diesem Artikel erfahren Sie, wie Sie das Beispiel für die Enterprise-Chat-App für Java bereitstellen und ausführen. In diesem Beispiel wird eine Chat-App mit Java, Azure OpenAI Service und Raged Generation (Retrieval Augmented Generation, RAG) in Azure AI Search implementiert, um Antworten auf Mitarbeitervorteile in einem fiktiven Unternehmen zu erhalten. Die App wird mit PDF-Dateien wie dem Mitarbeiterhandbuch, einem Leistungsdokument und einer Liste von Unternehmensrollen und Erwartungen versehen.

• Demovideo

Jetzt beginnen

Indem Sie die Anweisungen in diesem Artikel befolgen, werden Sie:

• Eine Chat-App in Azure bereitstellen.
• Antworten auf zu den Mitarbeitervergünstigungen erhalten.
• Einstellungen ändern, um das Verhalten auf Antworten zu ändern.

Nachdem Sie diesen Artikel abgeschlossen haben, können Sie mit dem Ändern des neuen Projekts mit Ihrem benutzerdefinierten Code beginnen.

Dieser Artikel ist Teil einer Sammlung von Artikeln, die Ihnen zeigen, wie Sie eine Chat-App mit Azure OpenAI Service und Azure AI Search erstellen. Weitere Artikel in der Sammlung sind:

• .Net
• JavaScript
• Python

Übersicht über die Architektur

Eine einfache Architektur der Chat-App wird im folgenden Diagramm gezeigt:

Zu den wichtigsten Komponenten der Architektur gehören:

• Eine Webanwendung zum Hosten der interaktiven Chaterfahrung.
• Eine Azure AI Search-Ressource, um Antworten aus Ihren eigenen Daten zu erhalten.
• Ein Azure OpenAI-Dienst, der Folgendes bereitstellt:
  • Schlüsselwörter, um die Suche in Ihren eigenen Daten zu verbessern.
  • Antworten aus dem OpenAI-Modell.
  • Einbettungen aus dem ada-Modell

Kosten

Die meisten Ressourcen in dieser Architektur verwenden einen Basic- oder Verbrauchspreistarif. Die Verbrauchspreise basieren auf der Nutzung, was bedeutet, dass Sie nur für ihre Nutzung bezahlen. Um diesen Artikel abzuschließen, gibt es eine Gebühr, aber sie ist gering. Wenn Sie mit dem Artikel fertig sind, können Sie die Ressourcen löschen, um das Entstehen von Gebühren zu beenden.

Erfahren Sie mehr über die Kosten im Beispielrepo.

Voraussetzungen

Eine Entwicklungscontainerumgebung ist mit allen Abhängigkeiten verfügbar, die zum Abschließen dieses Artikels erforderlich sind. Sie können den Entwicklungscontainer in GitHub Codespaces (in einem Browser) oder lokal mit Visual Studio Code ausführen.

Um diesen Artikel zu verwenden, benötigen Sie die folgenden Voraussetzungen:

Codespaces (empfohlen)

1. Azure-Abonnement: Kostenloses Azure-Konto
2. Azure-Kontoberechtigungen: Ihr Azure-Konto muss über Microsoft.Authorization/roleAssignments/Schreibberechtigungen verfügen, z. B. Benutzerzugriffsadministrator oder Besitzer.
3. Zugriff auf Azure OpenAI im gewünschten Azure-Abonnement gewährt. Derzeit wird der Zugriff auf diesen Dienst nur auf Antrag gewährt. Sie können den Zugriff auf Azure OpenAI beantragen, indem Sie das Formular unter https://aka.ms/oai/access ausfüllen. Öffnen Sie ein Problem in diesem Repository, um uns bei einem Problem zu kontaktieren.
4. GitHub -Konto

Visual Studio Code

1. Azure-Abonnement: Kostenloses Azure-Konto
2. Azure-Kontoberechtigungen: Ihr Azure-Konto muss über Microsoft.Authorization/roleAssignments/Schreibberechtigungen verfügen, z. B. Benutzerzugriffsadministrator oder Besitzer.
3. Zugriff auf Azure OpenAI im gewünschten Azure-Abonnement gewährt. Derzeit wird der Zugriff auf diesen Dienst nur auf Antrag gewährt. Sie können den Zugriff auf Azure OpenAI beantragen, indem Sie das Formular unter https://aka.ms/oai/access ausfüllen. Öffnen Sie ein Problem in diesem Repository, um uns bei einem Problem zu kontaktieren.
4. Azure Developer CLI
5. Docker Desktop: Starten sie Docker Desktop, wenn er noch nicht läuft
6. Visual Studio Code
7. Dev-Containererweiterung

Öffnen Sie die Entwicklungsumgebung

Beginnen Sie jetzt mit einer Entwicklungsumgebung, in der alle Abhängigkeiten installiert sind, um diesen Artikel abzuschließen.

GitHub Codespaces (empfohlen)

GitHub Codespaces führt einen von GitHub verwalteten Entwicklungscontainer mit Visual Studio Code für Web als Benutzeroberfläche aus. Verwenden Sie für die einfachste Entwicklungsumgebung GitHub Codespaces, damit Sie die richtigen Entwicklertools und Abhängigkeiten vorinstalliert haben, um diesen Artikel abzuschließen.

Wichtig

Alle GitHub-Konten können Codespaces für bis zu 60 Stunden pro Monat mit zwei Kerninstanzen kostenlos verwenden. Weitere Informationen finden Sie im Artikel zu monatlich enthaltener Speicherkapazität und Kernstunden in GitHub Codespaces.

1. Starten Sie den Prozess, um einen neuen GitHub Codespace im Branch main des GitHub-Repositorys Azure-Samples/azure-search-openai-demo-java zu erstellen.

2. Klicken Sie mit der rechten Maustaste auf die folgende Schaltfläche, und wählen Sie den Link in neuen Fenstern öffnen aus, damit sowohl die Entwicklungsumgebung als auch die Dokumentation gleichzeitig verfügbar sind.

   Dieses Projekt in GitHub Codespaces öffnen

3. Überprüfen Sie auf der Seite Codespace erstellen die Codespace-Konfigurationseinstellungen, und wählen Sie dann Neuen Codespace erstellen aus.

   

4. Warten Sie den Start des Codespaces ab. Dieser Startvorgang kann einige Minuten dauern.

5. Melden Sie sich am unteren Bildschirmrand am Terminal mit der Azure Developer CLI bei Azure an.

   azd auth login
   

6. Kopieren Sie den Code vom Terminal und fügen Sie ihn dann in einen Browser ein. Befolgen Sie die Anweisungen zum Authentifizieren mit Ihrem Azure-Konto.

7. Die verbleibenden Aufgaben in diesem Artikel finden im Kontext dieses Entwicklungscontainers statt.

Visual Studio Code

Die Dev Containers-Erweiterung für Visual Studio Code erfordert, dass Docker auf Ihrem lokalen Computer installiert ist. Die Erweiterung hostet den Entwicklungscontainer lokal mithilfe des Docker-Hosts mit den richtigen Entwicklertools und Abhängigkeiten, die vorinstalliert sind, um diesen Artikel abzuschließen.

1. Öffnen Sie Visual Studio Code im Kontext eines leeren Verzeichnisses.

2. Stellen Sie sicher, dass die Dev Containers-Erweiterung in Visual Studio Code installiert ist.

3. Öffnen Sie ein neues Terminal im Codespace.

   Tipp

   Sie können das Hauptmenü verwenden, um zur Menüoption Terminal zu navigieren und dann die Option Neues Terminal auszuwählen.

   

4. Melden Sie sich mit der Azure Developer CLI bei Azure an.

   azd auth login
   

   Kopieren Sie den Code vom Terminal und fügen Sie ihn dann in einen Browser ein. Befolgen Sie die Anweisungen zum Authentifizieren mit Ihrem Azure-Konto.

5. Erstellen Sie einen Ordner und initialisieren Sie ihn, um das Beispielprojekt mit Azure Developer CLI zu verwenden:

   azd init -t azure-search-openai-demo-java
   

   Sie müssen dieses Repository nicht klonen.

6. Öffnen Sie die Befehlspalette, suchen Sie nach den Dev Containers-Befehlen, und wählen Sie dann Dev Containers: In Container erneut öffnen aus.

   Tipp

   Visual Studio Code fordert Sie möglicherweise automatisch auf, den vorhandenen Ordner in einem Entwicklungscontainer erneut zu öffnen. Dies entspricht funktional der Verwendung der Befehlspalette, um den aktuellen Arbeitsbereich in einem Container erneut zu öffnen.

7. Öffnen Sie das Terminalfenster erneut (STRG + `), und lassen Sie es geöffnet.

8. Die restlichen Übungen in diesem Projekt finden im Kontext dieses Entwicklungscontainers statt.

Bereitstellen und Ausführen

Das Beispiel-Repository enthält alle Code- und Konfigurationsdateien, die Sie zum Bereitstellen einer Chat-App in Azure benötigen. Die folgenden Schritte führen Sie durch den Prozess der Bereitstellung des Beispiels in Azure.

Bereitstellen einer Chat-App in Azure

Wichtig

In diesem Abschnitt erstellte Azure-Ressourcen verursachen sofortige Kosten, in erster Linie durch die Azure KI-Suche-Ressource. Diese Ressourcen können Kosten verursachen, selbst wenn Sie den Befehl unterbrechen, bevor er vollständig ausgeführt wird.

1. Führen Sie den folgenden Azure Developer CLI-Befehl aus, um die Azure-Ressourcen bereitzustellen und den Quellcode bereitzustellen:

   azd up
   

2. Wenn Sie aufgefordert werden, einen Umgebungsnamen einzugeben, halten Sie ihn kurz und klein geschrieben. Beispiel: myenv. Wird als Teil des Ressourcengruppennamens verwendet.

3. Wenn Sie dazu aufgefordert werden, wählen Sie ein Abonnement aus, in dem die Ressourcen erstellt werden sollen.

4. Wenn Sie aufgefordert werden, einen Ort zum ersten Mal auszuwählen, wählen Sie einen Ort in Ihrer Nähe aus. Dieser Speicherort wird für die meisten Ressourcen einschließlich Hosting verwendet.

5. Wenn Sie zur Eingabe eines Speicherorts für das OpenAI-Modell aufgefordert werden, wählen Sie einen Speicherort aus, der sich in Ihrer Nähe befindet. Wenn derselbe Speicherort wie Ihr erster Speicherort verfügbar ist, wählen Sie diesen Speicherort aus.

6. Warten Sie, bis die App bereitgestellt wird. Es kann 5 bis 10 Minuten dauern, bis die Bereitstellung abgeschlossen ist.

7. Nachdem die Anwendung erfolgreich bereitgestellt wurde, wird eine URL im Terminal angezeigt.

8. Wählen Sie diese URL aus, die als Deploying service web beschriftet ist, um die Chatanwendung in einem Browser zu öffnen.

Verwenden der Chat-App zum Abrufen von Antworten aus PDF-Dateien

Die Chat-App wird vorab mit Informationen zu den Leistungen für Mitarbeiter aus PDF-Dateien befüllt. Sie können die Chat-App verwenden, um Fragen zu den Leistungen zu stellen. Die folgenden Schritte führen Sie durch den Prozess der Verwendung der Chat-App.

1. Wählen Oder geben Sie im Browser im Chattextfeld "Was ist in meinem Northwind Health Plus-Plan enthalten ist, der nicht im Standard enthalten ist?" ein.

   

2. Wählen Sie in der Antwort eine der Zitate aus.

   

3. Verwenden Sie im rechten Bereich die Registerkarten, um zu verstehen, wie die Antwort generiert wurde.

   Tab	Beschreibung
   Gedankenprozess	Dies ist ein Skript der Interaktionen im Chat.
   Unterstützender Inhalt	Dazu gehören die Informationen zur Beantwortung Ihrer Frage und des Quellmaterials.
   Quellenangaben	Dadurch wird die PDF-Seite angezeigt, die das Zitat enthält.

4. Wenn Sie fertig sind, wählen Sie die ausgewählte Registerkarte erneut aus, um den Bereich zu schließen.

Verwenden von Chat-App-Einstellungen zum Ändern des Verhaltens von Antworten

Die Intelligenz der Chat-App wird durch das OpenAI-Modell und die Einstellungen bestimmt, die für die Interaktion mit dem Modell verwendet werden.

Einstellung	Beschreibung
Außerkraftsetzen der Eingabeaufforderungsvorlage	Dies ist die Eingabeaufforderung, die zum Generieren der Antwort verwendet wird.
Abrufen dieser vielen Suchergebnisse	Dies ist die Anzahl der Suchergebnisse, die zum Generieren der Antwort verwendet werden. Sie können diese Quellen sehen, die im Gedankenprozess und den Registerkarten mit Unterstützendem Inhalt zum Zitat zurückgegeben werden.
Kategorie ausschließen	Dies ist die Kategorie von Dokumenten, die aus den Suchergebnissen ausgeschlossen sind.
Verwenden des semantischen Rankers für den Abruf	Dies ist ein Feature von Azure KI-Suche, das maschinelles Lernen verwendet, um die Relevanz von Suchergebnissen zu verbessern.
Verwenden von Abfragekontextzusammenfassungen anstelle von ganzen Dokumenten	Wenn beide Use semantic ranker und Use query-contextual summaries überprüft werden, verwendet der LLM Beschriftungen, die aus wichtigen Passagen extrahiert wurden, anstelle aller Passagen in den am höchsten bewerteten Dokumenten.
Vorschlagen von Anschlussfragen	Lassen Sie die Chat-App Anschlussfragen basierend auf der Antwort vorschlagen.
Abrufmodus	Vektoren + Text bedeutet, dass die Suchergebnisse auf dem Text der Dokumente und den Einbettungen der Dokumente basieren. Vektoren bedeutet, dass die Suchergebnisse auf den Einbettungen der Dokumente basieren. Text bedeutet, dass die Suchergebnisse auf dem Text der Dokumente basieren.
Antworten zum Streamen von Chatabschluss	Streamantwort statt zu warten, bis die vollständige Antwort für eine Antwort verfügbar ist.

Die folgenden Schritte führen Sie durch den Prozess der Änderung der Einstellungen.

1. Wählen Sie im Browser die Registerkarte "Entwicklertools" Einstellungen aus.

2. Aktivieren Sie das Kontrollkästchen Anschlussfragen vorschlagen und stellen Sie die gleiche Frage erneut.

   What is my deductible?
   

   Der Chat hat vorgeschlagene Nachverfolgungsfragen wie z. B. folgendes zurückgegeben:

   1. What is the cost sharing for out-of-network services?
   2. Are preventive care services subject to the deductible?
   3. How does the prescription drug deductible work?
   

3. Deaktivieren Sie auf der Registerkarte Einstellungen die Option Semantischen Ranker zum Abrufen verwenden.

4. Stellen Sie die gleiche Frage erneut?

   What is my deductible?
   

5. Was ist der Unterschied in den Antworten?

   Die Antwort, die den semantischen Rangierer verwendet hat, lieferte beispielsweise eine einzige Antwort: The deductible for the Northwind Health Plus plan is $2,000 per year.

   Die Reponse ohne semantische Rangfolge hat eine Antwort zurückgegeben, die mehr Arbeit erforderte, um die Antwort zu erhalten: Based on the information provided, it is unclear what your specific deductible is. The Northwind Health Plus plan has different deductible amounts for in-network and out-of-network services, and there is also a separate prescription drug deductible. I would recommend checking with your provider or referring to the specific benefits details for your plan to determine your deductible amount.

Bereinigen von Ressourcen

Bereinigen von Azure-Ressourcen

Die in diesem Artikel erstellten Azure-Ressourcen werden Ihrem Azure-Abonnement in Rechnung gestellt. Wenn Sie nicht erwarten, dass diese Ressourcen in Zukunft benötigt werden, löschen Sie sie, um weitere Gebühren zu vermeiden.

Führen Sie den folgenden Azure Developer CLI-Befehl aus, um die Azure-Ressourcen zu löschen und den Quellcode zu entfernen:

azd down --purge

Bereinigen von GitHub-Codespaces

GitHub Codespaces

Durch das Löschen der GitHub Codespaces-Umgebung wird sichergestellt, dass Sie die Anzahl der kostenlosen Berechtigungsstunden pro Kern maximieren können, die Sie für Ihr Konto erhalten.

Wichtig

Weitere Informationen zu den Berechtigungen Ihres GitHub-Kontos finden Sie im Artikel zu monatlich enthaltener Speicherkapazität und Kernstunden in GitHub Codespaces.

1. Melden Sie sich beim GitHub Codespaces-Dashboard (https://github.com/codespaces) an.
2. Suchen Sie Ihre aktuell ausgeführten Codespaces, die aus dem Azure-Samples/azure-search-openai-demo-java-GitHub-Repository stammen.
3. Öffnen Sie das Kontextmenü für den Codespace, und wählen Sie dann Löschen aus.

Visual Studio Code

Sie müssen ihre lokale Umgebung nicht unbedingt bereinigen, aber Sie können den ausgeführten Entwicklungscontainer beenden und zur Ausführung von Visual Studio Code im Kontext eines lokalen Arbeitsbereichs zurückkehren.

1. Öffnen Sie die Befehlspalette, suchen Sie nach den Dev Containers-Befehlen, und wählen Sie dann Dev Containers: Ordner erneut öffnen aus.

Tipp

Visual Studio Code beendet den ausgeführten Entwicklungscontainer, aber der Container befindet sich weiterhin in Docker in einem beendeten Zustand. Sie haben immer die Möglichkeit, die Containerinstanz, das Containerimage und die Volumes aus Docker zu löschen, um mehr Speicherplatz auf Ihrem lokalen Computer freizugeben.

Wie wird die Frage beantwortet?

Die App ist in zwei Apps unterteilt:

• Eine Front-End-JavaScript-Anwendung mit dem React-Framework mit dem Vite-Buildtool.
• Eine Back-End-Java-Anwendung beantwortet die Frage.

Die Back-End-API /chat führt die Schritte zum Abrufen der Antwort durch:

• Erstellen von RAG-Optionen: Erstellen Sie eine Reihe von Optionen, die zum Generieren einer Antwort verwendet werden.
• Erstellen Sie einen Ansatz mit RAG-Optionen: Verwenden Sie eine Kombination aus abrufbasierten und generativen Modellen, um einen Ansatz zum Generieren einer präzisen und natürlich klingenden Antwort zu erstellen.
• Führen Sie den Ansatz mit RAG-Optionen und früheren Unterhaltungen aus: Verwenden Sie den Ansatz und die RAG-Optionen, um eine Antwort basierend auf der vorherigen Unterhaltung zu generieren. Die Antwort enthält Informationen dazu, welche Dokumente zum Generieren der Antwort verwendet wurden.

Hilfe erhalten

Dieses Beispiel-Repository bietet Informationen zur Problembehandlung.

Wenn Ihre ausgestellte Datei nicht behoben ist, protokollieren Sie Ihr Problem mit den Problemen des Repositorys.

Nächste Schritte

• GitHub-Repository für Unternehmenschat-Apps
• Erstellen einer Chat-App mit Azure OpenAI Best Practice-Lösungsarchitektur
• Zugriffssteuerung in generativen KI-Apps mit Azure KI-Suche
• Erstellen einer unternehmensbereiten OpenAI-Lösung mit Azure API Management
• Übertreffen der Vektorsuche mit hybridem Abruf und Rangfolgefähigkeiten