Mulai menggunakan sampel obrolan perusahaan Java menggunakan RAG

Artikel ini memperlihatkan kepada Anda cara menyebarkan dan menjalankan sampel aplikasi obrolan Enterprise untuk Java. Sampel ini mengimplementasikan aplikasi obrolan menggunakan Java, Azure OpenAI Service, dan Retrieval Augmented Generation (RAG) di Azure AI Search untuk mendapatkan jawaban tentang manfaat karyawan di perusahaan fiktif. Aplikasi ini diunggulkan dengan file PDF termasuk buku pegangan karyawan, dokumen manfaat, dan daftar peran dan harapan perusahaan.

• Video demo

Mulai sekarang

Dengan mengikuti instruksi dalam artikel ini, Anda akan:

• Menyebarkan aplikasi obrolan ke Azure.
• Dapatkan jawaban tentang tunjangan karyawan.
• Ubah pengaturan untuk mengubah perilaku respons.

Setelah menyelesaikan artikel ini, Anda dapat mulai memodifikasi proyek baru dengan kode kustom Anda.

Artikel ini adalah bagian dari kumpulan artikel yang menunjukkan kepada Anda cara membuat aplikasi obrolan menggunakan Azure OpenAI Service dan Azure AI Search. Artikel lain dalam koleksi meliputi:

• .Bersih
• JavaScript
• Python

Ikhtisar arsitektur

Arsitektur sederhana aplikasi obrolan ditampilkan dalam diagram berikut:

Komponen utama arsitektur meliputi:

• Aplikasi web untuk menghosting pengalaman obrolan interaktif.
• Sumber daya Pencarian Azure AI untuk mendapatkan jawaban dari data Anda sendiri.
• Layanan Azure OpenAI untuk menyediakan:
  • Kata kunci untuk meningkatkan pencarian atas data Anda sendiri.
  • Jawaban dari model OpenAI.
  • Penyematan dari model ada

Biaya

Sebagian besar sumber daya dalam arsitektur ini menggunakan tingkat harga dasar atau konsumsi. Harga konsumsi didasarkan pada penggunaan, yang berarti Anda hanya membayar apa yang Anda gunakan. Untuk menyelesaikan artikel ini, akan ada biaya tetapi akan minimal. Setelah selesai dengan artikel, Anda dapat menghapus sumber daya untuk berhenti dikenakan biaya.

Pelajari selengkapnya tentang biaya dalam repositori sampel.

Prasyarat

Lingkungan kontainer pengembangan tersedia dengan semua dependensi yang diperlukan untuk menyelesaikan artikel ini. Anda dapat menjalankan kontainer pengembangan di GitHub Codespaces (di browser) atau secara lokal menggunakan Visual Studio Code.

Untuk menggunakan artikel ini, Anda memerlukan prasyarat berikut:

Codespace (disarankan)

1. Langganan Azure - buat langganan gratis
2. Izin akun Azure - Akun Azure Anda harus memiliki izin Microsoft.Authorization/roleAssignments/write, seperti Administrator Akses Pengguna atau Pemilik.
3. Akses yang diberikan ke Azure OpenAI dalam langganan Azure yang diinginkan. Saat ini, akses ke layanan ini hanya diberikan oleh aplikasi. Anda dapat mengajukan permohonan akses ke Azure OpenAI dengan melengkapi formulir di https://aka.ms/oai/access. Buka masalah pada repositori ini untuk menghubungi kami jika Anda mengalami masalah.
4. Akun GitHub

Visual Studio Code

1. Langganan Azure - buat langganan gratis
2. Izin akun Azure - Akun Azure Anda harus memiliki izin Microsoft.Authorization/roleAssignments/write, seperti Administrator Akses Pengguna atau Pemilik.
3. Akses yang diberikan ke Azure OpenAI dalam langganan Azure yang diinginkan. Saat ini, akses ke layanan ini hanya diberikan oleh aplikasi. Anda dapat mengajukan permohonan akses ke Azure OpenAI dengan melengkapi formulir di https://aka.ms/oai/access. Buka masalah pada repositori ini untuk menghubungi kami jika Anda mengalami masalah.
4. Azure Developer CLI
5. Docker Desktop - mulai Docker Desktop jika belum berjalan
6. Visual Studio Code
7. Ekstensi Kontainer Dev

Membuka lingkungan pengembangan

Mulai sekarang dengan lingkungan pengembangan yang memiliki semua dependensi yang diinstal untuk menyelesaikan artikel ini.

GitHub Codespaces (disarankan)

GitHub Codespaces menjalankan kontainer pengembangan yang dikelola oleh GitHub dengan Visual Studio Code untuk Web sebagai antarmuka pengguna. Untuk lingkungan pengembangan yang paling mudah, gunakan GitHub Codespaces sehingga Anda memiliki alat dan dependensi pengembang yang benar yang telah diinstal sebelumnya untuk menyelesaikan artikel ini.

Penting

Semua akun GitHub dapat menggunakan Codespace hingga 60 jam gratis setiap bulan dengan 2 instans inti. Untuk informasi selengkapnya, lihat GitHub Codespaces bulanan yang disertakan penyimpanan dan jam inti.

1. Mulai proses untuk membuat GitHub Codespace baru di main cabang Azure-Samples/azure-search-openai-demo-java repositori GitHub.

2. Klik kanan pada tombol berikut, dan pilih Buka tautan di jendela baru agar lingkungan pengembangan dan dokumentasi tersedia secara bersamaan.

   Buka proyek ini di GitHub Codespaces

3. Pada halaman Buat codespace , tinjau pengaturan konfigurasi codespace, lalu pilih Buat codespace baru

   

4. Tunggu hingga codespace dimulai. Proses startup ini dapat memakan waktu beberapa menit.

5. Di terminal di bagian bawah layar, masuk ke Azure dengan Azure Developer CLI.

   azd auth login
   

6. Salin kode dari terminal lalu tempelkan ke browser. Ikuti instruksi untuk mengautentikasi dengan akun Azure Anda.

7. Tugas yang tersisa dalam artikel ini berlangsung dalam konteks kontainer pengembangan ini.

Visual Studio Code

Ekstensi Kontainer Dev untuk Visual Studio Code mengharuskan Docker diinstal pada komputer lokal Anda. Ekstensi menghosting kontainer pengembangan secara lokal menggunakan host Docker dengan alat pengembang dan dependensi yang benar yang telah diinstal sebelumnya untuk menyelesaikan artikel ini.

1. Buka Visual Studio Code dalam konteks direktori kosong.

2. Pastikan Anda memiliki ekstensi Kontainer Dev yang terinstal di Visual Studio Code.

3. Buka terminal baru di editor.

   Tip

   Anda dapat menggunakan menu utama untuk menavigasi ke opsi menu Terminal lalu pilih opsi Terminal Baru.

   

4. Masuk ke Azure dengan Azure Developer CLI.

   azd auth login
   

   Salin kode dari terminal lalu tempelkan ke browser. Ikuti instruksi untuk mengautentikasi dengan akun Azure Anda.

5. Buat folder dan inisialisasi untuk menggunakan proyek sampel dengan Azure Developer CLI:

   azd init -t azure-search-openai-demo-java
   

   Anda tidak perlu mengkloning repositori ini.

6. Buka Palet Perintah, cari perintah Kontainer Dev, lalu pilih Kontainer Dev: Buka Kembali di Kontainer.

   Tip

   Visual Studio Code dapat secara otomatis meminta Anda untuk membuka kembali folder yang ada dalam kontainer pengembangan. Ini secara fungsional setara dengan menggunakan palet perintah untuk membuka kembali ruang kerja saat ini dalam kontainer.

7. Buka kembali jendela Terminal lagi (Ctrl + `)dan biarkan terbuka.

8. Latihan yang tersisa dalam proyek ini berlangsung dalam konteks kontainer pengembangan ini.

Sebarkan dan jalankan

Repositori sampel berisi semua kode dan file konfigurasi yang Anda butuhkan untuk menyebarkan aplikasi obrolan ke Azure. Langkah-langkah berikut memandikan Anda melalui proses penyebaran sampel ke Azure.

Menyebarkan aplikasi obrolan ke Azure

Penting

Sumber daya Azure yang dibuat di bagian ini dikenakan biaya langsung, terutama dari sumber daya Azure AI Search. Sumber daya ini dapat mengumpulkan biaya bahkan jika Anda mengganggu perintah sebelum sepenuhnya dijalankan.

1. Jalankan perintah Azure Developer CLI berikut untuk menyediakan sumber daya Azure dan menyebarkan kode sumber:

   azd up
   

2. Saat Anda diminta untuk memasukkan nama lingkungan, tetap pendekkan dan huruf kecil. Contohnya,myenv. Digunakan sebagai bagian dari nama grup sumber daya.

3. Saat diminta, pilih langganan untuk membuat sumber daya.

4. Saat Anda diminta untuk memilih lokasi untuk pertama kalinya, pilih lokasi di dekat Anda. Lokasi ini digunakan untuk sebagian besar sumber daya termasuk hosting.

5. Jika Anda dimintai lokasi untuk model OpenAI, pilih lokasi yang ada di dekat Anda. Jika lokasi yang sama tersedia sebagai lokasi pertama Anda, pilih lokasi tersebut.

6. Tunggu hingga aplikasi disebarkan. Mungkin perlu waktu 5-10 menit agar penyebaran selesai.

7. Setelah aplikasi berhasil disebarkan, Anda akan melihat URL yang ditampilkan di terminal.

8. Pilih URL yang diberi Deploying service web label untuk membuka aplikasi obrolan di browser.

Menggunakan aplikasi obrolan untuk mendapatkan jawaban dari file PDF

Aplikasi obrolan dimuat sebelumnya dengan informasi manfaat karyawan dari file PDF. Anda dapat menggunakan aplikasi obrolan untuk mengajukan pertanyaan tentang manfaatnya. Langkah-langkah berikut memancang Anda melalui proses penggunaan aplikasi obrolan.

1. Di browser, pilih atau masukkan "Apa yang disertakan dalam paket Northwind Health Plus saya yang tidak standar?" di kotak teks obrolan.

   

2. Dari jawabannya, pilih salah satu kutipan.

   

3. Di panel kanan, gunakan tab untuk memahami bagaimana jawaban dihasilkan.

   Tab	Deskripsi
   Proses pemikiran	Ini adalah skrip interaksi dalam obrolan.
   Konten pendukung	Ini termasuk informasi untuk menjawab pertanyaan Anda dan materi sumber.
   Rujukan	Ini menampilkan halaman PDF yang berisi kutipan.

4. Setelah selesai, pilih lagi tab yang dipilih untuk menutup panel.

Menggunakan pengaturan aplikasi obrolan untuk mengubah perilaku respons

Kecerdasan aplikasi obrolan ditentukan oleh model OpenAI dan pengaturan yang digunakan untuk berinteraksi dengan model.

Pengaturan	Deskripsi
Ambil alih templat perintah	Ini adalah perintah yang digunakan untuk menghasilkan jawaban.
Ambil hasil pencarian sebanyak ini	Ini adalah jumlah hasil pencarian yang digunakan untuk menghasilkan jawabannya. Anda dapat melihat sumber-sumber ini dikembalikan dalam tab Proses pemikiran dan Mendukung konten kutipan.
Mengecualikan kategori	Ini adalah kategori dokumen yang dikecualikan dari hasil pencarian.
Gunakan ranker semantik untuk pengambilan	Ini adalah fitur Azure AI Search yang menggunakan pembelajaran mesin untuk meningkatkan relevansi hasil pencarian.
Menggunakan ringkasan kontekstual kueri alih-alih seluruh dokumen	Ketika dan Use semantic rankerUse query-contextual summaries diperiksa, LLM menggunakan keterangan yang diekstrak dari bagian kunci, alih-alih semua bagian, dalam dokumen berperingkat tertinggi.
Sarankan pertanyaan tindak lanjut	Minta aplikasi obrolan menyarankan pertanyaan tindak lanjut berdasarkan jawabannya.
Mode pengambilan	Vektor + Teks berarti bahwa hasil pencarian didasarkan pada teks dokumen dan penyematan dokumen. Vektor berarti bahwa hasil pencarian didasarkan pada penyematan dokumen. Teks berarti bahwa hasil pencarian didasarkan pada teks dokumen.
Mengalirkan respons penyelesaian obrolan	Respons streaming alih-alih menunggu hingga jawaban lengkap tersedia untuk respons.

Langkah-langkah berikut memandikan Anda melalui proses mengubah pengaturan.

1. Di browser, pilih tab Pengaturan Pengembang.

2. Centang kotak Centang Sarankan pertanyaan tindak lanjut dan ajukan pertanyaan yang sama lagi.

   What is my deductible?
   

   Obrolan mengembalikan pertanyaan tindak lanjut yang disarankan seperti berikut ini:

   1. What is the cost sharing for out-of-network services?
   2. Are preventive care services subject to the deductible?
   3. How does the prescription drug deductible work?
   

3. Di tab Pengaturan, batal pilih Gunakan pemeringkat semantik untuk pengambilan.

4. Tanyakan pertanyaan yang sama lagi?

   What is my deductible?
   

5. Apa perbedaan dalam jawabannya?

   Misalnya respons, yang menggunakan pemeringkat Semantik memberikan satu jawaban: The deductible for the Northwind Health Plus plan is $2,000 per year.

   Respons tanpa peringkat semantik mengembalikan jawaban, yang membutuhkan lebih banyak pekerjaan untuk mendapatkan jawaban: Based on the information provided, it is unclear what your specific deductible is. The Northwind Health Plus plan has different deductible amounts for in-network and out-of-network services, and there is also a separate prescription drug deductible. I would recommend checking with your provider or referring to the specific benefits details for your plan to determine your deductible amount.

Membersihkan sumber daya

Membersihkan sumber daya Azure

Sumber daya Azure yang dibuat dalam artikel ini ditagihkan ke langganan Azure Anda. Jika Anda tidak mengharapkan untuk membutuhkan sumber daya ini di masa mendatang, hapus sumber daya tersebut untuk menghindari dikenakan lebih banyak biaya.

Jalankan perintah Azure Developer CLI berikut untuk menghapus sumber daya Azure dan menghapus kode sumber:

azd down --purge

Membersihkan GitHub Codespaces

GitHub Codespaces

Menghapus lingkungan GitHub Codespaces memastikan bahwa Anda dapat memaksimalkan jumlah pemberian izin per jam inti gratis yang Anda dapatkan untuk akun Anda.

Penting

Untuk informasi selengkapnya tentang penetapan akun GitHub Anda, lihat GitHub Codespaces bulanan yang disertakan penyimpanan dan jam inti.

1. Masuk ke dasbor GitHub Codespaces (https://github.com/codespaces).
2. Temukan codespace yang sedang berjalan yang bersumber dari Azure-Samples/azure-search-openai-demo-java repositori GitHub.
3. Buka menu konteks untuk codespace, lalu pilih Hapus.

Visual Studio Code

Anda tidak perlu membersihkan lingkungan lokal, tetapi Anda dapat menghentikan kontainer pengembangan yang sedang berjalan dan kembali menjalankan Visual Studio Code dalam konteks ruang kerja lokal.

1. Buka Palet Perintah, cari perintah Kontainer Dev, lalu pilih Kontainer Dev: Buka Kembali Folder Secara Lokal.

Tip

Visual Studio Code akan menghentikan kontainer pengembangan yang sedang berjalan, tetapi kontainer masih ada di Docker dalam status berhenti. Anda selalu memiliki opsi untuk menghapus instans kontainer, gambar kontainer, dan volume dari Docker untuk mengosongkan lebih banyak ruang di komputer lokal Anda.

Bagaimana pertanyaannya dijawab?

Aplikasi ini dipisahkan menjadi 2 aplikasi:

• Aplikasi JavaScript front-end menggunakan kerangka kerja React dengan alat build Vite.
• Aplikasi Java back-end menjawab pertanyaan tersebut.

API backend /chat melaju melalui proses mendapatkan jawabannya:

• Buat opsi RAG: Buat sekumpulan opsi yang akan digunakan untuk menghasilkan jawaban.
• Buat pendekatan menggunakan opsi RAG: Gunakan kombinasi model berbasis pengambilan dan berbasis generatif untuk membuat pendekatan untuk menghasilkan respons yang akurat dan terdengar alami.
• Jalankan pendekatan dengan opsi RAG dan percakapan sebelumnya: Gunakan pendekatan dan opsi RAG untuk menghasilkan jawaban berdasarkan percakapan sebelumnya. Jawabannya mencakup informasi tentang dokumen mana yang digunakan untuk menghasilkan respons.

Dapatkan bantuan

Repositori sampel ini menawarkan informasi pemecahan masalah.

Jika masalah Anda tidak diatasi, catat masalah Anda ke Masalah repositori.

Langkah berikutnya

• Repositori GitHub aplikasi obrolan perusahaan
• Membangun aplikasi obrolan dengan arsitektur solusi praktik terbaik Azure OpenAI
• Kontrol akses di Generative AI Apps dengan Azure AI Search
• Membangun solusi OpenAI siap Enterprise dengan Azure API Management
• Pencarian vektor yang mengungguli dengan kemampuan pengambilan dan peringkat hibrid