Mulai menggunakan AI Chat Tanpa Server dengan RAG dan LlamaIndex

Sederhanakan pengembangan aplikasi AI dengan RAG dengan menggunakan data Anda sendiri yang dikelola oleh LlamaIndex, Azure Functions, dan teknologi Tanpa Server. Alat-alat ini mengelola infrastruktur dan penskalaan secara otomatis, memungkinkan Anda untuk fokus pada fungsionalitas chatbot. LlamaIndex menangani alur data dari penyerapan hingga respons yang dialirkan.

Gambaran umum arsitektur

Alur aplikasi meliputi:

• Menggunakan antarmuka obrolan untuk memasukkan perintah.
• Mengirim permintaan pengguna ke API Tanpa Server melalui panggilan HTTP.
• Menerima permintaan pengguna kemudian menggunakan kerangka kerja LlamaIndex untuk memproses dan mengalirkan respons. API tanpa server menggunakan mesin untuk membuat koneksi ke model bahasa besar (LLM) Azure OpenAI dan indeks vektor dari LlamaIndex.

Arsitektur sederhana aplikasi obrolan ditampilkan dalam diagram berikut:

Sampel ini menggunakan LlamaIndex untuk menghasilkan embeddings dan menyimpannya dalam penyimpanan vektor miliknya sendiri. LlamaIndex juga menyediakan integrasi dengan penyimpanan vektor lain termasuk Azure AI Search. Integrasi tersebut tidak ditunjukkan dalam sampel ini.

Di mana Azure dalam arsitektur ini?

Arsitektur aplikasi bergantung pada layanan dan komponen berikut:

• Azure OpenAI mewakili penyedia AI tempat kami mengirim kueri pengguna.
• LlamaIndex adalah kerangka kerja yang membantu kami menyerap, mengubah, dan mem-vektorisasi konten kami (file PDF) dan membuat indeks pencarian dari data kami.
• Azure Container Apps adalah lingkungan kontainer tempat aplikasi dihosting.
• Azure Managed Identity membantu kami memastikan keamanan terbaik di kelasnya dan menghilangkan persyaratan bagi Anda sebagai pengembang untuk menangani kredensial dan kunci API.

LlamaIndex mengelola data dari penyerapan hingga pengambilan

Untuk menerapkan sistem RAG (Retrieval-Augmented Generation) menggunakan LlamaIndex, langkah-langkah kunci berikut dicocokkan dengan fungsionalitas LlamaIndex:

Proses	Deskripsi	LlamaIndex
Penyerapan Data	Impor data dari sumber seperti PDF, API, atau database.	SimpleDirectoryReader
Kelompok Dokumen	Memecah dokumen besar menjadi potongan yang lebih kecil.	SentenceSplitter
Pembuatan indeks vektor	Buat indeks vektor untuk pencarian kesamaan yang efisien.	VectorStoreIndex
Pengambilan Rekursif (Opsional) dari indeks	Mengelola himpunan data kompleks dengan pengambilan hierarkis.
Konversi ke Mesin Kueri	Mengonversi indeks vektor menjadi mesin kueri.	asQueryEngine
Penyiapan kueri tingkat lanjut (Opsional)	Gunakan agen untuk sistem multiagen.
Menerapkan pipa RAG	Tentukan fungsi tujuan yang memproses kueri pengguna dan mengambil potongan dokumen yang relevan.
Melakukan Pengambilan	Memproses kueri dan menyusun ulang dokumen.	RetrieverQueryEngine, CohereRerank

Prasyarat

Kontainer pengembangan lingkungan tersedia dengan semua dependensi yang diperlukan untuk menyelesaikan artikel ini. Anda dapat menjalankan kontainer pengembangan di GitHub Codespaces (di browser) atau secara lokal menggunakan Visual Studio Code.

Untuk menggunakan artikel ini, Anda memerlukan prasyarat berikut:

Disarankan: Codespaces

• Langganan Azure - Buat langganan secara gratis
• Izin akun Azure - Akun Azure Anda harus memiliki izin Microsoft.Authorization/roleAssignments/write, seperti Administrator Akses Pengguna , atau Pemilik .
• Akun GitHub.

• Langganan Azure - Buat langganan secara gratis
• Izin akun Azure - Akun Azure Anda harus memiliki izin Microsoft.Authorization/roleAssignments/write, seperti Administrator Akses Pengguna , atau Pemilik .
• CLI Pengembang Azure
• Docker Desktop - mulai Docker Desktop jika belum aktif
• Visual Studio Code
• Ekstensi Kontainer Dev

Membuka lingkungan pengembangan

Gunakan instruksi berikut untuk menyebarkan lingkungan pengembangan yang telah dikonfigurasi sebelumnya yang berisi semua dependensi yang diperlukan untuk menyelesaikan artikel ini.

GitHub Codespaces menjalankan kontainer pengembangan yang dikelola oleh GitHub dengan Visual Studio Code untuk Web sebagai antarmuka pengguna. Untuk lingkungan pengembangan yang paling mudah, gunakan GitHub Codespaces sehingga Anda memiliki alat dan dependensi pengembang yang benar yang telah diinstal sebelumnya untuk menyelesaikan artikel ini.

Penting

Semua akun GitHub dapat menggunakan Codespace hingga 60 jam gratis setiap bulan dengan dua instans inti. Untuk informasi selengkapnya, lihat GitHub Codespaces bulanan yang disertakan penyimpanan dan jam inti.

1. Buka di Codespace.

   

2. Tunggu hingga ruang kode dimulai. Proses startup ini dapat memakan waktu beberapa menit.

3. Masuk ke Azure dengan Azure Developer CLI di terminal di bagian bawah layar.

   azd auth login
   

   Selesaikan proses autentikasi.

Tugas yang tersisa dalam artikel ini berlangsung dalam konteks kontainer pengembangan ini.

Ekstensi Dev Containers untuk Visual Studio Code mengharuskan Docker diinstal pada komputer lokal Anda. Ekstensi menghosting kontainer pengembangan secara lokal menggunakan host Docker dengan alat pengembang dan dependensi yang benar yang telah diinstal sebelumnya untuk menyelesaikan artikel ini.

1. Buat direktori lokal baru di komputer Anda untuk proyek tersebut.

   mkdir my-intelligent-app && cd my-intelligent-app
   

2. Buka Visual Studio Code di direktori tersebut:

   code .
   

3. Buka terminal baru di Visual Studio Code.

4. Jalankan perintah AZD berikut untuk membawa repositori GitHub ke komputer lokal Anda.

   azd init -t llama-index-javascript
   

5. Buka Palet Perintah, cari dan pilih Dev Containers: Open Folder in Container untuk membuka proyek dalam kontainer dev. Tunggu hingga kontainer dev terbuka sebelum melanjutkan.

6. Masuk ke Azure dengan Azure Developer CLI.

   azd auth login
   

   Salin kode dari terminal lalu tempelkan ke browser. Ikuti instruksi untuk mengautentikasi dengan akun Azure Anda.

7. Latihan yang tersisa dalam proyek ini berlangsung dalam konteks kontainer pengembangan ini.

Menerapkan dan menjalankan

Repositori sampel berisi semua kode dan file konfigurasi yang Anda butuhkan untuk menyebarkan aplikasi obrolan tanpa server ke Azure. Langkah-langkah berikut akan memandu Anda melalui proses menyebarkan contoh ke Azure.

Menyebarkan aplikasi obrolan ke Azure

Penting

Sumber daya Azure yang dibuat di bagian ini dikenakan biaya langsung, terutama dari sumber daya Azure AI Search. Sumber daya ini mungkin mengakumulasi biaya bahkan jika Anda mengganggu perintah sebelum selesai.

1. Untuk memprovisikan sumber daya Azure dan menyebarkan kode sumber, jalankan perintah Azure Developer CLI berikut:

   azd up
   

2. Gunakan tabel berikut untuk menjawab perintah:

   Cepat	Menjawab
   Nama lingkungan	Tetap pendek dan huruf kecil. Tambahkan nama atau alias Anda. Misalnya, john-chat. Ini digunakan sebagai bagian dari nama grup sumber daya.
   Abonemen	Pilih langganan untuk membuat sumber daya di.
   Lokasi (untuk hosting)	Pilih lokasi di dekat Anda dari daftar.
   Lokasi untuk model OpenAI	Pilih lokasi di dekat Anda dari daftar. Jika lokasi yang sama tersedia sebagai lokasi pertama Anda, pilih lokasi tersebut.

3. Tunggu hingga aplikasi dideploy. Mungkin perlu waktu 5-10 menit agar penyebaran selesai.

4. Setelah berhasil menyebarkan aplikasi, Anda akan melihat dua URL yang ditampilkan di terminal.

5. Pilih URL berlabel Deploying service webapp untuk membuka aplikasi obrolan di browser.

   

Menggunakan aplikasi obrolan untuk mendapatkan jawaban dari file PDF

Aplikasi obrolan sudah dilengkapi dengan informasi tentang standar fisik untuk surat pos domestik dari file katalog PDF . Anda dapat menggunakan aplikasi obrolan untuk mengajukan pertanyaan tentang surat dan paket. Langkah-langkah berikut memandu Anda melalui proses menggunakan aplikasi obrolan.

1. Di browser, pilih atau masukkan Berapa biaya untuk mengirim paket besar ke Prancis?.

2. LlamaIndex memperoleh jawabannya menggunakan file PDF dan mengalirkan respons.

   

   Jawabannya berasal dari Azure OpenAI dengan pengaruh dari data PDF yang diserap ke penyimpanan vektor LlamaIndex.

Membersihkan sumber daya

Untuk membersihkan sumber daya, ada dua hal yang harus ditangani:

• Sumber daya Azure, Anda dapat membersihkan sumber daya dengan Azure Developer CLI, azd.
• Lingkungan pengembang Anda; Baik GitHub Codespaces atau DevContainers melalui Visual Studio Code.

Membersihkan sumber daya Azure

Sumber daya Azure yang dibuat dalam artikel ini ditagihkan ke langganan Azure Anda. Jika Anda tidak mengharapkan untuk membutuhkan sumber daya ini di masa mendatang, hapus sumber daya tersebut untuk menghindari dikenakan lebih banyak biaya.

Jalankan perintah Azure Developer CLI berikut untuk menghapus sumber daya Azure dan menghapus kode sumber:

azd down --purge

Membersihkan lingkungan pengembang

GitHub Codespaces

Menghapus lingkungan GitHub Codespaces memastikan bahwa Anda dapat memaksimalkan jumlah pemberian izin per jam inti gratis yang Anda dapatkan untuk akun Anda.

Penting

Untuk informasi selengkapnya tentang hak akses akun GitHub Anda, lihat penyimpanan bulanan yang disertakan dan jam inti GitHub Codespaces.

1. Masuklah ke dasbor GitHub Codespaces.

2. Temukan Codespaces yang sedang berjalan yang bersumber dari repositori GitHub Azure-Samples/llama-index-javascript.

   

3. Buka menu konteks, ..., untuk codespace, lalu pilih Hapus.

DevContainers Visual Studio Code

Anda tidak perlu membersihkan lingkungan lokal, tetapi Anda dapat menghentikan kontainer pengembangan yang sedang berjalan dan kembali menjalankan Visual Studio Code dalam konteks ruang kerja lokal.

Buka Palet Perintah, cari perintah Kontainer Dev, lalu pilih Kontainer Dev: Buka Kembali Folder Secara Lokal.

Saran

Setelah Visual Studio Code menghentikan kontainer pengembangan yang sedang berjalan, kontainer masih ada di Docker dalam status berhenti. Anda dapat menghapus instans kontainer, gambar kontainer, dan volume dari Docker untuk mengosongkan lebih banyak ruang di komputer lokal Anda.

Dapatkan bantuan

Repositori sampel ini menawarkan informasi pemecahan masalah .

Jika masalah Anda tidak diatasi, catat masalah Anda di bagian Issues repositori.

Langkah berikutnya

Asisten dan panggilan fungsi di JavaScript