Bagikan melalui

Pengambilan Pembuatan Tertambung menggunakan alur permintaan Azure Pembelajaran Mesin (pratinjau)

  • Artikel

Penting

Fitur ini masih dalam pratinjau umum. Versi pratinjau ini disediakan tanpa perjanjian tingkat layanan, dan tidak disarankan untuk beban kerja produksi. Fitur tertentu mungkin tidak didukung atau mungkin memiliki kemampuan terbatas.

Untuk mengetahui informasi selengkapnya, lihat Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure.

Retrieval Augmented Generation (RAG) adalah pola yang bekerja dengan Model Bahasa Besar (LLM) yang telah dilatih sebelumnya dan data Anda sendiri untuk menghasilkan respons. Di Azure Machine Learning, Anda sekarang dapat menerapkan RAG dalam alur perintah. Dukungan untuk RAG saat ini berada dapat pratinjau publik.

Artikel ini mencantumkan beberapa manfaat RAG, memberikan gambaran umum teknis, dan menjelaskan dukungan RAG di Azure Pembelajaran Mesin.

Catatan

Baru menggunakan konsep LLM dan RAG? Klip video dari presentasi Microsoft ini menawarkan penjelasan sederhana.

Mengapa menggunakan RAG?

Secara tradisional, model dasar dilatih dengan data point-in-time untuk memastikan efektivitasnya dalam melakukan tugas tertentu dan beradaptasi dengan domain yang diinginkan. Namun, terkadang Anda perlu bekerja dengan data yang lebih baru atau lebih saat ini. Dua pendekatan dapat melengkapi model dasar: menyempurnakan atau pelatihan lebih lanjut dari model dasar dengan data baru, atau RAG yang menggunakan rekayasa prompt untuk melengkapi atau memandu model secara real time.

Penyempurnaan cocok untuk adaptasi domain berkelanjutan, memungkinkan peningkatan kualitas model yang signifikan tetapi sering menimbulkan biaya yang lebih tinggi. Sebaliknya, RAG menawarkan pendekatan alternatif, memungkinkan penggunaan model yang sama dengan mesin penalaran atas data baru yang disediakan dalam permintaan. Teknik ini memungkinkan pembelajaran dalam konteks tanpa perlu menyempurnakan yang mahal, memberdayakan bisnis untuk menggunakan LLM secara lebih efisien.

RAG memungkinkan bisnis untuk mencapai solusi yang disesuaikan sambil mempertahankan relevansi data dan mengoptimalkan biaya. Dengan mengadopsi RAG, perusahaan dapat menggunakan kemampuan penalaran LLM, memanfaatkan model yang ada untuk memproses dan menghasilkan respons berdasarkan data baru. RAG memfasilitasi pembaruan data berkala tanpa perlu menyempurnakan, menyederhanakan integrasi LLM ke dalam bisnis.

  • Berikan data tambahan sebagai arahan atau perintah ke LLM
  • Menambahkan komponen pemeriksaan fakta pada model Anda yang sudah ada
  • Melatih model Anda pada data terbaru tanpa menimbulkan waktu tambahan dan biaya yang terkait dengan penyempurnaan
  • Melatih data spesifik bisnis Anda

Gambaran umum teknis penggunaan RAG pada Model Bahasa Besar (LLM)

Dalam pengambilan informasi, RAG adalah pendekatan yang memungkinkan Anda memanfaatkan kekuatan LLM dengan data Anda sendiri. Mengaktifkan LLM untuk mengakses data kustom melibatkan langkah-langkah berikut. Pertama, data besar harus dipotong menjadi potongan yang dapat dikelola. Kedua, potongan perlu dikonversi menjadi format yang dapat dicari. Ketiga, data yang dikonversi harus disimpan di lokasi yang memungkinkan akses yang efisien. Selain itu, penting untuk menyimpan metadata yang relevan untuk kutipan atau referensi saat LLM memberikan respons.

Cuplikan layar diagram gambaran umum teknis LLM yang berjalan melalui langkah-langkah kain.

Mari kita lihat diagram secara lebih rinci.

  • Data sumber: di sinilah data Anda berada. Ini bisa berupa file/folder di komputer Anda, file di penyimpanan cloud, aset data Azure Pembelajaran Mesin, repositori Git, atau database SQL.

  • Pemotongan data: Data di sumber Anda perlu dikonversi ke teks biasa. Misalnya, dokumen kata atau PDF perlu diretak terbuka dan dikonversi ke teks. Teks kemudian dipotong menjadi potongan-potongan yang lebih kecil.

  • Mengonversi teks menjadi vektor: yang disebut penyematan. Vektor adalah representasi numerik dari konsep yang dikonversi ke urutan angka, yang memudahkan komputer untuk memahami hubungan antara konsep tersebut.

  • Tautan antara data sumber dan penyematan: informasi ini disimpan sebagai metadata pada gugus yang dibuat yang kemudian digunakan untuk membantu LLM menghasilkan kutipan saat menghasilkan respons.

RAG dengan Azure Pembelajaran Mesin (pratinjau)

RAG di Azure Pembelajaran Mesin diaktifkan oleh integrasi dengan Azure OpenAI Service untuk model dan vektorisasi bahasa besar, dengan dukungan untuk Faiss dan Azure AI Search (sebelumnya Cognitive Search) sebagai penyimpanan vektor, dan dukungan untuk sumber terbuka menawarkan alat dan kerangka kerja seperti LangChain untuk potongan data.

Untuk menerapkan RAG, beberapa persyaratan utama harus dipenuhi. Pertama, data harus diformat dengan cara yang memungkinkan pencarian yang efisien sebelum mengirimkannya ke LLM, yang pada akhirnya mengurangi konsumsi token. Untuk memastikan efektivitas RAG, penting juga untuk memperbarui data Anda secara berkala. Selain itu, memiliki kemampuan untuk mengevaluasi output dari LLM menggunakan data Anda memungkinkan Anda mengukur kemanjuran teknik Anda. Azure Pembelajaran Mesin tidak hanya memungkinkan Anda untuk memulai dengan mudah pada aspek-aspek ini, tetapi juga memungkinkan Anda untuk meningkatkan dan memproduksi RAG. Azure Pembelajaran Mesin menawarkan:

  • Sampel untuk memulai skenario Tanya Jawab Berbasis RAG.
  • Pengalaman antarmuka pengguna berbasis wizard untuk membuat dan mengelola data dan menggabungkannya ke dalam alur permintaan.
  • Kemampuan untuk mengukur dan meningkatkan alur kerja RAG, termasuk pembuatan data pengujian, pembuatan perintah otomatis, dan metrik evaluasi permintaan yang divisualisasikan.
  • Skenario tingkat lanjut dengan kontrol lebih besar menggunakan komponen RAG bawaan baru untuk membuat alur kustom di buku catatan.
  • Pengalaman kode, yang memungkinkan pemanfaatan data yang dibuat dengan penawaran sumber terbuka seperti LangChain.
  • Integrasi alur kerja RAG yang mulus ke alur kerja MLOps menggunakan alur dan pekerjaan.

Kesimpulan

Azure Pembelajaran Mesin memungkinkan Anda menggabungkan RAG di AI Anda menggunakan studio Azure Pembelajaran Mesin atau menggunakan kode dengan alur Azure Pembelajaran Mesin. Ini menawarkan beberapa penambahan nilai seperti kemampuan untuk mengukur dan meningkatkan alur kerja RAG, menguji pembuatan data, pembuatan prompt otomatis, dan memvisualisasikan metrik evaluasi prompt. Ini memungkinkan integrasi alur kerja RAG ke dalam alur kerja MLOps menggunakan alur. Anda juga dapat menggunakan data Anda dengan penawaran sumber terbuka seperti LangChain.

Langkah berikutnya

Menggunakan Penyimpanan Vektor dengan Azure Pembelajaran Mesin (pratinjau)

Cara membuat indeks vektor di alur prompt Azure Pembelajaran Mesin (pratinjau)