บทนำ
แอปพลิเคชัน Retrieval Augmented Generation (RAG) รวมการดึงข้อมูลและ Generative AI เพื่อให้คําตอบที่ถูกต้องและรับรู้บริบทโดยใช้ชุดข้อมูลขนาดใหญ่และเทคนิคการค้นหาขั้นสูง
ลองนึกภาพว่าคุณเป็นสถาปนิกโซลูชันในองค์กรขนาดกลางที่ได้รับมอบหมายให้สร้างผู้ช่วยความรู้ภายในสําหรับพนักงานเพื่อสอบถามนโยบายของบริษัท ระบบปัจจุบันประสบปัญหาเวลาตอบสนองที่ช้าและมักจะดึงข้อมูลที่ไม่เกี่ยวข้องหรือล้าสมัยทําให้ผู้ใช้หงุดหงิด ทีมของคุณตัดสินใจที่จะใช้แอปพลิเคชัน Retrieval Augmented Generation (RAG) โดยใช้ Azure Database for PostgreSQL และ Azure OpenAI อย่างไรก็ตาม เมื่อชุดข้อมูลเติบโตเป็นล้านแถว ความท้าทายต่างๆ เช่น การรับรองการดึงข้อมูลที่รวดเร็ว การรักษาความถูกต้อง และการหลีกเลี่ยงการตอบสนองที่สร้างโดย AI ที่อาจไม่ถูกต้อง นอกจากนี้ การสืบค้นที่ซับซ้อนซึ่งเกี่ยวข้องกับแนวคิดที่หลากหลาย เช่น 'นโยบายวันหยุดพักผ่อนสําหรับ HR ในยุโรปมีอะไรบ้าง' ต้องการการกรองและการจัดอันดับที่แม่นยํา เพื่อแก้ไขปัญหาเหล่านี้ คุณต้องปรับความเร็วในการดึงข้อมูลให้เหมาะสม ปรับปรุงความแม่นยําผ่านกลยุทธ์การจัดทําดัชนีและการแบ่งกลุ่มขั้นสูง และสํารวจโซลูชันที่เป็นนวัตกรรมใหม่ เช่น กราฟความรู้ที่มีน้ําหนักเบา โมดูลนี้จะแนะนําคุณตลอดการสร้างและปรับแต่งไปป์ไลน์ RAG ที่ปรับขนาดได้ซึ่งปรับให้เหมาะกับความท้าทายในโลกแห่งความเป็นจริง
หลังจากจบโมดูลนี้ คุณสามารถ:
- อธิบายรูปแบบ RAG และประโยชน์ของรูปแบบสําหรับการต่อสายดินของโมเดลภาษาขนาดใหญ่
- เพิ่มประสิทธิภาพการค้นหาความคล้ายคลึงกันสําหรับชุดข้อมูลขนาดใหญ่โดยใช้ดัชนีเวกเตอร์ เช่น IVFFlat (ไฟล์กลับด้านที่มีการบีบอัดแบบแบน), HNSW (Hierarchical Navigable Small World) และ DiskANN (Disk Approximate Nearest Neighbor) ใน PostgreSQL
- สร้างไปป์ไลน์ RAG ที่สมบูรณ์ซึ่งดึงข้อมูลส่วนที่เกี่ยวข้องและสร้างคําตอบตามบริบทโดยใช้ Azure Database for PostgreSQL และ Azure OpenAI
- ใช้เทคนิคการดึงข้อมูลขั้นสูง รวมถึงการค้นหาแบบไฮบริด การจัดอันดับความหมาย การเพิ่มประสิทธิภาพก้อน และ GraphRAG เพื่อปรับปรุงความแม่นยําและการเรียกคืน