Triển khai kỹ thuật Generative AI với Azure Databricks

  • Lộ trình học tập
  • 7 Mô-đun

Xem nhanh

Kỹ thuật tạo trí tuệ nhân tạo (AI) với Azure Databricks sử dụng các khả năng của nền tảng để khám phá, tinh chỉnh, đánh giá và tích hợp các mô hình ngôn ngữ nâng cao. Bằng cách sử dụng khả năng mở rộng của Apache Spark và môi trường cộng tác của Azure Databricks, bạn có thể thiết kế các hệ thống AI phức tạp.

Điều kiện tiên quyết

Trước khi bắt đầu mô-đun này, bạn nên làm quen với các khái niệm AI cơ bản và Azure Databricks. Hãy cân nhắc hoàn thành bắt đầu với lộ trình học tập trí tuệ nhân tạo và trước tiên, khám phá Azure Databricks mô-đun.

Mô-đun trong lộ trình học tập này

Bắt đầu với các mô hình ngôn ngữ trong Azure Databricks

Mô hình Ngôn ngữ Lớn (LLM) đã cách mạng hóa các ngành công nghiệp khác nhau bằng cách cho phép các khả năng xử lý ngôn ngữ tự nhiên nâng cao (NLP). Các mô hình ngôn ngữ này được sử dụng trong một loạt các ứng dụng, bao gồm tóm tắt văn bản, phân tích tình cảm, dịch ngôn ngữ, phân loại zero-shot và học vài lần.

Triển khai Thế hệ Xác thực Truy xuất (RAG) với Azure Databricks

Retrieval Augmented Generation (RAG) là một kỹ thuật tiên tiến trong xử lý ngôn ngữ tự nhiên nâng cao khả năng của các mô hình tạo ra bằng cách tích hợp cơ chế truy xuất thông tin bên ngoài. Khi bạn sử dụng cả hai mô hình tạo ra và hệ thống truy xuất, RAG tự động lấy thông tin có liên quan từ các nguồn dữ liệu bên ngoài để tăng cường quá trình tạo, dẫn đến đầu ra chính xác và phù hợp theo ngữ cảnh hơn.

Thực hiện lý do đa giai đoạn trong Azure Databricks

Các hệ thống lý trí đa giai đoạn chia các vấn đề phức tạp thành nhiều giai đoạn hoặc các bước, với mỗi giai đoạn tập trung vào một nhiệm vụ lý giải cụ thể. Đầu ra của một giai đoạn đóng vai trò là đầu vào cho giai đoạn tiếp theo, cho phép tiếp cận có cấu trúc và có hệ thống hơn để giải quyết vấn đề.

Tinh chỉnh các mô hình ngôn ngữ với Azure Databricks

Tinh chỉnh sử dụng kiến thức chung của Mô hình Ngôn ngữ Lớn (LLM) để cải thiện hiệu suất cho các tác vụ cụ thể, cho phép các tổ chức tạo các mô hình chuyên biệt chính xác hơn và phù hợp hơn đồng thời tiết kiệm tài nguyên và thời gian so với đào tạo từ đầu.

Đánh giá các mô hình ngôn ngữ với Azure Databricks

Tìm hiểu cách so sánh Mô hình Ngôn ngữ Lớn (LLM) và đánh giá Máy Học Truyền thống (ML), hiểu mối quan hệ của họ với đánh giá hệ thống AI và khám phá các số liệu đánh giá LLM khác nhau và đánh giá liên quan đến nhiệm vụ cụ thể.

Xem lại các nguyên tắc AI chịu trách nhiệm cho các mô hình ngôn ngữ trong Azure Databricks

Khi làm việc với Mô hình Ngôn ngữ Lớn (LLM) trong Azure Databricks, điều quan trọng là phải hiểu các nguyên tắc AI có trách nhiệm để thực hiện, cân nhắc đạo đức và cách giảm thiểu rủi ro. Dựa trên các rủi ro đã xác định, hãy tìm hiểu cách triển khai công cụ bảo mật chính cho các mô hình ngôn ngữ.

Triển khai LLMOps trong Azure Databricks

Hợp lý hóa việc triển khai Mô hình Ngôn ngữ Lớn (LLM) với LLMOps (Vận hành LLM) trong Azure Databricks. Tìm hiểu cách triển khai và quản lý LLM trong suốt vòng đời của chúng bằng Azure Databricks.