Triển khai mô hình cho điểm cuối

Đã hoàn thành

Sau khi chọn một mô hình từ danh mục, bạn triển khai mô hình đó để có thể truy cập được thông qua các điểm cuối mà ứng dụng của bạn có thể sử dụng. Cổng thông tin Microsoft Foundry guides bạn trong quá trình triển khai và cung cấp các công cụ để kiểm tra mô hình đã triển khai của bạn ngay lập tức.

Hiểu các loại triển khai

Microsoft Foundry hỗ trợ một số loại triển khai, mỗi loại cung cấp các đặc điểm khác nhau về nơi lưu trữ dữ liệu, thay đổi quy mô và thanh toán:

• Triển khai mô hình Global Standard có thể sử dụng bất kỳ khu vực Azure nào trên cơ sở trả tiền cho mỗi mã thông báo. Chúng phù hợp nhất với khối lượng công việc chung và cung cấp hạn ngạch cao nhất.
• Triển khai được cung cấp toàn cầu có thể sử dụng bất kỳ khu vực Azure nào và việc sử dụng chúng dựa trên cơ sở đơn vị thông lượng cung cấp dự trữ (PTU) để cung cấp thông lượng cao có thể dự đoán được.
• Triển khai hàng loạt toàn cầu có thể sử dụng bất kỳ khu vực Azure nào với mức chiết khấu 50% cho các tác vụ không đồng bộ lớn trong vòng 24 giờ.
• Triển khai Data Zone Standard đảm bảo dữ liệu nằm trong một vùng dữ liệu cụ thể trên cơ sở trả tiền cho mỗi token. Chúng phù hợp nhất cho các tình huống yêu cầu tuân thủ vùng dữ liệu của Liên minh Châu Âu/Hoa Kỳ.
• Triển khai Vùng dữ liệu được cung cấp cung cấp thông lượng có thể dự đoán dựa trên các PTU dự trữ trong vùng dữ liệu.
• Triển khai hàng loạt vùng dữ liệu được thiết kế cho các tác vụ hàng loạt không đồng bộ lớn trong một vùng dữ liệu/
• Triển khai tiêu chuẩn được triển khai trong một khu vực duy nhất trên cơ sở trả tiền cho mỗi mã thông báo. Chúng rất tuyệt vời khi bạn cần tuân thủ nơi lưu trữ dữ liệu theo khu vực hoặc cho các tình huống khối lượng thấp.
• Triển khai được cung cấp theo khu vực cung cấp các PTU dự trữ trong một khu vực duy nhất.
• Nhà phát triển Triển khai dành cho nhà phát triển sử dụng bất kỳ khu vực Azure nào trên cơ sở trả tiền cho mỗi mã thông báo và chỉ dành cho đánh giá mô hình được tinh chỉnh.

Mỗi mô hình trong danh mục cho biết loại triển khai mà nó hỗ trợ. Cổng thông tin tự động chọn tùy chọn triển khai tốt nhất dựa trên môi trường và yêu cầu mô hình của bạn. Việc triển khai Tiêu chuẩn Toàn cầu trong tài nguyên Foundry nên được sử dụng bất cứ khi nào có thể để có khả năng tối đa.

Triển khai mô hình

Để triển khai mô hình từ cổng thông tin Microsoft Foundry:

Trước tiên, điều hướng đến mô hình bạn đã chọn trong danh mục Mô hình. Từ trang chủ cổng thông tin Foundry, chọn Khám phá trong điều hướng, sau đó chọn Mô hình trong ngăn bên trái. Mở thẻ mô hình để xem lại thông số kỹ thuật và các loại triển khai được hỗ trợ.

Chọn Triển khai để bắt đầu quá trình triển khai. Bạn có thể chọn:

• Cài đặt mặc định để triển khai nhanh chóng với các cấu hình được đề xuất
• Cài đặt tùy chỉnh để tùy chỉnh các tùy chọn triển khai của bạn

Nếu mô hình yêu cầu đăng ký Azure Marketplace (phổ biến cho các mô hình từ đối tác và cộng đồng), bạn sẽ thấy điều khoản sử dụng. Xem lại các điều khoản này và chọn Đồng ý và Tiến hành để chấp nhận chúng. Các mô hình do Azure bán trực tiếp, chẳng hạn như các mô hình Azure OpenAI như GPT-4o-mini, không yêu cầu đăng ký thị trường.

Định cấu hình cài đặt triển khai của bạn:

• Tên triển khai: Theo mặc định, hệ thống sử dụng tên mô hình. Bạn có thể sửa đổi điều này để tạo tên có ý nghĩa cho nhiều triển khai của cùng một mô hình. Trong quá trình suy luận, mã của bạn sử dụng tên triển khai này trong model tham số để định tuyến các yêu cầu.
• Loại triển khai: Cổng thông tin tự động chọn loại triển khai thích hợp dựa trên mô hình và môi trường của bạn. Mỗi mô hình hỗ trợ các loại triển khai khác nhau, cung cấp các đảm bảo thông lượng hoặc nơi lưu trữ dữ liệu khác nhau.

Đối với triển khai điện toán được quản lý, bạn cũng định cấu hình:

• SKU máy ảo: Chọn từ các loại máy ảo được hỗ trợ. Bạn cần hạn ngạch điện toán Azure Machine Learning cho SKU đã chọn trong đăng ký của mình.
• Số lượng phiên bản: Chỉ định số lượng phiên bản cần triển khai để phân phối tải và dự phòng.

Sau khi định cấu hình tất cả các cài đặt, hãy chọn Triển khai. Khi triển khai hoàn tất, bạn sẽ đến Foundry Playground nơi bạn có thể kiểm tra mô hình một cách tương tác. Xác minh rằng trạng thái triển khai hiển thị Thành công trong danh sách triển khai của bạn.

Quản lý các mô hình đã triển khai

Sau khi triển khai, bạn quản lý các mô hình của mình từ phần Xây dựng trong cổng thông tin Microsoft Foundry. Chọn Xây dựng trong điều hướng, sau đó chọn Mô hình trong ngăn bên trái để xem danh sách triển khai trong tài nguyên của bạn.

Từ danh sách triển khai, chọn một mô hình cụ thể để xem chi tiết:

• Cấu hình và trạng thái triển khai
• URL điểm cuối để access API
• Khóa xác thực hoặc mã thông báo
• Chỉ số giám sát và sử dụng
• Tùy chọn điều chỉnh cài đặt triển khai hoặc xóa triển khai

Trang chi tiết triển khai cung cấp thông tin các ứng dụng của bạn cần để kết nối và sử dụng mô hình.

Kiểm tra trong sân chơi

Cổng thông tin Microsoft Foundry bao gồm các sân chơi tương tác, nơi bạn kiểm tra các mô hình đã triển khai ngay lập tức mà không cần viết mã. Sau khi triển khai hoàn tất, bạn sẽ tự động hạ cánh vào sân chơi hoặc bạn có thể chọn một triển khai từ danh sách mô hình của mình để mở sân chơi.

Playground chọn trước việc triển khai của bạn để bạn có thể bắt đầu thử nghiệm ngay lập tức. Trong giao diện trò chuyện:

Nhập lời nhắc vào hộp tin nhắn và quan sát phản hồi. Sân chơi hiển thị cả đầu vào của bạn và đầu ra do mô hình tạo ra, giúp bạn hiểu hành vi và chất lượng.

Thử nghiệm với các loại lời nhắc khác nhau để kiểm tra các khả năng khác nhau:

• Các câu hỏi đơn giản để xác minh sự hiểu biết cơ bản
• Các bài toán suy luận nhiều bước phức tạp
• Yêu cầu về các định dạng hoặc kiểu cụ thể
• Các trường hợp biên có thể tiết lộ những hạn chế

Điều chỉnh thông báo hệ thống để hướng dẫn hành vi của mô hình. Thông báo hệ thống đặt ngữ cảnh, giọng điệu và hướng dẫn áp dụng cho tất cả các thông tin đầu vào của người dùng. Ví dụ: bạn có thể hướng dẫn mô hình "trả lời với tư cách là đại diện customer service" hoặc "cung cấp giải thích kỹ thuật, ngắn gọn".

Sửa đổi các thông số như nhiệt độ (sáng tạo so với tính nhất quán), mã thông báo tối đa (giới hạn độ dài phản hồi) và top-p (lấy mẫu hạt nhân) để tinh chỉnh hành vi tạo.

Chọn tab Mã để xem ví dụ về cách gọi mô hình đã triển khai của bạn theo chương trình. Các mẫu mã hiển thị xác thực, cấu hình điểm cuối và định dạng yêu cầu bằng các ngôn ngữ như Python, C# và JavaScript. Bạn có thể sao chép các mẫu này trực tiếp vào ứng dụng của mình.

Sân chơi đóng vai trò là môi trường phát triển của bạn để kỹ thuật và thử nghiệm nhanh chóng trước khi tích hợp mô hình vào ứng dụng của bạn.

Access mô hình theo chương trình

Khi bạn đã sẵn sàng tích hợp mô hình vào ứng dụng của mình, bạn cần ba phần thông tin chính từ chi tiết triển khai:

URL điểm cuối: Điểm cuối API nơi ứng dụng của bạn gửi yêu cầu. Microsoft Foundry hỗ trợ điểm cuối dự án cho chức năng dành riêng cho Foundry và điểm cuối OpenAI v1 để tương thích rộng rãi với API mô hình OpenAI.

Khóa xác thực: Khóa bí mật hoặc mã thông báo mà ứng dụng của bạn hiển thị để xác thực các yêu cầu. Ngoài ra, bạn có thể sử dụng xác thực Microsoft Entra ID và yêu cầu ứng dụng của bạn trình bày mã thông báo xác thực dựa trên danh tính. Xác thực ID đầu vào được khuyến nghị cho các tình huống sản xuất.

Tên triển khai: Tên bạn đã chỉ định trong quá trình triển khai, được sử dụng trong model tham số yêu cầu API để định tuyến đến triển khai cụ thể của bạn.

Ứng dụng của bạn sử dụng các chi tiết này để tạo yêu cầu API. Cổng thông tin Microsoft Foundry cung cấp SDK và tài liệu API REST cho các ngôn ngữ lập trình khác nhau, cùng với các mẫu mã hiển thị định dạng yêu cầu, xác thực và xử lý phản hồi.

Với mô hình của bạn được triển khai và thử nghiệm, bạn đã sẵn sàng tích hợp mô hình đó vào các ứng dụng hoặc tiến hành đánh giá toàn diện hơn bằng cách sử dụng các chỉ số tự động và tập dữ liệu thử nghiệm.