Tóm tắt
Trong mô-đun này, chúng tôi đã đề cập đến cách bạn có thể sử dụng Azure OpenAI cùng với Azure API Management. Bằng cách kết hợp các dịch vụ này, bạn có thể quản lý và bảo mật quyền truy cập vào các mô hình AI của mình.
Trước tiên, chúng tôi đã thảo luận về vấn đề cân bằng tải và cách Azure API Management có thể giúp bạn quản lý lưu lượng truy cập và đảm bảo tải được phân bố đều trên các phụ trợ của bạn. Chúng tôi cũng nhìn vào ngắt mạch và làm thế nào họ có thể giúp chỉ đạo giao thông ra khỏi phụ trợ không lành mạnh.
Tiếp theo, chúng tôi đã thảo luận về giới hạn tỷ lệ dựa trên mã thông báo và cách bạn có thể sử dụng nó để kiểm soát quyền truy cập vào API của mình. Một học tập quan trọng là để tránh tiêu thụ quá mức và được gọi là "hàng xóm ồn ào" bằng cách thiết lập giới hạn về tiêu thụ mã thông báo.
Cuối cùng, chúng tôi đã thảo luận về cách bạn có thể giám sát và phân tích các mẫu sử dụng mã thông báo bằng Cách sử dụng Chính sách Số liệu Mã thông báo Phát hành Azure OpenAI. Bằng cách cung cấp các số liệu toàn diện, bạn có thể tối ưu hóa phân bổ tài nguyên, cải thiện việc ra quyết định và tăng cường giám sát hiệu suất.
Các bước tiếp theo
Dưới đây là các bước tiếp theo được chúng tôi đề xuất: