Hiệu suất mô hình dự đoán

Sau mỗi lần đào tạo, AI Builder sử dụng bộ dữ liệu thử nghiệm để đánh giá chất lượng và mức độ phù hợp của mô hình mới. Trang tóm tắt cho mô hình của bạn sẽ hiển thị kết quả đào tạo mô hình. Những kết quả này được thể hiện dưới dạng điểm hiệu suất A, B, C hoặc D.

Đo lường hiệu suất

Hạng hiệu năng

Sau mỗi lần đào tạo, AI Builder sẽ hiển thị điểm để giúp bạn đánh giá độ chính xác của mô hình. Quyết định về việc mô hình của bạn đã sẵn sàng để xuất bản hay chưa là quyết định bạn phải đưa ra dựa trên nhu cầu và hoàn cảnh riêng của mình. AI Builder cung cấp các mức đánh giá hiệu suất sau đây để giúp bạn đưa ra quyết định.

Cách diễn giải từng cấp độ

Hạng	Hướng dẫn
A	Mô hình vẫn có thể cải thiện, nhưng đây là hạng tốt nhất mà bạn có thể nhận được.
B	Mô hình này đúng trong nhiều trường hợp. Có thể cải thiện được không? Điều đó phụ thuộc vào hoàn cảnh, dữ liệu và yêu cầu riêng của bạn.
C	Mô hình này hoạt động tốt hơn một chút so với dự đoán ngẫu nhiên. Nó có thể được chấp nhận trong một số ứng dụng, nhưng trong hầu hết các trường hợp, đây là mô hình mà bạn cần phải tiếp tục điều chỉnh và cải thiện.
D	Có gì đó không ổn. Mô hình của bạn hoạt động kém hơn mức chúng tôi mong đợi từ một phỏng đoán ngẫu nhiên (mô hình không phù hợp). Hoặc, nó hoạt động rất tốt (gần 100%) đến mức bạn có thể có một cột dữ liệu có mối tương quan trực tiếp với kết quả (mô hình quá phù hợp).

• Thông tin thêm về người mẫu thiếu cân
• Thông tin thêm về mô hình quá phù hợp

Phạm vi độ chính xác thay đổi tùy thuộc vào dữ liệu của bạn

Nếu bạn dự đoán 2 hoặc nhiều kết quả, tỷ lệ chính xác thực tế tương ứng với các mức điểm trên có thể thay đổi tùy thuộc vào phân phối dữ liệu của dữ liệu lịch sử của bạn. Sự khác biệt này giải thích cho thực tế là mức cải thiện so với mức cơ bản của bạn sẽ thay đổi khi bạn thay đổi mức cơ bản đó.

Giả sử mô hình của bạn dự đoán liệu lô hàng có đến đúng hạn hay không. Nếu tỷ lệ đúng giờ trước đây của bạn là 80 phần trăm, điểm hiệu suất là 92 sẽ tương ứng với điểm B. Tuy nhiên, nếu tỷ lệ đúng hạn trước đây của bạn chỉ là 50 phần trăm, thì 92 sẽ tương ứng với điểm A. Đó là bởi vì 92 là sự cải thiện tốt hơn nhiều so với 50 phần trăm so với 80 phần trăm và bạn mong đợi một phỏng đoán ngẫu nhiên sẽ gần với những tỷ lệ phần trăm đó.

Ví dụ về dữ liệu lịch sử nhị phân

Ví dụ này cho thấy phạm vi độ chính xác cho từng cấp độ khi dữ liệu lịch sử chứa các tỷ lệ đúng hạn khác nhau cho dự đoán nhị phân.

Hạng	Phạm vi độ chính xác cho tỷ lệ đúng hạn lịch sử 25%	Phạm vi độ chính xác cho tỷ lệ đúng hạn 50% trong lịch sử	Phạm vi độ chính xác cho tỷ lệ đúng hạn lịch sử 80%	Phạm vi độ chính xác cho tỷ lệ đúng hạn lịch sử 95%
A	92,5 – <99,3%	90 – 98%	93 – <99%	98,1 – <99,8%
B	81,3 – <92,5%	75 – <90%	84 – <93%	95,3 – <98,1%
C	66,3 – <81,3%	55 – <75%	71 – <84%	91,5 – <95,3%
D	<66,3% hoặc ≥99,3%	<55% hoặc ≥98%	<71% hoặc ≥99%	<91,5% hoặc ≥99,8%

Ví dụ về dữ liệu lịch sử nhiều kết quả

Tỷ lệ chính xác tương ứng với từng cấp độ cũng có thể thay đổi khi bạn dự đoán nhiều hơn 2 kết quả. Giả sử mô hình của bạn dự đoán nhiều hơn hai lựa chọn cho việc giao hàng: sớm, đúng hạn hoặc muộn.

Phạm vi độ chính xác cho từng cấp độ sẽ thay đổi khi tỷ lệ đúng hạn trước đây của bạn thay đổi.

Hạng	Sớm (33,3%)	Sớm (20%)	Sớm (10%)
	Đúng giờ (33,3%)	Đúng hạn (40%)	Đúng giờ (80%)
	Trễ (33,4%)	Trễ (40%)	Trễ (10%)
A	86,7 – <98,7%	87,2 – <98,7%	93,2 – <99,3%
B	66,7 – <86,7%	68,0 – <87,2%	83,0 – <93,2%
C	40,0 – <66,7%	42,4 – <68,0%	69,4 – <83,0%
D	33,3 – <40,0%	36,0 – <42,4%	66,0 – <69,4%

Ví dụ dự đoán số

Đối với dự đoán số, AI Builder sử dụng biện pháp thống kê R bình phương để tính toán mức độ chính xác của mô hình. Bảng sau đây hiển thị các điểm tương ứng với từng cấp độ:

Hạng	R bình phương
A	85% - <99%
B	60% - <85%
C	10% - <60%
D	≥99% hoặc <10%

Chi tiết hiệu suất

Để biết thông tin chi tiết về đào tạo, hãy chọn Xem chi tiết trên hộp điểm của mô hình. Trên tab Hiệu suất , thông tin sau đây sẽ khả dụng:

Lưu ý

Để biết thông tin về các tính năng bổ sung được lên kế hoạch cho khu vực này, hãy xem kế hoạch phát hành.

• Điểm độ chính xác
• R bình phương

Điểm độ chính xác

AI Builder tính toán điểm chính xác cho mô hình của bạn dựa trên kết quả dự đoán của tập dữ liệu thử nghiệm. Trước khi đào tạo, AI Builder tách tập dữ liệu của bạn thành các tập dữ liệu đào tạo và dữ liệu thử nghiệm riêng biệt. Và sau khi đào tạo, AI Builder áp dụng mô hình AI của bạn vào tập dữ liệu thử nghiệm và sau đó tính toán điểm chính xác. Ví dụ: nếu tập dữ liệu thử nghiệm của bạn có 200 hàng và AI Builder dự đoán đúng 192 hàng trong số đó, AI Builder thì sẽ hiển thị điểm chính xác là 96 phần trăm.

Để biết thêm thông tin, hãy xem Đánh giá mô hình của bạn.

R bình phương

Đối với dự đoán số, AI Builder tính toán điểm r bình phương sau mỗi lần đào tạo. Điểm này đo lường mức độ "phù hợp" của mô hình và được sử dụng để xác định điểm hiệu suất của mô hình.

Giả sử bạn đang dự đoán số ngày để thực hiện, vận chuyển và giao một đơn hàng. Mô hình dự đoán một tập hợp các con số. Giá trị r bình phương dựa trên khoảng cách giữa giá trị dự đoán và giá trị thực tế trong dữ liệu đào tạo của bạn. Điều này được thể hiện dưới dạng một con số từ 0 – 100%, giá trị càng cao thì giá trị dự đoán càng gần với giá trị thực. Thông thường, điểm số cao hơn có nghĩa là mô hình hoạt động tốt hơn. Tuy nhiên, hãy nhớ rằng điểm số hoàn hảo hoặc gần hoàn hảo (mô hình quá phù hợp) thường chỉ ra vấn đề trong dữ liệu đào tạo của bạn.

Trên tab Tóm tắt , thông tin hiệu suất sau đây sẽ khả dụng:

• Ngày đào tạo
• Nguồn dữ liệu
• Kết quả trước đây
• Bảng danh sách được sử dụng để dự đoán.

Cải thiện hiệu suất mô hình dự đoán của bạn

Sau khi bạn đã đào tạo và đánh giá mô hình của mình, đã đến lúc điều chỉnh mô hình để cải thiện hiệu suất của nó. Sau đây là một số điều bạn có thể thử để giúp cải thiện khả năng dự đoán của mô hình.

Xem lại lỗi và vấn đề

• Nếu có bất kỳ lỗi nào sau khi bạn hoàn tất quá trình đào tạo, hãy sửa chúng và đào tạo lại mô hình.
• Nếu không có lỗi, hãy kiểm tra thông tin đào tạo. Cố gắng giải quyết càng nhiều vấn đề càng tốt, sau đó đào tạo lại mô hình.

Đánh giá những người có ảnh hưởng hàng đầu

Sau mỗi khóa đào tạo, danh sách những người có sức ảnh hưởng hàng đầu sẽ xuất hiện trên trang chi tiết mô hình. Mỗi cột được sử dụng trong quá trình đào tạo đều có điểm số thể hiện mức độ ảnh hưởng của cột đó đến quá trình đào tạo. Tổng số điểm này bằng 100 phần trăm.

Điều này giúp cho thấy liệu mô hình của bạn có được đào tạo như mong đợi hay không. Ví dụ, nếu bạn muốn dự đoán ý định của người mua sắm trực tuyến và bạn mong đợi Độ tuổi, Sản phẩm là những cột có ảnh hưởng nhất, bạn sẽ thấy điều đó trong danh sách cột có ảnh hưởng nhất ở trang chi tiết mô hình. Nếu không, điều này có thể chỉ ra rằng kết quả đào tạo không như mong đợi. Trong trường hợp này, bạn có thể bỏ chọn các cột không liên quan hoặc gây hiểu lầm và đào tạo lại mô hình hoặc kiểm tra các vấn đề đào tạo để biết thêm chi tiết.

Thêm dữ liệu

Yêu cầu tối thiểu để đào tạo dữ liệu là 50 hàng, nhưng điều này không có nghĩa là 50 hàng dữ liệu sẽ đào tạo được một mô hình có khả năng dự đoán cao. Cố gắng cung cấp 1.000 hàng dữ liệu trở lên, được dán nhãn chính xác, với sự phân bổ thực tế giữa các tùy chọn.

Kiểm tra phân phối dữ liệu của bạn

Ví dụ, nếu bạn sử dụng hai nhãn tùy chọn là Có hoặc Không và hầu hết các hàng dữ liệu của bạn chỉ có Có trong cột này, thì mô hình của bạn sẽ khó có thể học từ dữ liệu này. Cố gắng phân bổ các tùy chọn trong dữ liệu của bạn sao cho phản ánh gần đúng sự phân bổ các tùy chọn mà bạn có thể mong đợi thấy. Ví dụ, nếu bạn đang xem các cột dữ liệu cho cat_owner và dog_owner, hãy sử dụng phân phối dữ liệu ở đâu đó khoảng 50 phần trăm. Nếu bạn đang xem xét các giao dịch gian lận, hãy sử dụng phân phối mất cân bằng hơn—có thể là 95 phần trăm đến 5 phần trăm. Hãy tham khảo các tiêu chuẩn của ngành đối với loại thông tin này nếu bạn không biết phải mong đợi điều gì.

Thêm cột nữa

Ví dụ, bạn muốn dự đoán khách hàng nào có nhiều khả năng quay lại và mua sản phẩm của bạn. Bạn có thể thêm nhiều cột hơn để làm cho dữ liệu đào tạo phong phú hơn. Ví dụ:

• Họ đánh giá sản phẩm như thế nào?
• Họ sử dụng sản phẩm này nhiều như thế nào?
• Họ có phải là khách hàng hiện tại không?

Thu hẹp các cột đã chọn thành thông tin có liên quan

Bạn có thể đã có rất nhiều dữ liệu đào tạo được dán nhãn chính xác, với nhiều cột dữ liệu. Vậy tại sao mô hình vẫn không hoạt động tốt? Có thể bạn đang chọn các cột dẫn đến sự thiên vị không mong muốn. Hãy đảm bảo rằng tất cả các cột bạn chọn đều có liên quan đến những gì bạn muốn dự đoán. Bỏ chọn các cột không liên quan hoặc gây hiểu lầm.

Xác thực dữ liệu

• Đảm bảo các cột dữ liệu không có tỷ lệ giá trị bị thiếu cao (lớn hơn 99 phần trăm). Điền các giá trị còn thiếu bằng dữ liệu mặc định hoặc xóa cột dữ liệu khỏi mô hình đào tạo.
• Nếu một cột dữ liệu có mối tương quan cao với kết quả dự đoán, hãy xóa cột dữ liệu đó khỏi mô hình đào tạo.

Bước tiếp theo

Sử dụng mô hình dự đoán của bạn trong Power Apps