Kết nối với các bảng Common Data Model trong Azure Data Lake Storage

Lưu ý

Azure Active Directory nay là Microsoft Entra ID. Tìm hiểu thêm

Nhập dữ liệu vào Dynamics 365 Customer Insights - Data bằng tài khoản Azure Data Lake Storage của bạn với các bảng Common Data Model. Việc nhập dữ liệu có thể đầy đủ hoặc tăng dần.

Điều kiện tiên quyết

• Tài khoản Azure Data Lake Storage phải bật không gian tên phân cấp. Dữ liệu phải được lưu trữ ở định dạng thư mục phân cấp xác định thư mục gốc và có các thư mục con cho mỗi bảng. Các thư mục con có thể có dữ liệu đầy đủ hoặc thư mục dữ liệu gia tăng.

• Để xác thực bằng Microsoft Entra dịch vụ chính, hãy đảm bảo dịch vụ đó được định cấu hình trong đối tượng thuê của bạn. Để biết thêm thông tin, hãy xem Kết nối với tài khoản Azure Data Lake Storage bằng Microsoft Entra dịch vụ chính.

• Azure Data Lake Storage bạn muốn kết nối và nhập dữ liệu từ đó phải ở cùng một khu vực Azure với môi trường Dynamics 365 Customer Insights và các gói đăng ký phải ở cùng một đối tượng thuê. Không hỗ trợ kết nối với thư mục Common Data Model từ một kho dữ liệu trong một vùng Azure khác. Để biết vùng Azure của môi trường, hãy đi tới Cài đặt>Hệ thống>Giới thiệu trong Customer Insights - Data.

• Dữ liệu được lưu trữ trong các dịch vụ trực tuyến có thể được lưu trữ ở một vị trí khác với nơi dữ liệu được xử lý hoặc lưu trữ. Bằng cách nhập hoặc kết nối với dữ liệu được lưu trữ trong các dịch vụ trực tuyến, bạn đồng ý rằng dữ liệu có thể được truyền đi. Tìm hiểu thêm tại Trung tâm tin cậy của Microsoft.

• Customer Insights - Data Người quản lý dịch vụ phải có một trong các vai trò sau để truy cập vào tài khoản lưu trữ. Để biết thêm thông tin, hãy xem Cấp quyền cho người ủy quyền dịch vụ truy cập vào tài khoản lưu trữ.

  • Bộ đọc dữ liệu khối lưu trữ
  • Chủ sở hữu dữ liệu khối lưu trữ
  • Người đóng góp dữ liệu khối lưu trữ

• Khi kết nối với bộ lưu trữ Azure của bạn bằng tùy chọn đăng ký Azure , người dùng thiết lập kết nối nguồn dữ liệu cần có ít nhất quyền của Người đóng góp dữ liệu Storage Blob trên tài khoản lưu trữ.

• Khi kết nối với bộ lưu trữ Azure của bạn bằng tùy chọn Tài nguyên Azure , người dùng thiết lập kết nối nguồn dữ liệu ít nhất cần có sự cho phép của Microsoft .Storage/storageAccounts/read hành động trên tài khoản lưu trữ. Một Vai trò tích hợp sẵn của Azure bao gồm hành động này là vai trò Người đọc . Để giới hạn quyền truy cập chỉ vào hành động cần thiết, hãy tạo vai trò tùy chỉnh Azure chỉ bao gồm hành động này.

• Để có hiệu suất tối ưu, kích thước của phân vùng phải từ 1 GB trở xuống và số lượng tệp phân vùng trong một thư mục không được vượt quá 1000.

• Dữ liệu trong Bộ lưu trữ Data Lake của bạn phải tuân theo tiêu chuẩn Common Data Model để lưu trữ dữ liệu của bạn và có tệp kê khai Common Data Model để thể hiện lược đồ của các tệp dữ liệu (*.csv hoặc *.parquet). Tệp kê khai phải cung cấp thông tin chi tiết về các bảng như cột trong bảng và kiểu dữ liệu cũng như vị trí và loại tệp dữ liệu. Để biết thêm thông tin, hãy xem Bản kê khai Common Data Model. Nếu không có tệp kê khai, người dùng Quản trị viên có quyền truy cập Chủ sở hữu dữ liệu Storage Blob hoặc Người đóng góp dữ liệu Storage Blob có thể xác định lược đồ khi nhập dữ liệu.

  Lưu ý

  Nếu bất kỳ trường nào trong tệp .parquet có kiểu dữ liệu Int96 thì dữ liệu đó có thể không hiển thị trên trang Bảng . Chúng tôi khuyên bạn nên sử dụng các loại dữ liệu tiêu chuẩn, chẳng hạn như định dạng dấu thời gian Unix (biểu thị thời gian dưới dạng số giây kể từ ngày 1 tháng 1 năm 1970, lúc nửa đêm UTC).

Giới hạn

• Customer Insights - Data không hỗ trợ các cột loại thập phân có độ chính xác lớn hơn 16.

Kết nối với Azure Data Lake Storage

1. Đi tới Dữ liệu>Nguồn dữ liệu.

2. Chọn Thêm nguồn dữ liệu.

3. Chọn Bảng Mô hình dữ liệu chung Azure Data Lake.

   

4. Nhập nguồn dữ liệu tên và một Mô tả tùy chọn. Tên được tham chiếu trong các quy trình tiếp theo và không thể thay đổi tên sau khi tạo nguồn dữ liệu.

5. Chọn một trong các tùy chọn sau để Kết nối bộ nhớ của bạn bằng. Để biết thêm thông tin, hãy xem Kết nối với tài khoản Azure Data Lake Storage bằng Microsoft Entra dịch vụ chính.

   • Tài nguyên Azure: Nhập Id tài nguyên. (private-link.md).
   • Đăng ký Azure: Chọn Đăng ký rồi chọn Nhóm tài nguyên và Tài khoản lưu trữ.

   Lưu ý

   Bạn cần có một trong các vai trò sau đối với vùng chứa để tạo nguồn dữ liệu:

   • Storage Blob Data Reader đủ để đọc từ tài khoản lưu trữ và nhập dữ liệu vào Customer Insights - Data.
   • Cần phải có Người đóng góp hoặc Chủ sở hữu dữ liệu Storage Blob nếu bạn muốn chỉnh sửa trực tiếp tệp kê khai trong Customer Insights - Data.

   Việc có vai trò trên tài khoản lưu trữ sẽ cung cấp vai trò tương tự trên tất cả các vùng chứa của tài khoản đó.

6. Theo tùy chọn, nếu bạn muốn nhập dữ liệu từ tài khoản lưu trữ thông qua Liên kết riêng tư Azure, hãy chọn Bật liên kết riêng tư. Để biết thêm thông tin, hãy xem Liên kết riêng.

7. Chọn tên của Vùng chứa chứa dữ liệu và lược đồ (tệp model.json hoặc manifest.json) để nhập dữ liệu từ đó và chọn Tiếp theo.

   Lưu ý

   Mọi tệp model.json hoặc manifest.json được liên kết với nguồn dữ liệu khác trong môi trường sẽ không hiển thị trong danh sách. Tuy nhiên, cùng một tệp model.json hoặc manifest.json có thể được sử dụng cho các nguồn dữ liệu trong nhiều môi trường.

8. Để tạo một lược đồ mới, hãy đi tới Tạo tệp lược đồ mới.

9. Để sử dụng lược đồ hiện có, hãy điều hướng đến thư mục chứa tệp model.json hoặc tệp kê khai.cdm.json. Bạn có thể tìm kiếm trong một thư mục để tìm tập tin.

10. Chọn tệp json và chọn Tiếp theo. Một danh sách các bảng có sẵn hiển thị.

    

11. Chọn các bảng bạn muốn bao gồm.

    

    Tiền bo

    Để chỉnh sửa bảng trong giao diện chỉnh sửa JSON, hãy chọn bảng rồi Chỉnh sửa tệp lược đồ. Thực hiện thay đổi và chọn Lưu.

12. Đối với các bảng đã chọn yêu cầu nhập tăng dần, Bắt buộc hiển thị trong phần Làm mới tăng dần. Đối với mỗi bảng trong số này, hãy xem Định cấu hình làm mới tăng dần cho nguồn dữ liệu Azure Data Lake.

13. Đối với các bảng đã chọn chưa xác định khóa chính, Bắt buộc hiển thị bên dưới Khóa chính. Đối với mỗi bảng sau:

    1. Chọn Bắt buộc. Bảng Bảng chỉnh sửa hiển thị.
    2. Chọn Khóa chính. Khóa chính là thuộc tính duy nhất của bảng. Để một thuộc tính là khóa chính hợp lệ, thuộc tính đó không được bao gồm các giá trị trùng lặp, giá trị bị thiếu hoặc giá trị rỗng. Các thuộc tính kiểu dữ liệu chuỗi, số nguyên và GUID được hỗ trợ làm khóa chính.
    3. Tùy chọn, thay đổi mẫu phân vùng.
    4. Chọn Đóng để lưu và đóng bảng điều khiển.

14. Chọn số lượng Cột cho mỗi bảng được bao gồm. Trang Quản lý thuộc tính hiển thị.

    

    1. Tạo cột mới, chỉnh sửa hoặc xóa cột hiện có. Bạn có thể thay đổi tên, định dạng dữ liệu hoặc thêm loại ngữ nghĩa.
    2. Để bật tính năng phân tích và các khả năng khác, hãy chọn Lập hồ sơ dữ liệu cho toàn bộ bảng hoặc cho các cột cụ thể. Theo mặc định, không có bảng nào được bật để lập hồ sơ dữ liệu.
    3. Chọn Xong.

15. Chọn Lưu. Trang Nguồn dữ liệu mở ra hiển thị nguồn dữ liệu mới ở trạng thái Đang làm mới .

    Tiền bo

    Có trạng thái cho các nhiệm vụ và quy trình. Hầu hết các quy trình đều phụ thuộc vào các quy trình ngược dòng khác, chẳng hạn như nguồn dữ liệu và lập hồ sơ dữ liệu làm mới.

    Chọn trạng thái để mở ngăn Chi tiết tiến trình và xem tiến trình của nhiệm vụ. Để hủy công việc, hãy chọn Hủy công việc ở cuối ngăn.

    Trong mỗi nhiệm vụ, bạn có thể chọn Xem chi tiết để biết thêm thông tin về tiến độ, chẳng hạn như thời gian xử lý, ngày xử lý cuối cùng cũng như mọi lỗi và cảnh báo hiện hành liên quan đến nhiệm vụ hoặc quy trình. Chọn Xem trạng thái hệ thống ở cuối bảng để xem các quy trình khác trong hệ thống.

Quá trình tải dữ liệu có thể mất một khoảng thời gian. Sau khi làm mới thành công, dữ liệu đã nhập có thể được xem lại từ trang Bảng .

Tạo một tệp lược đồ mới

1. Chọn Tạo tệp lược đồ.

2. Nhập tên cho tệp và chọn Lưu.

3. Chọn Bảng mới. Bảng Bảng mới hiển thị.

4. Nhập tên bảng và chọn Vị trí tệp dữ liệu.

   • Nhiều tệp .csv hoặc .parquet: Duyệt đến thư mục gốc, chọn loại mẫu và nhập biểu thức.
   • Các tệp .csv hoặc .parquet đơn: Duyệt đến tệp .csv hoặc .parquet và chọn tệp đó.

   

5. Chọn Lưu.

   

6. Chọn xác định các thuộc tính để thêm các thuộc tính theo cách thủ công hoặc chọn tự động tạo chúng. Để xác định các thuộc tính, hãy nhập tên, chọn định dạng dữ liệu và loại ngữ nghĩa tùy chọn. Đối với các thuộc tính được tạo tự động:

   1. Sau khi các thuộc tính được tạo tự động, hãy chọn Xem lại thuộc tính. Trang Quản lý thuộc tính hiển thị.

   2. Đảm bảo định dạng dữ liệu chính xác cho từng thuộc tính.

   3. Để bật tính năng phân tích và các khả năng khác, hãy chọn Lập hồ sơ dữ liệu cho toàn bộ bảng hoặc cho các cột cụ thể. Theo mặc định, không có bảng nào được bật để lập hồ sơ dữ liệu.

      

   4. Chọn Xong. Trang Chọn bảng hiển thị.

7. Tiếp tục thêm bảng và cột nếu có.

8. Sau khi tất cả các bảng đã được thêm, hãy chọn Bao gồm để đưa các bảng vào quá trình nhập nguồn dữ liệu.

   

9. Đối với các bảng đã chọn yêu cầu nhập tăng dần, Bắt buộc hiển thị trong phần Làm mới tăng dần. Đối với mỗi bảng trong số này, hãy xem Định cấu hình làm mới tăng dần cho nguồn dữ liệu Azure Data Lake.

10. Đối với các bảng đã chọn chưa xác định khóa chính, Bắt buộc hiển thị bên dưới Khóa chính. Đối với mỗi bảng sau:

    1. Chọn Bắt buộc. Bảng Bảng chỉnh sửa hiển thị.
    2. Chọn Khóa chính. Khóa chính là thuộc tính duy nhất của bảng. Để một thuộc tính là khóa chính hợp lệ, thuộc tính đó không được bao gồm các giá trị trùng lặp, giá trị bị thiếu hoặc giá trị rỗng. Các thuộc tính kiểu dữ liệu chuỗi, số nguyên và GUID được hỗ trợ làm khóa chính.
    3. Tùy chọn, thay đổi mẫu phân vùng.
    4. Chọn Đóng để lưu và đóng bảng điều khiển.

11. Chọn Lưu. Trang Nguồn dữ liệu mở ra hiển thị nguồn dữ liệu mới ở trạng thái Đang làm mới .

    Tiền bo

    Có trạng thái cho các nhiệm vụ và quy trình. Hầu hết các quy trình đều phụ thuộc vào các quy trình ngược dòng khác, chẳng hạn như nguồn dữ liệu và lập hồ sơ dữ liệu làm mới.

    Chọn trạng thái để mở ngăn Chi tiết tiến trình và xem tiến trình của nhiệm vụ. Để hủy công việc, hãy chọn Hủy công việc ở cuối ngăn.

    Trong mỗi nhiệm vụ, bạn có thể chọn Xem chi tiết để biết thêm thông tin về tiến độ, chẳng hạn như thời gian xử lý, ngày xử lý cuối cùng cũng như mọi lỗi và cảnh báo hiện hành liên quan đến nhiệm vụ hoặc quy trình. Chọn Xem trạng thái hệ thống ở cuối bảng để xem các quy trình khác trong hệ thống.

Quá trình tải dữ liệu có thể mất một khoảng thời gian. Sau khi làm mới thành công, dữ liệu đã nhập có thể được xem lại từ trang Dữ liệu>Bảng .

Chỉnh sửa Azure Data Lake Storage nguồn dữ liệu

Bạn có thể cập nhật Kết nối với tài khoản lưu trữ bằng tùy chọn . Để biết thêm thông tin, hãy xem Kết nối với tài khoản Azure Data Lake Storage bằng Microsoft Entra dịch vụ chính. Để kết nối với một vùng chứa khác với tài khoản lưu trữ của bạn hoặc thay đổi tên tài khoản, hãy tạo kết nối nguồn dữ liệu mới.

1. Đi tới Dữ liệu>Nguồn dữ liệu. Bên cạnh nguồn dữ liệu bạn muốn cập nhật, hãy chọn Chỉnh sửa.

2. Thay đổi bất kỳ thông tin nào sau đây:

   • Mô tả

   • Kết nối bộ lưu trữ của bạn bằng và thông tin kết nối. Bạn không thể thay đổi thông tin Container khi cập nhật kết nối.

     Lưu ý

     Một trong những vai trò sau phải được chỉ định cho tài khoản lưu trữ hoặc vùng chứa:

     • Bộ đọc dữ liệu khối lưu trữ
     • Chủ sở hữu dữ liệu khối lưu trữ
     • Người đóng góp dữ liệu khối lưu trữ

   • Sử dụng danh tính được quản lý cho Azure với Azure Data Lake Storage ???

   • Bật Liên kết riêng tư nếu bạn muốn nhập dữ liệu từ tài khoản lưu trữ thông qua Liên kết riêng tư Azure. Để biết thêm thông tin, hãy xem Liên kết riêng.

3. Chọn Tiếp theo.

4. Thay đổi bất kỳ điều nào sau đây:

   • Điều hướng đến một tệp model.json hoặc tệp kê khai.json khác bằng một bộ bảng khác từ vùng chứa.

   • Để thêm các bảng bổ sung để nhập, hãy chọn Bảng mới.

   • Để xóa bất kỳ bảng nào đã chọn nếu không có bảng phụ thuộc, hãy chọn bảng đó và Xóa.

     Quan trọng

     Nếu có các phần phụ thuộc vào tệp model.json hoặc tệp kê khai.json hiện có và tập hợp các bảng, bạn sẽ thấy thông báo lỗi và không thể chọn tệp model.json hoặc tệp kê khai.json khác. Hãy xóa các phần phụ thuộc đó trước khi thay đổi tệp model.json hoặc tệp manifest.json hoặc tạo một nguồn dữ liệu mới với tệp model.json hoặc tệp manifest.json mà bạn muốn sử dụng để tránh xóa các phần phụ thuộc.

   • Để thay đổi vị trí tệp dữ liệu hoặc khóa chính, hãy chọn Chỉnh sửa.

   • Để thay đổi dữ liệu nhập tăng dần, hãy xem Định cấu hình làm mới tăng dần cho nguồn dữ liệu Azure Data Lake.

   • Chỉ thay đổi tên bảng để khớp với tên bảng trong tệp .json.

     Lưu ý

     Luôn giữ tên bảng giống với tên bảng trong tệp model.json hoặc tệp kê khai.json sau khi nhập. Customer Insights - Data xác thực tất cả các tên bảng bằng model.json hoặcManifest.json trong mỗi lần làm mới hệ thống. Nếu tên bảng thay đổi sẽ xảy ra lỗi do Customer Insights - Data không thể tìm thấy tên bảng mới trong tệp .json. Nếu tên bảng đã nhập vô tình bị thay đổi, hãy chỉnh sửa tên bảng để khớp với tên trong tệp .json.

5. Chọn Cột để thêm hoặc thay đổi chúng hoặc để bật tính năng lập hồ sơ dữ liệu. Sau đó chọn Xong.

6. ChọnLưu để áp dụng các thay đổi của bạn và quay lại trang Nguồn dữ liệu .

   Tiền bo

   Có trạng thái cho các nhiệm vụ và quy trình. Hầu hết các quy trình đều phụ thuộc vào các quy trình ngược dòng khác, chẳng hạn như nguồn dữ liệu và lập hồ sơ dữ liệu làm mới.

   Chọn trạng thái để mở ngăn Chi tiết tiến trình và xem tiến trình của nhiệm vụ. Để hủy công việc, hãy chọn Hủy công việc ở cuối ngăn.

   Trong mỗi nhiệm vụ, bạn có thể chọn Xem chi tiết để biết thêm thông tin về tiến độ, chẳng hạn như thời gian xử lý, ngày xử lý cuối cùng cũng như mọi lỗi và cảnh báo hiện hành liên quan đến nhiệm vụ hoặc quy trình. Chọn Xem trạng thái hệ thống ở cuối bảng để xem các quy trình khác trong hệ thống.