Tạo Azure Synapse Link for Dataverse bằng Azure Synapse Workspace

Bài viết
11/05/2024

Bạn có thể dùng Azure Synapse Link để kết nối dữ liệu Microsoft Dataverse của mình với Azure Synapse Analytics để khám phá dữ liệu và đẩy nhanh thời gian có được thông tin chuyên sâu. Bài viết này cho bạn biết cách thực hiện các nhiệm vụ sau:

Kết nối dữ liệu Dataverse của bạn với không gian làm việc Azure Synapse Analytics bằng dịch vụ Azure Synapse Link.
Quản lý bảng Dataverse có trong Azure Synapse Link.
Theo dõi Azure Synapse Link.
Hủy liên kết Azure Synapse Link.
Liên kết lại Azure Synapse Link.
Xem dữ liệu của bạn trong Azure Synapse Analytics.

Lưu ý

Azure Synapse Link for Microsoft Dataverse trước đây được gọi là Xuất sang kho dữ liệu. Dịch vụ này có tên mới từ tháng 5 năm 2021 và sẽ tiếp tục xuất dữ liệu sang Azure Data Lake cũng như Azure Synapse Analytics.

Điều kiện tiên quyết

Dataverse: Bạn phải có Dataverse quản trị viên hệ thống vai trò bảo mật. Ngoài ra, các bảng mà bạn muốn xuất qua Azure Synapse Link phải bật thuộc tính Theo dõi thay đổi . Thông tin thêm: Tùy chọn nâng cao
Azure Data Lake Storage Gen2: Bạn phải có quyền truy cập vào tài khoản Gen2 và vai trò Azure Data Lake Storage Chủ sở hữu và Người đóng góp dữ liệu Blob lưu trữ . Tài khoản lưu trữ của bạn phải bật Không gian tên phân cấp cho cả thiết lập ban đầu và đồng bộ hóa delta. Cho phép truy cập khóa tài khoản lưu trữ chỉ được yêu cầu cho thiết lập ban đầu.
Không gian làm việc Synapse: Bạn phải có không gian làm việc Synapse và quyền truy cập vai trò Quản trị viên Synapse trong Synapse Studio. Không gian làm việc Synapse phải ở cùng khu vực với tài khoản Azure Data Lake Storage Gen2 của bạn. Tài khoản lưu trữ phải được thêm vào dưới dạng dịch vụ được liên kết trong Synapse Studio. Để tạo không gian làm việc Synapse, hãy truy cập Tạo không gian làm việc Synapse.

Lưu ý

Tài khoản lưu trữ và không gian làm việc Synapse phải được tạo trong cùng một Microsoft Entra đối tượng thuê với Power Apps đối tượng thuê của bạn.
Để thiết lập Bật từ các mạng ảo và địa chỉ IP đã chọn cho tài khoản lưu trữ và không gian làm việc được liên kết, bạn phải tạo Azure Synapse Link với các danh tính được quản lý. Thông tin thêm: Sử dụng danh tính được quản lý cho Azure với bộ lưu trữ hồ dữ liệu Azure của bạn (nếu không thiết lập danh tính được quản lý, bạn phải bật quyền truy cập mạng công cộng cho các tài nguyên Azure cho cả thiết lập ban đầu và đồng bộ hóa delta.)
Không hỗ trợ không gian làm việc Synapse có điểm cuối riêng được quản lý, tính năng bảo vệ chống rò rỉ dữ liệu hoặc mạng ảo được quản lý.
Bạn phải có quyền truy cập vai trò Người đọc vào nhóm tài nguyên với tài khoản lưu trữ và không gian làm việc Synapse.
Khi bạn thêm nhiều người dùng vào không gian làm việc synapse, họ phải có quyền truy cập vai trò Quản trị viên Synapse trong Synapse Studio và vai trò Người đóng góp dữ liệu Blob lưu trữ trên tài khoản Azure Data Lake Storage Gen2.
Việc tạo các cấu hình Synapse liên kết trong một môi trường DV duy nhất bị giới hạn tối đa là 10.

Kết nối Dataverse với không gian làm việc Synapse

đăng nhập vào Power Apps và chọn môi trường bạn thích.
Trên ngăn điều hướng bên trái, chọn Azure Synapse Link. Nếu Azure Synapse Link không hiển thị trong khung bên, hãy chọn …Thêm và chọn Khám phá tất cả. Chọn Azure Synapse Link trong phần Quản lý dữ liệu .
Trên thanh lệnh, chọn + New liên kết.
Chọn tùy chọn Kết nối với Azure Synapse không gian làm việc của bạn.
Chọn Đăng ký, Nhóm tài nguyên, Tên không gian làm việc và Tài khoản lưu trữ. Đảm bảo rằng không gian làm việc và tài khoản lưu trữ Synapse đáp ứng các yêu cầu được chỉ định trong phần Điều kiện tiên quyết . Chọn Tiếp theo.

Lưu ý

Trong quá trình liên kết môi trường với một kho dữ liệu, bạn cấp quyền truy cập dịch vụ Azure Synapse Link cho tài khoản lưu trữ của bạn. Đảm bảo rằng bạn đã tuân thủ các điều kiện tiên quyết để tạo và cấu hình tài khoản lưu trữ Azure Data Lake và cấp cho mình vai trò chủ sở hữu trên tài khoản lưu trữ. Ngoài ra, bạn cấp quyền truy cập dịch vụ luồng dữ liệu Power Platform cho tài khoản lưu trữ của bạn. Thông tin thêm: Chuẩn bị dữ liệu tự phục vụ với luồng dữ liệu.
Thêm các bảng bạn muốn xuất, sau đó chọn Lưu. Chỉ có thể xuất các bảng đã bật theo dõi thay đổi. Thông tin thêm: Bật theo dõi thay đổi.

Bạn có thể làm theo các bước ở trên để tạo đường liên kết từ một môi trường đến nhiều không gian làm việc Azure Synapse Analytics và kho dữ liệu Azure trong gói đăng ký Azure subscription của bạn bằng cách thêm một kho dữ liệu Azure làm dịch vụ được liên kết trên không gian làm việc Synapse. Tương tự, bạn cũng có thể tạo đường liên kết từ nhiều môi trường đến cùng một không gian làm việc Azure Synapse Analytics và kho dữ liệu Azure, tất cả đều nằm trong cùng một đối tượng thuê.

Lưu ý

Dịch vụ này được tích hợp liền mạch vào Azure Synapse Link for Dataverse như một tính năng có sẵn. Power Platform Nó đáp ứng các tiêu chuẩn bảo mật và quản trị được đặt ra cho việc lưu trữ và quản trị dữ liệu. Power Platform Thông tin thêm: Lưu trữ và quản lý dữ liệu

Dữ liệu được xuất ra bởi dịch vụ được mã hóa khi truyền bằng Giao thức bảo mật Transport tầng (TLS) 1.2 trở lên và được mã hóa khi lưu trữ trong Gen2. Azure Synapse Link Azure Data Lake Storage Ngoài ra, dữ liệu chuyển tiếp trong bộ lưu trữ blob cũng được mã hóa ở phần còn lại. Mã hóa trong Azure Data Lake Storage Gen2 giúp bạn bảo vệ dữ liệu của mình, thực hiện các chính sách bảo mật doanh nghiệp và đáp ứng các yêu cầu tuân thủ quy định. Thông tin thêm: Azure Data Encryption-at-Rest Thông tin thêm: Cấu hình tường lửa Azure Storage và mạng ảo

Quản lý dữ liệu bảng cho không gian làm việc Synapse

Sau khi thiết lập Azure Synapse Link, bạn có thể quản lý các bảng được xuất theo một trong hai cách sau:

Trong vùng Power Apps (make.powerapps.com) Azure Synapse Link , chọn Quản lý bảng trên thanh lệnh để thêm hoặc xóa một hoặc nhiều bảng được liên kết.
Trên khu vực Power Apps cổng thông tin nhà sản xuất Bảng , hãy chọn … bên cạnh một bảng, sau đó chọn kho dữ liệu được liên kết nơi bạn muốn xuất dữ liệu bảng.

Theo dõi Azure Synapse Link

Sau khi bạn đã thiết lập Azure Synapse Link, bạn có thể theo dõi Azure Synapse Link trong tab Bảng .

Giám sát Azure Synapse Link

Sẽ có một danh sách các bảng thuộc Azure Synapse Link đã chọn.
Trạng thái đồng bộ hóa trải qua nhiều giai đoạn khác nhau. NotStarted chỉ ra rằng bảng đang chờ được đồng bộ hóa. Sau khi quá trình đồng bộ hóa ban đầu của bảng Hoàn tất, sẽ có giai đoạn xử lý hậu kỳ trong đó các bản cập nhật gia tăng sẽ không diễn ra. Quá trình này có thể mất vài giờ tùy thuộc vào kích thước dữ liệu của bạn. Khi các bản cập nhật gia tăng bắt đầu diễn ra, ngày đồng bộ hóa gần nhất sẽ được cập nhật thường xuyên.
Cột Số hiển thị số hàng đã viết. Khi Chỉ thêm được đặt thành Không, đây là tổng số bản ghi. Khi Chỉ thêm được đặt thành Có, đây là tổng số thay đổi.
Các cột Chỉ thêm và Chiến lược phân vùng cho thấy cách sử dụng các cấu hình nâng cao khác nhau.

Hủy liên kết Azure Synapse Link

Chọn Azure Synapse Link muốn hủy liên kết.
Chọn Hủy liên kết từ thanh lệnh.
Để xóa cả hệ thống tệp kho dữ liệu và Cơ sở dữ liệu Synapse, hãy nhập tên liên kết để xác nhận.
Chọn Có và đợi vài phút để hủy liên kết và xóa mọi thứ.

Quan trọng

Các đối tượng cơ sở dữ liệu tùy chỉnh do khách hàng tạo trong cơ sở dữ liệu sẽ bị xóa sau khi quá trình hủy liên kết hoàn tất. Azure Synapse Link

Khách hàng sẽ cần triển khai phiên bản kiểm soát riêng cho các tập lệnh đối tượng cơ sở dữ liệu tùy chỉnh của mình để đảm bảo họ có bản sao lưu.

Liên kết lại Azure Synapse Link

Nếu bạn đã xóa hệ thống tệp khi hủy liên kết, hãy làm theo các bước ở trên để liên kết lại không gian làm việc Synapse và kho dữ liệu đó. Nếu bạn không xóa hệ thống tệp khi hủy liên kết, bạn phải xóa dữ liệu để liên kết lại:

Điều hướng Azure Synapse Analytics.
Chọn ... cho cơ sở dữ liệu chưa được liên kết và chọn Sổ ghi chép mới>Sổ ghi chép trống.
Đính kèm sổ ghi chép vào một Apache Spark nhóm bằng cách chọn một nhóm từ trình đơn thả xuống. Nếu bạn không có Apache Spark nhóm, hãy chọn Quản lý nhóm để tạo một nhóm.
Nhập đoạn mã sau, thay thế <DATABASE_NAME> bằng tên cơ sở dữ liệu cần hủy liên kết và chạy sổ ghi chép.

    %%sql
    DROP DATABASE <DATABASE_NAME> CASCADE

Sau khi chạy sổ, hãy làm mới danh sách cơ sở dữ liệu từ bảng điều khiển bên trái. Nếu cơ sở dữ liệu vẫn tồn tại, hãy thử nhấp chuột phải vào cơ sở dữ liệu và chọn Xóa.
Chuyển đến Power Apps rồi liên kết lại không gian làm việc Synapse và kho dữ liệu.

Truy cập dữ liệu gần như thời gian thực và dữ liệu ảnh chụp nhanh chỉ đọc

Sau khi tạo Azure Synapse Link, 2 phiên bản của dữ liệu bảng sẽ được đồng bộ hóa trong Azure Synapse Analytics và/hoặc Azure Data Lake Storage thế hệ 2 trong gói đăng ký Azure của bạn theo mặc định, nhằm đảm bảo bạn có thể sử dụng ổn định dữ liệu đã cập nhật trong kho dữ liệu bất kỳ lúc nào:

Dữ liệu gần thời gian thực: Cung cấp bản sao dữ liệu được đồng bộ hóa từ Dataverse qua Azure Synapse Link một cách hiệu quả bằng cách phát hiện dữ liệu nào đã thay đổi kể từ lần trích xuất ban đầu hoặc lần đồng bộ hóa cuối cùng.
Dữ liệu ảnh chụp nhanh: Cung cấp bản sao chỉ đọc của dữ liệu gần như thời gian thực, được cập nhật định kỳ (trong trường hợp này là mỗi giờ).

Lưu ý

Để tạo dữ liệu hình chụp nhanh chỉ đọc, hãy đảm bảo rằng cài đặt Phạm vi được phép cho các hoạt động sao chép được định cấu hình thành Từ bất kỳ tài khoản lưu trữ nào. Thông tin thêm: Cấu hình phạm vi được phép cho các hoạt động sao chép

Chọn Azure Synapse Link mong muốn, sau đó chọn Đi tới Azure Synapse Analytics không gian làm việc từ bảng điều khiển trên cùng.
Mở rộng Cơ sở dữ liệu hồ từ bảng bên trái, chọn dataverse-environmentName-organizationUniqueName, sau đó mở rộng Bảng.

Tất cả Bảng dữ liệu gần thời gian thực đều được liệt kê và có thể phân tích bằng quy ước đặt tên DataverseTableName. Tất cả hình chụp nhanh Bảng dữ liệu đều được liệt kê và có thể phân tích bằng quy ước đặt tên DataverseTableName_partitioned.

Gần thời gian thực và bảng hình chụp nhanh

Tiếp theo là gì?

Sau khi sử dụng dịch vụ thành công, hãy khám phá cách bạn có thể phân tích và sử dụng dữ liệu của mình bằng Azure Synapse Link for Dataverse Discover Hub . Để truy cập Discover Hub, hãy truy cập Power Apps>Azure Synapse Link. Chọn dịch vụ được liên kết của bạn rồi chọn tab Discover Hub . Tại đây, bạn có thể tìm thấy các công cụ được đề xuất và tài liệu được quản lý để giúp bạn tận dụng tối đa giá trị từ dữ liệu của mình. Khám phá Hub.