Kopiowanie tabeli lakehouse OneLake do Azure Machine Learning za pośrednictwem interfejsu użytkownika

W tym artykule pokazano, jak udostępnić w usłudze Azure Machine Learning dane typu tabeli usługi OneLake w Microsoft Fabric (/Tables), kopiując je do konta usługi Azure Data Lake Storage (ADLS) i tworząc magazyn danych na podstawie tej kopii. Wykonujesz całe zadanie w interfejsie użytkownika programu Studio.

Azure Machine Learning może łączyć się bezpośrednio z danymi typu plik w usłudze OneLake (/Files) za pośrednictwem magazynu danych OneLake, bez konieczności kopiowania. Ten magazyn danych bez kopiowania nie obsługuje tabel lakehouse, jak pokazano na poniższym zrzucie ekranu, dlatego w tym artykule opisano obejście oparte na interfejsie użytkownika dla danych tabeli.

Zrzut ekranu przedstawiający tabelę w usłudze Microsoft Fabric.

Note

Ta procedura kopiuje dane do Azure Data Lake Storage. Skopiowane dane są migawką stanu z danego momentu, a nie aktywnym połączeniem, więc po zmianie tabeli źródłowej należy ponownie uruchomić kopiowanie. Jeśli nie potrzebujesz przepływu pracy opartego wyłącznie na interfejsie użytkownika, najpierw rozważ opcje niewymagające kopiowania: magazyn danych OneLake (Microsoft Fabric) dla danych /Files lub bezpośredni dostęp z warstwy obliczeniowej. Aby zapoznać się z omówieniem wszystkich opcji integracji usługi OneLake, zobacz Integrowanie usługi OneLake z Azure Machine Learning.

Kiedy używać tego podejścia

Użyj metody opartej na kopiowaniu w tym artykule, gdy oba te warunki są spełnione:

  • Twoje dane są danymi typu tabela w usłudze OneLake (/Tables), do których magazyn danych OneLake nie może odwoływać się bezpośrednio.
  • Chcesz utworzyć połączenie w całości w Azure Machine Learning studio bez interfejsu wiersza polecenia lub zestawu SDK.

Jeśli potrzebujesz dostępu na żywo bez kopiowania lub jeśli Twoje dane znajdują się w sekcji lakehouse /Files, użyj zamiast tego magazynu danych OneLake.

Wymagania wstępne

Jak działa przepływ pracy kopiowania

To obejście ma trzy części:

  1. Utwórz i skonfiguruj konto Data Lake Storage w portalu Azure.
  2. Użyj potoku danych usługi Fabric, aby skopiować dane tabeli z usługi OneLake do Azure Data Lake Storage.
  3. Utwórz magazyn danych Azure Machine Learning w kontenerze Azure Data Lake Storage.

Na poniższym diagramie przedstawiono ogólny przepływ:

Zrzut ekranu przedstawiający ogólny przepływ rozwiązania.

Ważna

Ponieważ to podejście kopiuje dane, magazyn danych Azure Machine Learning przechowuje migawkę danych z określonego momentu. Uruchom ponownie kopię, gdy zmieni się tabela source lakehouse. Kopia powoduje również duplikację magazynowania, co zwiększa koszty, i nie zachowuje nadzoru ani rodowodu danych w usłudze OneLake.

Konfigurowanie konta usługi Data Lake Storage w witrynie Azure Portal

Przypisz role Współautor danych obiektów blob usługi Storage i Uprzywilejowany współautor danych plików usługi Storage do tożsamości użytkownika lub nazwy głównej usługi, aby przyznać dostęp do płaszczyzny danych oraz uprawnienia do tworzenia kontenerów. Dostęp przy użyciu klucza konta jest kontrolowany oddzielnie za pomocą ustawienia Zezwalaj na dostęp przy użyciu klucza konta magazynu, które można włączyć w kolejnym kroku. Aby przypisać role do tożsamości użytkownika:

  1. Otwórz portal Microsoft Azure.

  2. Wybierz usługę Konta magazynu .

    Zrzut ekranu przedstawiający wybór usługi Konta magazynowe.

  3. Na stronie Konta magazynu wybierz konto usługi Data Lake Storage utworzone w kroku wymagań wstępnych. Zostanie otwarta strona przedstawiająca właściwości konta przechowywania.

    Zrzut ekranu przedstawiający stronę właściwości konta usługi Data Lake Storage.

  4. Wybierz pozycję Klucze dostępu z panelu po lewej stronie i zarejestruj klucz. Ta wartość jest potrzebna w późniejszym kroku.

  5. Wybierz i włącz Zezwalaj na dostęp do klucza konta magazynowego, jak pokazano na poniższym zrzucie ekranu.

    Wskazówka

    W przypadku obciążeń produkcyjnych użyj uwierzytelniania opartego na tożsamościach (Microsoft Entra ID) zamiast kluczy kont. Aby uzyskać więcej informacji, zobacz Tworzenie magazynów danych.

    Zrzut ekranu przedstawiający sposób włączania dostępu do klucza konta usługi Data Lake Storage w witrynie Azure Portal.

  6. W panelu po lewej stronie wybierz Access Control (IAM) i przypisz nazwie głównej usługi role Współautor danych obiektów blob usługi Storage oraz Uprzywilejowany współautor danych plików usługi Storage.

    Zrzut ekranu przedstawiający sposób przypisywania ról konta usługi Data Lake Storage w witrynie Azure Portal.

  7. Utwórz kontener na koncie magazynowym. Nadaj jej nazwę onelake-table.

    Zrzut ekranu przedstawiający tworzenie kontenera konta usługi Data Lake Storage w witrynie Azure Portal.

Użyj potoku danych usługi Fabric, aby skopiować dane na konto Azure Data Lake Storage

Wskazówka

Można również użyć Fabric Copy job, które zapewnia prostsze rozwiązanie dla scenariuszy kopiowania danych.

  1. W portalu Fabric wybierz pozycję Przepływ danych na stronie Nowy element.

    Zrzut ekranu przedstawiający wybór potoku danych na stronie Nowy element Fabric.

  2. Wybierz Asystent kopiowania danych.

    Zrzut ekranu przedstawiający wybór asystenta kopiowania danych.

  3. W asystencie kopiowania danych wybierz Azure Blobs:

    Zrzut ekranu przedstawiający wybór opcji Wybierz obiekty blob platformy Azure w asystencie kopiowania danych Fabric.

  4. Aby utworzyć połączenie z kontem usługi Azure Data Lake Storage, wybierz pozycję Rodzaj uwierzytelniania: Klucz konta , a następnie przycisk Dalej:

    Zrzut ekranu przedstawiający sposób tworzenia połączenia w potoku danych Fabric.

    Wskazówka

    Aby uniknąć kluczy kont, wybierz rodzaj uwierzytelniania opartego na tożsamościach, taki jak konto organizacyjne, i utwórz magazyn danych Azure Machine Learning z dostępem opartym na tożsamościach. To podejście korzysta z ról płaszczyzny danych, które zostały wcześniej przypisane, i nie wymaga włączania dostępu przy użyciu klucza konta.

  5. Wybierz miejsce docelowe danych, a następnie wybierz pozycję Dalej:

    Zrzut ekranu przedstawiający wybór miejsca docelowego danych.

  6. Połącz się z miejscem docelowym danych i wybierz pozycję Dalej:

    Zrzut ekranu przedstawiający połączenie z miejscem docelowym danych.

  7. Ten krok automatycznie uruchamia zadanie kopiowania danych:

    Zrzut ekranu przedstawiający zaplanowane działanie kopiowania.

    Ten krok może trochę potrwać. Prowadzi bezpośrednio do następnego kroku.

  8. Sprawdź, czy zadanie kopiowania danych zakończyło się pomyślnie:

    Zrzut ekranu przedstawiający, że operacja kopiowania zakończyła się pomyślnie.

Tworzenie magazynu danych Azure Machine Learning w kontenerze Azure Data Lake Storage

Teraz, gdy dane są w zasobie usługi Azure Data Lake Storage, możesz utworzyć magazyn danych usługi Azure Machine Learning.

  1. Na koncie usługi Azure Storage kontener , jak pokazano po lewej stronie, zawiera dane, jak pokazano po prawej stronie:

    Zrzut ekranu przedstawiający sposób weryfikowania danych w kontenerze konta usługi Azure Storage.

  2. W Azure Machine Learning studio utwórz zasób danych. Aby wybrać typ, otwórz kontener onelake-table i sprawdź, czy kopia wyprodukowała pojedynczy plik, czy folder plików. Wybierz pozycję Plik (uri_file) dla pojedynczego pliku lub Folder (uri_folder) dla folderu plików, który jest typowy, gdy tabela eksportuje jako wiele plików:

    Zrzut ekranu przedstawiający wybór typu zasobu danych.

  3. Wybierz Z Azure Storage:

    Zrzut ekranu przedstawiający sposób wybierania usługi Azure Storage.

  4. Korzystając z wartości klucza konta z wcześniejszego kroku Tworzenie połączenia z kontem usługi Azure Data Lake Storage , utwórz nowy magazyn danych:

    Zrzut ekranu przedstawiający sposób tworzenia nowego magazynu danych w usłudze Azure Machine Learning.

  5. Możesz również bezpośrednio utworzyć magazyn danych w usłudze Azure Machine Learning Studio:

    Zrzut ekranu przedstawiający sposób tworzenia magazynu danych w usłudze Azure Machine Learning.

  6. Możesz przejrzeć szczegóły utworzonego magazynu danych:

    Zrzut ekranu przedstawiający szczegóły utworzonego magazynu danych.

  7. Przejrzyj dane w magazynie danych

    Zrzut ekranu przedstawiający sposób uzyskiwania dostępu do magazynu danych w usłudze Azure Machine Learning.

Po pomyślnym utworzeniu magazynu danych w usłudze Azure Machine Learning możesz go użyć w ćwiczeniach uczenia maszynowego.

Troubleshooting

  • Przypisanie roli nie jest jeszcze aktywne: propagacja przypisań ról platformy Azure może potrwać kilka minut. Jeśli zadanie kopiowania lub tworzenie magazynu danych zakończy się niepowodzeniem z powodu błędu autoryzacji, zaczekaj kilka minut i ponów próbę.
  • Dostęp do klucza konta jest wyłączony: jeśli nie możesz pobrać ani użyć klucza konta, upewnij się, że dla konta magazynu jest włączone ustawienie Zezwalaj na dostęp przy użyciu klucza konta magazynu.
  • Połączenie z usługą Fabric kończy się niepowodzeniem: sprawdź nazwę i klucz konta magazynu oraz upewnij się, że kontener onelake-table istnieje.
  • Zrzut jest nieaktualny: Kopia tworzy zrzut stanu z danego momentu. Aby dane były aktualne, skonfiguruj harmonogram cyklicznego uruchamiania potoku danych Fabric.

Źródła