Jak kopiować dane przy użyciu działania kopiowania
W potoku danych można użyć działanie Kopiuj do kopiowania danych między magazynami danych znajdującymi się w chmurze.
Po skopiowaniu danych możesz użyć innych działań, aby jeszcze bardziej je przekształcić i przeanalizować. Możesz również użyć działanie Kopiuj, aby opublikować wyniki transformacji i analizy na potrzeby analizy biznesowej i użycia aplikacji.
Aby skopiować dane ze źródła do miejsca docelowego, usługa uruchamiana przez działanie Kopiuj wykonuje następujące kroki:
- Odczytuje dane ze źródłowego magazynu danych.
- Wykonuje serializacji/deserializacji, kompresji/dekompresji, mapowania kolumn itd. Wykonuje te operacje na podstawie konfiguracji.
- Zapisuje dane w docelowym magazynie danych.
Wymagania wstępne
Aby rozpocząć pracę, należy spełnić następujące wymagania wstępne:
Konto dzierżawy usługi Microsoft Fabric z aktywną subskrypcją. Utwórz konto bezpłatnie.
Upewnij się, że masz obszar roboczy z włączoną usługą Microsoft Fabric.
Dodawanie działania kopiowania przy użyciu asystenta kopiowania
Wykonaj następujące kroki, aby skonfigurować działanie kopiowania przy użyciu asystenta kopiowania.
Rozpoczynanie pracy z asystentem kopiowania
Otwórz istniejący potok danych lub utwórz nowy potok danych.
Wybierz pozycję Kopiuj dane na kanwie, aby otworzyć narzędzie Asystent kopiowania, aby rozpocząć pracę. Możesz też wybrać pozycję Użyj asystenta kopiowania z listy rozwijanej Kopiowanie danych na karcie Działania na wstążce.
Konfigurowanie źródła
Wybierz typ źródła danych z kategorii. Jako przykład użyjesz usługi Azure Blob Storage. Wybierz pozycję Azure Blob Storage , a następnie wybierz pozycję Dalej.
Utwórz połączenie ze źródłem danych, wybierając pozycję Utwórz nowe połączenie.
Po wybraniu pozycji Utwórz nowe połączenie wypełnij wymagane informacje o połączeniu, a następnie wybierz pozycję Dalej. Aby uzyskać szczegółowe informacje na temat tworzenia połączenia dla każdego typu źródła danych, możesz zapoznać się z każdym artykułem dotyczącym łącznika.
Jeśli masz istniejące połączenia, możesz wybrać pozycję Istniejące połączenie i wybrać połączenie z listy rozwijanej.
Wybierz plik lub folder, który ma zostać skopiowany w tym kroku konfiguracji źródłowej, a następnie wybierz przycisk Dalej.
Konfigurowanie miejsca docelowego
Wybierz typ źródła danych z kategorii. Jako przykład użyjesz usługi Azure Blob Storage. Możesz utworzyć nowe połączenie, które łączy się z nowym kontem usługi Azure Blob Storage, wykonując kroki opisane w poprzedniej sekcji lub używając istniejącego połączenia z listy rozwijanej połączenia. Możliwości połączenia testowego i edycji są dostępne dla każdego wybranego połączenia.
Skonfiguruj i zamapuj dane źródłowe na miejsce docelowe. Następnie wybierz przycisk Dalej , aby zakończyć konfiguracje docelowe.
Uwaga
W ramach tej samej działanie Kopiuj można używać tylko jednej lokalnej bramy danych. Jeśli zarówno źródło, jak i ujście są lokalnymi źródłami danych, muszą używać tej samej bramy. Aby przenieść dane między lokalnymi źródłami danych z różnymi bramami, należy skopiować przy użyciu pierwszej bramy do pośredniego źródła chmury w jednym działanie Kopiuj. Następnie możesz użyć innej działanie Kopiuj, aby skopiować ją ze źródła chmury pośredniej przy użyciu drugiej bramy.
Przeglądanie i tworzenie działania kopiowania
Przejrzyj ustawienia działania kopiowania w poprzednich krokach i wybierz przycisk OK , aby zakończyć. Możesz też wrócić do poprzednich kroków, aby edytować ustawienia w razie potrzeby w narzędziu.
Po zakończeniu działanie kopiowania zostanie dodane do kanwy potoku danych. Wszystkie ustawienia, w tym ustawienia zaawansowane dla tego działania kopiowania, są dostępne na kartach po jej wybraniu.
Teraz możesz zapisać potok danych przy użyciu tego pojedynczego działania kopiowania lub kontynuować projektowanie potoku danych.
Bezpośrednie dodawanie działania kopiowania
Wykonaj następujące kroki, aby bezpośrednio dodać działanie kopiowania.
Dodawanie działania kopiowania
Otwórz istniejący potok danych lub utwórz nowy potok danych.
Dodaj działanie kopiowania, wybierając pozycję Dodaj działanie> potoku działanie Kopiuj lub wybierając pozycję Kopiuj dane>Dodaj do kanwy na karcie Działania.
Konfigurowanie ustawień ogólnych na karcie Ogólne
Aby dowiedzieć się, jak skonfigurować ustawienia ogólne, zobacz Ogólne.
Konfigurowanie źródła na karcie Źródło
Wybierz pozycję + Nowy obok pozycji Połączenie , aby utworzyć połączenie ze źródłem danych.
Wybierz typ źródła danych w oknie podręcznym. Jako przykład użyjesz usługi Azure SQL Database. Wybierz pozycję Azure SQL Database, a następnie wybierz pozycję Kontynuuj.
Przechodzi do strony tworzenia połączenia. Wypełnij wymagane informacje o połączeniu na panelu, a następnie wybierz pozycję Utwórz. Aby uzyskać szczegółowe informacje na temat tworzenia połączenia dla każdego typu źródła danych, możesz zapoznać się z każdym artykułem dotyczącym łącznika.
Po pomyślnym utworzeniu połączenia następuje powrót do strony potoku danych. Następnie wybierz pozycję Odśwież , aby pobrać połączenie utworzone z listy rozwijanej. Możesz również wybrać istniejące połączenie usługi Azure SQL Database bezpośrednio z listy rozwijanej, jeśli zostało już utworzone wcześniej. Możliwości połączenia testowego i edycji są dostępne dla każdego wybranego połączenia. Następnie wybierz pozycję Azure SQL Database w polu Typ połączenia .
Określ tabelę do skopiowania. Wybierz pozycję Podgląd danych , aby wyświetlić podgląd tabeli źródłowej. Możesz również użyć procedury kwerendy i procedury składowanej, aby odczytywać dane ze źródła.
Rozwiń pozycję Zaawansowane , aby uzyskać bardziej zaawansowane ustawienia.
Konfigurowanie miejsca docelowego na karcie Miejsce docelowe
Wybierz typ miejsca docelowego. Może to być wewnętrzny magazyn danych pierwszej klasy z obszaru roboczego, takiego jak Lakehouse, lub zewnętrzne magazyny danych. Jako przykład użyjesz usługi Lakehouse.
Wybierz opcję użycia usługi Lakehouse w typie magazynu danych obszaru roboczego. Wybierz pozycję + Nowy, a następnie przejdź do strony tworzenia usługi Lakehouse. Określ nazwę usługi Lakehouse, a następnie wybierz pozycję Utwórz.
Po pomyślnym utworzeniu połączenia następuje powrót do strony potoku danych. Następnie wybierz pozycję Odśwież , aby pobrać połączenie utworzone z listy rozwijanej. Możesz również wybrać istniejące połączenie usługi Lakehouse bezpośrednio z listy rozwijanej, jeśli zostało już utworzone wcześniej.
Określ tabelę lub skonfiguruj ścieżkę pliku, aby zdefiniować plik lub folder jako miejsce docelowe. W tym miejscu wybierz pozycję Tabele i określ tabelę do zapisu danych.
Rozwiń pozycję Zaawansowane , aby uzyskać bardziej zaawansowane ustawienia.
Teraz możesz zapisać potok danych przy użyciu tego pojedynczego działania kopiowania lub kontynuować projektowanie potoku danych.
Konfigurowanie mapowań na karcie mapowania
Jeśli stosowany łącznik obsługuje mapowanie, możesz przejść do karty Mapowanie , aby skonfigurować mapowanie.
Wybierz pozycję Importuj schematy , aby zaimportować schemat danych.
Zobaczysz, że jest wyświetlane automatyczne mapowanie. Określ kolumnę Źródło i kolumnę Docelową . Jeśli tworzysz nową tabelę w miejscu docelowym, możesz dostosować nazwę kolumny Destination tutaj. Jeśli chcesz zapisać dane w istniejącej tabeli docelowej, nie możesz zmodyfikować istniejącej nazwy kolumny Destination . Można również wyświetlić kolumny Typ źródła i miejsca docelowego.
Poza tym możesz wybrać pozycję + Nowe mapowanie, aby dodać nowe mapowanie, wybrać pozycję Wyczyść, aby wyczyścić wszystkie ustawienia mapowania, a następnie wybrać pozycję Resetuj, aby zresetować wszystkie kolumny źródłowe mapowania.
Konfigurowanie innych ustawień na karcie Ustawienia
Karta Ustawienia zawiera ustawienia wydajności, przemieszczania itd.
Aby zapoznać się z opisem każdego ustawienia, zobacz poniższą tabelę.
| Ustawienie | opis | Właściwość skryptu JSON |
|---|---|---|
| Optymalizacja inteligentnej przepływności | Określ, aby zoptymalizować przepływność. Możesz wybrać jedną z opcji: • Auto • Standardowa • Zrównoważone • Maksimum Po wybraniu opcji Automatycznie optymalne ustawienie jest stosowane dynamicznie na podstawie pary źródłowej i wzorca danych. Możesz również dostosować przepływność, a wartość niestandardowa może wynosić od 2 do 256, a wyższa wartość oznacza więcej zysków. |
dataIntegrationUnits |
| Stopień równoległości kopiowania | Określ stopień równoległości używany przez ładowanie danych. | parallelCopies |
| Odporność na uszkodzenia | Podczas wybierania tej opcji można zignorować niektóre błędy występujące w trakcie procesu kopiowania. Na przykład niezgodne wiersze między magazynem źródłowym i docelowym, plik usuwany podczas przenoszenia danych itp. | • enableSkipIncompatibleRow • skipErrorFile: fileMissing fileForbidden invalidFileName |
| Włączanie rejestrowania | Po wybraniu tej opcji można rejestrować skopiowane pliki, pomijane pliki i wiersze. | / |
| Włączanie przemieszczania | Określ, czy chcesz skopiować dane za pośrednictwem tymczasowego magazynu przejściowego. Włącz przemieszczanie tylko w przypadku korzystnych scenariuszy. | enableStaging |
| Typ magazynu danych | Po włączeniu przemieszczania możesz wybrać pozycję Obszar roboczy i Zewnętrzny jako typ magazynu danych. | / |
| Dla obszaru roboczego | ||
| Workspace | Określ, aby używać wbudowanego magazynu przejściowego. | / |
| Dla zewnętrznego | ||
| Połączenie konta przejściowego | Określ połączenie usługi Azure Blob Storage lub Azure Data Lake Storage Gen2, które odnosi się do wystąpienia usługi Storage używanego jako tymczasowy magazyn przejściowy. Utwórz połączenie przejściowe, jeśli go nie masz. | połączenie (w obszarze externalReferences) |
| Ścieżka magazynu | Określ ścieżkę, która ma zawierać dane etapowe. Jeśli nie podasz ścieżki, usługa tworzy kontener do przechowywania danych tymczasowych. Określ ścieżkę tylko wtedy, gdy używasz usługi Storage z sygnaturą dostępu współdzielonego lub wymagasz, aby dane tymczasowe znajdowały się w określonej lokalizacji. | path |
| Włącz kompresję | Określa, czy dane mają być skompresowane przed skopiowanie ich do miejsca docelowego. To ustawienie zmniejsza ilość przesyłanych danych. | enableCompression |
| Zachować | Określ, czy zachować metadane/listy ACL podczas kopiowania danych. | zachować |
Uwaga
Jeśli używasz kopiowania etapowego z włączoną kompresją, uwierzytelnianie jednostki usługi na potrzeby przejściowego połączenia obiektu blob nie jest obsługiwane.
Konfigurowanie parametrów w działaniu kopiowania
Parametry mogą służyć do kontrolowania zachowania potoku i jego działań. Możesz użyć opcji Dodaj zawartość dynamiczną, aby określić parametry właściwości działania kopiowania. Określmy usługę Lakehouse/Data Warehouse/KQL Database jako przykład, aby zobaczyć, jak z niej korzystać.
W źródle lub miejscu docelowym po wybraniu pozycji Obszar roboczy jako typ magazynu danych i określeniu typu magazynu KQL usługi Lakehouse Data Warehouse/jako typu magazynu danych obszaru roboczego wybierz pozycję Dodaj zawartość dynamiczną na liście rozwijanej lakehouse/ lub Data Warehouse lub KQL Database.
W okienku podręcznym Dodaj zawartość dynamiczną w obszarze Parametry wybierz pozycję +.
Określ nazwę parametru i nadaj mu wartość domyślną, jeśli chcesz, lub możesz określić wartość parametru po wybraniu pozycji Uruchom w potoku.
Należy pamiętać, że wartość parametru powinna mieć identyfikator obiektu Lakehouse/Data Warehouse/KQL Database. Aby uzyskać identyfikator obiektu bazy danych Lakehouse/Data Warehouse/KQL, otwórz bazę danych Lakehouse/Data Warehouse/KQL w obszarze roboczym, a identyfikator znajduje się po
/lakehouses/lub/datawarehouses/w/databases/adresie URL.Identyfikator obiektu Lakehouse:
Identyfikator obiektu magazynu danych:
Identyfikator obiektu bazy danych KQL:
Wybierz pozycję Zapisz, aby wrócić do okienka Dodawanie zawartości dynamicznej. Następnie wybierz parametr, aby był wyświetlany w polu wyrażenia. Następnie wybierz opcję OK. Wrócisz do strony potoku i zobaczysz, że wyrażenie parametru jest określone po identyfikatorze obiektu magazynu danych usługi Lakehouse o identyfikatorze// obiektu KQL Database.
