Udostępnij za pośrednictwem

Eksportowanie danych

  • Artykuł

Ważne

Obsługa programu Machine Learning Studio (wersja klasyczna) zakończy się 31 sierpnia 2024 r. Zalecamy przejście do usługi Azure Machine Learning przed tym terminem.

Od 1 grudnia 2021 r. nie będzie można tworzyć nowych zasobów programu Machine Learning Studio (wersja klasyczna). Do 31 sierpnia 2024 r. można będzie nadal korzystać z istniejących zasobów programu Machine Learning Studio (wersja klasyczna).

Dokumentacja programu ML Studio (wersja klasyczna) jest wycofywana i może nie być aktualizowana w przyszłości.

Zapisuje zestaw danych w różnych formach magazynu opartego na chmurze na platformie Azure, takich jak tabele, obiekty blob i Azure SQL danych

Kategoria: Dane wejściowe i wyjściowe

Uwaga

Dotyczy: tylko Machine Learning Studio (klasyczne)

Podobne moduły przeciągania i upuszczania są dostępne w Azure Machine Learning projektanta.

Omówienie modułu

W tym artykule opisano, jak za pomocą modułu Eksportuj dane w programie Machine Learning Studio (wersja klasyczna) zapisywać wyniki, dane pośrednie i dane robocze z eksperymentów w miejscach docelowych magazynu w chmurze poza programem Machine Learning Studio (wersja klasyczna).

Ten moduł obsługuje eksportowanie lub zapisywanie danych w następujących usługach danych w chmurze:

  • Eksportowanie do zapytania Hive: zapis danych w tabeli programu Hive w klastrze usługi HDInsight na platformie Hadoop.

  • Eksportuj do Azure SQL Database: zapisz dane w Azure SQL Database lub Azure SQL Data Warehouse.

  • Eksportowanie do tabeli platformy Azure: zapisywanie danych w usłudze Table Storage na platformie Azure. Magazyn tabel jest dobrym rozwiązaniem do przechowywania dużych ilości danych. Zapewnia ona format tabelarów, który jest skalowalny, niedrogi i wysoce dostępny.

  • Eksportuj do Azure Blob Storage: zapisuje dane na Blob service na platformie Azure. Ta opcja jest przydatna w przypadku obrazów, tekstu bez struktury lub danych binarnych. Dane w Blob service można udostępniać publicznie lub zapisywać w zabezpieczonych magazynach danych aplikacji.

Uwaga

Moduł eksportowania danych nie obsługuje nawiązywania połączenia z kontem usługi Azure Blob Storage, jeśli opcja "Wymagany bezpieczny transfer" jest włączona.

  • Pobieranie danych: Aby pobrać dane, aby można było je otworzyć w programie Excel lub innej aplikacji, użyj modułu, takiego jak Konwertuj na csv lub Konwertuj na TSV, aby przygotować dane w określonym formacie, a następnie pobierz dane.

  • Możesz pobrać wyniki dowolnego modułu, który wyprowadza zestaw danych, klikając prawym przyciskiem myszy dane wyjściowe i wybierając pozycję Pobierz zestaw danych. Domyślnie dane są eksportowane w formacie CSV.

  • Pobierz definicję modułu lub wykres eksperymentu: Nowa biblioteka programu PowerShell umożliwia pobranie pełnych metadanych eksperymentu lub szczegółów dla określonego modułu. Biblioteka powershell for Machine Learning to wersja eksperymentalna, ale ma wiele przydatnych poleceń cmdlet:

    • Get-AmlExperiment Wyświetla listę wszystkich eksperymentów w obszarze roboczym.
    • Export-AmlExperimentGraph eksportuje definicję kompletnego eksperymentu do pliku JSON.
    • Download-AmlExperimentNodeOutput Umożliwia wyodrębnianie informacji podanych na portach wyjściowych dowolnego modułu.

Jak skonfigurować eksportowanie danych

  1. Dodaj moduł Eksportuj dane do eksperymentu w programie Studio (wersja klasyczna). Ten moduł można znaleźć w kategorii Dane wejściowe i Wyjściowe.

  2. Połączenie eksportuj dane do modułu zawierającego dane, które chcesz wyeksportować.

  3. Kliknij dwukrotnie pozycję Eksportuj dane , aby otworzyć okienko Właściwości.

  4. W przypadku opcji Miejsce docelowe danych wybierz typ magazynu w chmurze, w którym będziesz zapisywać dane. Jeśli w tej opcji zostaną wprowadzone jakiekolwiek zmiany, wszystkie inne właściwości zostaną zresetowane. Dlatego najpierw wybierz tę opcję.

  5. Podaj nazwę konta i metodę uwierzytelniania wymaganą do uzyskania dostępu do określonego konta magazynu.

    W zależności od typu magazynu i tego, czy konto jest zabezpieczone, może być konieczne podanie nazwy konta, typu pliku, klucza dostępu lub nazwy kontenera. W przypadku źródeł, które nie wymagają uwierzytelniania, zazwyczaj wystarczy znać adres URL.

    Przykłady każdego typu można znaleźć w następujących tematach:

  6. Opcja Użyj buforowanych wyników umożliwia powtórzenie eksperymentu bez ponownego zapisu tych samych wyników za każdym razem.

    Usunięcie zaznaczenia tej opcji powoduje, że wyniki są zapisywane w magazynie przy każdym uruchomieniu eksperymentu, niezależnie od tego, czy dane wyjściowe uległy zmianie.

    Jeśli wybierzesz tę opcję, opcja Eksportuj dane będzie korzystać z danych buforowanych, jeśli są dostępne. Nowe wyniki są generowane tylko w przypadku zmiany nadrzędnej, która miałaby wpływ na wyniki.

  7. Uruchom eksperyment.

Przykłady

Przykłady użycia modułu Eksportowanie danych można znaleźć w Azure AI Gallery:

  • Klasyfikacja tekstu: w tym przykładzie użyto eksportowania danych w celu zapisania wyników pośrednich, a następnie zaimportuj dane, aby pobrać je z magazynu do dalszych kroków eksperymentu.

  • Prognozowanie handlu detalicznego — krok 1 z 6 — przetwarzanie wstępne danych: szablon prognozowania handlu detalicznego ilustruje zadanie uczenia maszynowego na podstawie danych przechowywanych w Azure SQL Database. Demonstruje kilka przydatnych technik, takich jak tworzenie bazy danych usługi Azure SQL do uczenia maszynowego przy użyciu bazy danych Azure SQL do przekazania zestawów danych między eksperymentami na różnych kontach, zapisywania i łączenia prognoz.

  • Kompilowanie i wdrażanie modelu uczenia maszynowego przy użyciu usługi SQL Server na maszynie wirtualnej platformy Azure: w tym artykule pokazano, jak używać bazy danych usługi SQL Server hostowanej na maszynie wirtualnej platformy Azure jako źródła do przechowywania danych szkoleniowych i przewidywań generowanych przez eksperyment. Ilustruje również sposób, w jaki można użyć relacyjnej bazy danych do inżynierii cech i wyboru funkcji.

  • Jak używać usługi Azure ML z Azure SQL Data Warehouse: w tym artykule pokazano, jak można utworzyć model uczenia maszynowego przy użyciu danych w Azure SQL Data Warehouse.

Uwagi techniczne

Ta sekcja zawiera szczegóły implementacji, porady i odpowiedzi na często zadawane pytania.

Szczegóły implementacji

  • Ten moduł miał wcześniej nazwę Writer. Jeśli masz istniejący eksperyment, który korzysta z modułu writer , nazwa modułu zostanie zmieniona na Eksportuj dane podczas odświeżania eksperymentu.

  • Nie wszystkie moduły dają dane wyjściowe, które są zgodne z miejscami docelowymi eksportu danych. Na przykład eksportowanie danych nie może zapisać zestawu danych, który został przekonwertowany na format SVMLight. Eksportowanie danych obsługuje następujące formaty:

    • Zestaw danych (azure ML format wewnętrzny)
    • Tabela danych .NET
    • Csv z nagłówkami lub bez nagłówków
    • TSV z nagłówkami lub bez nagłówków

Znane problemy

  • Po wybraniu tabeli platformy Azure jako lokalizacji danych wyjściowych może wystąpić błąd podczas zapisywania w określonej tabeli. W takim przypadku dane mogą zostać zapisane w obiekcie blob.

    Jeśli ten błąd wystąpi i później nie będzie można odczytać z oczekiwanej tabeli, spróbuj użyć narzędzia usługi Azure Storage, aby sprawdzić obiekty blob w określonym kontenerze na koncie magazynu.

  • Obecnie nie można zapisać obiektu blob w określonej tabeli hive. Jeśli musisz zapisać wyniki pośrednie, unikaj używania tabeli programu Hive w umacie HDInsight i zamiast tego używaj magazynu obiektów blob lub magazynu tabel.

  • Obecnie w przypadku wybrania hdfs jako lokalizacji do zapisania danych wyjściowych jest zwracany następujący komunikat o błędzie: "Microsoft.Analytics.Exceptions.ErrorMapping+ModuleException".

Oczekiwane dane wejściowe

Nazwa Typ Opis
Zestaw danych Tabela danych Zestaw danych do napisano.

Parametry modułu

W tej tabeli wymieniono parametry, które mają zastosowanie do wszystkich opcji eksportu danych. Inne parametry są dynamiczne i zmieniają się w zależności od wybranego miejsca docelowego danych.

Nazwa Zakres Typ Domyślny Opis
Określ miejsce docelowe danych Lista DataSourceOrSink Blob service w usłudze Azure Storage Wskaż, czy miejsce docelowe danych jest plikiem w usłudze Blob service, plikiem w usłudze Table Service, bazą danych SQL na platformie Azure, czy tabelą programu Hive.
Używanie buforowanych wyników PRAWDA/FAŁSZ Wartość logiczna FALSE Wybierz tę opcję, aby uniknąć niepotrzebnych ponownego pisań wyników. Jeśli coś zmieni się w eksperymencie, polecenie Eksportuj dane zawsze będzie wykonywać i zapisywać nowe wyniki. Jeśli jednak nic się nie zmieniło i wybrano tę opcję, polecenie Eksportuj dane nie zostanie wykonane w celu uniknięcia ponownego napisania tych samych wyników.

Wyjątki

Wyjątek Opis
Błąd 0057 Podczas próby utworzenia pliku lub obiektu blob, który już istnieje, występuje wyjątek.
Błąd 0001 Wyjątek występuje, jeśli nie można odnaleźć co najmniej jednej określonej kolumny zestawu danych.
Błąd 0027 Wyjątek występuje, gdy dwa obiekty muszą mieć ten sam rozmiar, ale nie.
Błąd 0079 Wyjątek występuje, jeśli nazwa kontenera w usłudze Azure Storage jest niepoprawnie określona.
Błąd 0052 Wyjątek występuje, jeśli klucz dostępu do magazynu dla konta platformy Azure jest niepoprawnie określony.
Błąd 0064 Wyjątek występuje, jeśli nazwa konta lub klucz dostępu do magazynu dla konta platformy Azure jest niepoprawnie określony.
Błąd 0071 Wyjątek występuje, jeśli podane poświadczenia są nieprawidłowe.
Błąd 0018 Wyjątek występuje, jeśli wejściowy zestaw danych jest nieprawidłowy.
Błąd 0029 Wyjątek występuje, gdy zostanie przekazany nieprawidłowy identyfikator URI.
Błąd 0003 Wyjątek występuje, jeśli co najmniej jedno wejście ma wartość null lub jest puste.

Aby uzyskać listę błędów specyficznych dla modułów programu Studio (wersja klasyczna), zobacz Machine Learning Kody błędów.

Aby uzyskać listę wyjątków interfejsu API, zobacz Machine Learning API REST Error Codes (Kody błędów interfejsu API REST).

Zobacz też

Importowanie danych
Dane wejściowe i wyjściowe
Przekształcanie danych
Porównanie usług Azure Table Storage i Azure SQL Database
Lista modułów A–Z