Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Gilt für:Analytics Platform System (PDW)
Erstellt eine externe Datenquelle zum Abfragen externer Daten, die für PolyBase- und Datenvirtualisierungsfeatures verwendet werden.
Externe Datenquellen werden verwendet, um Eine Verbindung herzustellen und den folgenden Anwendungsfall zu unterstützen: Datenvirtualisierung und Datenladevorgang mithilfe von PolyBase in SQL Server.
Transact-SQL-Syntaxkonventionen
Syntax
CREATE EXTERNAL DATA SOURCE <data_source_name>
WITH
( [ LOCATION = '<prefix>://<path>[:<port>]' ]
[ [ , ] CREDENTIAL = <credential_name> ]
[ [ , ] TYPE = HADOOP ]
[ [ , ] RESOURCE_MANAGER_LOCATION = '<resource_manager>[:<port>]' )
[ ; ]
Arguments
data_source_name
Gibt den benutzerdefinierten Namen für die Datenquelle an. Der Name muss innerhalb des Servers in Analytics Platform System (PDW) eindeutig sein.
LOCATION = '<prefix>://<path[:p ort]>'
Stellt das Konnektivitätsprotokoll und den Pfad zur externe Datenquelle bereit.
| Externe Datenquelle | Präfix für Connector-Standort | Speicherortpfad |
|---|---|---|
| Cloudera CDH oder Hortonworks HDP | hdfs |
<Namenode>[:port] |
| Azure Storage-Konto | wasb[s] |
<container>@<storage_account>.blob.core.windows.net |
Speicherortpfad:
-
<Namenode>: Der Name des Computers, der Namensdienst-URI oder die IP-Adresse vonNamenodeim Hadoop-Cluster. PolyBase muss DNS-Namen auflösen, die vom Hadoop-Cluster verwendet werden. -
port= Der Port, an dem die externe Datenquelle lauscht. In Hadoop verwendet der Port den Konfigurationsparameterfs.defaultFS. Der Standardwert ist 8020. -
<container>= Der Container des Speicherkontos, der die Daten speichert. Stammcontainer sind schreibgeschützt und Daten können nicht zurück in den Container geschrieben werden. -
<storage_account>= der Name des Speicherkontos der Azure Ressource.
Zusätzliche Hinweise und Anweisungen für das Festlegen des Speicherorts:
- Die PDW-Engine überprüft die Existenz der externen Datenquelle nicht, wenn das Objekt erstellt wird. Erstellen Sie zum Überprüfen mithilfe der externe Datenquelle eine externe Tabelle.
- Verwenden Sie beim Abfragen von Hadoop für alle Tabellen die gleiche externe Datenquelle, um eine konsistente Abfragesemantik zu ermöglichen.
-
wasbswird empfohlen, da Daten mithilfe einer sicheren TLS-Verbindung gesendet werden. - Hierarchische Namespaces werden bei Verwendung mit Azure Storage Konten über wasb:// nicht unterstützt.
- Für erfolgreiche PolyBase-Abfragen während eines Hadoop-
Namenode-Failovers sollten Sie in Betracht ziehen, eine virtuelle IP-Adresse für denNamenodedes Hadoop-Clusters zu verwenden. Wenn nicht, führe ALTER EXTERNAL DATA SOURCE aus, um auf den neuen Standort zu zeigen.
CREDENTIAL = credential_name
Gibt die datenbankbezogenen Anmeldeinformationen für die Authentifizierung mit der externen Datenquelle an.
Zusätzliche Hinweise und Anweisungen für das Erstellen der Anmeldeinformationen:
- Um Daten aus Azure Storage in Azure Synapse oder PDW zu laden, verwenden Sie einen Azure Storage Key.
-
CREDENTIAList nur erforderlich, wenn die Daten gesichert wurden.CREDENTIAList für Datasets, die den anonymen Zugriff zulassen, nicht erforderlich.
TYPE = * [ HADOOP ] *
Gibt den Typ der externe Datenquelle an, die konfiguriert wird. Dieser Parameter ist nicht immer erforderlich.
- Verwenden Sie HADOOP, wenn die externe Datenquelle Cloudera CDH, Hortonworks HDP oder Azure Storage ist.
Ein Beispiel für die Verwendung von TYPE = HADOOP zum Laden von Daten aus Azure Storage finden Sie unter Create external data source to reference Hadoop.
RESOURCE_MANAGER_LOCATION = 'ResourceManager_URI[:p ort]'
Geben Sie in SQL Server 2019 (15.x) nicht RESOURCE_MANAGER_LOCATION an, es sei denn, eine Verbindung mit Cloudera CDH, Hortonworks HDP, einem Azure Storage Konto.
Konfigurieren Sie diesen optionalen Wert, wenn Sie eine Verbindung mit Cloudera CDH, Hortonworks HDP oder nur einem Azure Storage Konto herstellen. Eine vollständige Liste der unterstützten Hadoop-Versionen finden Sie unter PolyBase-Konnektivitätskonfiguration.
Wenn RESOURCE_MANAGER_LOCATION definiert ist, trifft der Abfrageoptimierer zur Verbesserung der Leistung eine kostenorientierte Entscheidung. Ein MapReduce-Auftrag kann zum Übertragen der Berechnung an Hadoop verwendet werden. Das Angeben von RESOURCE_MANAGER_LOCATION kann das Volume der zwischen Hadoop und SQL transferierten Daten erheblich reduzieren, was wiederum zu einer verbesserten Abfrageleistung führen kann.
Wenn die Resource Manager nicht angegeben ist, ist das Pushing compute to Hadoop für PolyBase-Abfragen deaktiviert. Erstellen einer externen Datenquelle zum Verweisen auf Hadoop mit aktivierter Weitergabe stellt ein konkretes Beispiel und weitere Anleitungen bereit.
Der RESOURCE_MANAGER_LOCATION Wert wird beim Erstellen der externen Datenquelle nicht überprüft. Das Eingeben eines falschen Werts kann zu Einem Abfragefehler bei der Ausführung führen, wenn ein Pushdown versucht wird, da der angegebene Wert nicht aufgelöst werden kann.
Damit PolyBase ordnungsgemäß mit einer externen Hadoop-Datenquelle funktioniert, müssen die Ports für die folgenden Hadoop-Clusterkomponenten geöffnet sein:
- HDFS-Ports
- NameNode
- Datanode
- Resource Manager
- Auftragsübermittlung
- Jobverlauf
Wenn kein Port angegeben ist, wird der Standardwert mithilfe der aktuellen Einstellung für die Konfiguration von „Hadoop Connectivity“ ausgewählt.
| Hadoop-Konnektivität | Standardport Resource Manager |
|---|---|
1 |
50300 |
2 |
50300 |
3 |
8021 |
4 |
8032 |
5 |
8050 |
6 |
8032 |
7 |
8050 |
Die folgende Tabelle zeigt die Standardports für diese Komponenten. Es gibt Hadoop-Versionsabhängigkeiten sowie die Möglichkeit einer benutzerdefinierten Konfiguration, die die Standardportzuweisung nicht verwendet.
| Hadoop-Clusterkomponente | Standardport |
|---|---|
| NameNode | 8020 |
| DataNode (Datenübertragung, nicht privilegierter IPC-Port) | 50010 |
| DataNode (Datenübertragung, privilegierter IPC-Port) | 1019 |
| Resource Manager Auftragsübermittlung (Hortonworks 1.3) | 50300 |
| Resource Manager Auftragsübermittlung (Cloudera 4.3) | 8021 |
| Resource Manager Auftragsübermittlung (Hortonworks 2.0 auf Windows, Cloudera 5.x unter Linux) | 8032 |
| Resource Manager Auftragsübermittlung (Hortonworks 2.x, 3.0 unter Linux, Hortonworks 2.1-3 auf Windows) | 8050 |
| Resource Manager Auftragsverlauf | 10020 |
Erlaubnisse
Erfordert die Berechtigung CONTROL für eine Datenbank in Analytics Platform System (PDW).
Note
In vorherigen Releases von PDW waren ALTER ANY EXTERNAL DATA SOURCE-Berechtigungen beim Erstellen von externen Datenquellen erforderlich.
Sperren
Eine gemeinsame Sperre für das EXTERNAL DATA SOURCE-Objekt wird zugelassen.
Security
PolyBase unterstützt die proxybasierte Authentifizierung für die meisten externen Datenquellen. Erstellen Sie datenbankweit gültige Anmeldeinformationen, um das Proxykonto zu erstellen.
Ein SAS-Token mit Typ HADOOP wird nicht unterstützt. Es wird nur mit Typ BLOB_STORAGE unterstützt, wenn stattdessen ein Speicherkonto-Zugriffsschlüssel verwendet wird. Beim Erstellen einer externen Datenquelle mit dem Typ HADOOP und SAS-Anmeldeinformationen tritt folgender Fehler auf:
Msg 105019, Level 16, State 1 - EXTERNAL TABLE access failed due to internal error: 'Java exception raised on call to HdfsBridge_Connect. Java exception message: Parameters provided to connect to the Azure storage account aren't valid.: Error [Parameters provided to connect to the Azure storage account aren't valid.] occurred while accessing external file.'
Beispiele
A. Erstellen einer externen Datenquelle, um auf Hadoop zu verweisen
Geben Sie den Computernamen oder die IP-Adresse von Hadoop-Namenode und des Ports an, um eine externe Datenquelle zu erstellen, die auf Hortonworks HDP oder Cloudera CDH verweist.
CREATE EXTERNAL DATA SOURCE MyHadoopCluster
WITH (
TYPE = HADOOP,
LOCATION = 'hdfs://10.10.10.10:8050'
);
B. Erstellen einer externen Datenquelle, um mit der aktivierten Weitergabe auf Hadoop zu verweisen
Geben Sie die Option RESOURCE_MANAGER_LOCATION an, um die Berechnung für PolyBase-Abfragen an Hadoop weiterzugeben. Nach der Aktivierung trifft PolyBase eine kostenorientierte Entscheidung, um zu bestimmen, ob die Abfrageberechnung an Hadoop weitergegeben werden soll.
CREATE EXTERNAL DATA SOURCE MyHadoopCluster
WITH (
TYPE = HADOOP,
LOCATION = 'hdfs://10.10.10.10:8020',
RESOURCE_MANAGER_LOCATION = '10.10.10.10:8050'
);
C. Erstellen einer externen Datenquelle, um auf Kerberos-gesicherte Hadoop-Software zu verweisen
Überprüfen Sie den Wert der hadoop.security.authentication-Eigenschaft in der Datei „Hadoop-core-site.xml“, um zu überprüfen, ob der Hadoop-Cluster durch Kerberos geschützt wird. Um auf ein Kerberos-gesichertes Hadoop-Cluster zu verweisen, müssen Sie datenbankweit gültige Anmeldeinformationen angeben, die Ihren Kerberos-Benutzernamen und Ihr Kennwort enthalten. Der Hauptschlüssel der Datenbank wird verwendet, um datenbankspezifische Anmeldeinformationen zu verschlüsseln.
-- Create a database master key if one does not already exist, using your own password.
-- This key is used to encrypt the credential secret in next step.
CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<password>';
-- Create a database scoped credential with Kerberos user name and password.
CREATE DATABASE SCOPED CREDENTIAL HadoopUser1
WITH IDENTITY = '<hadoop_user_name>',
SECRET = '<hadoop_password>';
-- Create an external data source with CREDENTIAL option.
CREATE EXTERNAL DATA SOURCE MyHadoopCluster
WITH (
TYPE = HADOOP,
LOCATION = 'hdfs://10.10.10.10:8050',
CREDENTIAL = HadoopUser1,
RESOURCE_MANAGER_LOCATION = '10.10.10.10:8050'
);
D. Erstellen einer externen Datenquelle für den Zugriff auf Daten in Azure Storage mithilfe der wasb://-Schnittstelle
In diesem Beispiel ist die externe Datenquelle ein Azure V2-Speicherkonto mit dem Namen logs. Der Lagerbehälter heißt daily. Die Azure Storage externe Datenquelle ist nur für die Datenübertragung vorgesehen. Die Prädikatweitergabe wird nicht unterstützt. Hierarchische Namespaces werden beim Zugriff auf Daten über die wasb:// Schnittstelle nicht unterstützt. Beim Herstellen einer Verbindung mit dem Azure Storage über wasb oder wasbs muss die Authentifizierung mit einem Speicherkontoschlüssel erfolgen, nicht mit einer freigegebenen Zugriffssignatur (SAS).
In diesem Beispiel wird gezeigt, wie Sie die Anmeldeinformationen mit Datenbankbereich für die Authentifizierung zum Azure Speichers erstellen. Geben Sie den Azure Speicherkontoschlüssel im geheimen Datenbankanmeldeinformationsschlüssel an. Sie können eine beliebige Zeichenfolge in datenbankbezogenen Anmeldeinformationsidentitäten angeben, da sie während der Authentifizierung nicht zum Azure Speicher verwendet wird.
-- Create a database master key if one does not already exist, using your own password.
-- This key is used to encrypt the credential secret in next step.
CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<password>';
-- Create a database scoped credential with Azure storage account key as the secret.
CREATE DATABASE SCOPED CREDENTIAL AzureStorageCredential
WITH IDENTITY = '<my_account>',
SECRET = '<azure_storage_account_key>';
-- Create an external data source with CREDENTIAL option.
CREATE EXTERNAL DATA SOURCE MyAzureStorage
WITH (
TYPE = HADOOP,
LOCATION = 'wasbs://daily@logs.blob.core.windows.net/',
CREDENTIAL = AzureStorageCredential
);