Federatieve query's uitvoeren op Amazon Redshift
Belangrijk
Deze functie is beschikbaar als openbare preview.
In dit artikel wordt beschreven hoe u Lakehouse Federation instelt voor het uitvoeren van federatieve query's op Run-query's op Amazon Redshift-gegevens die niet worden beheerd door Azure Databricks. Zie Wat is Lakehouse Federation voor meer informatie over Lakehouse Federation.
Als u verbinding wilt maken met uw Run-query's op Amazon Redshift-database met behulp van Lakehouse Federation, moet u het volgende maken in uw Azure Databricks Unity Catalog-metastore:
- Een verbinding met uw Run-query's op Amazon Redshift-database.
- Een refererende catalogus die uw Run-query's weerspiegelt op Amazon Redshift-database in Unity Catalog, zodat u de syntaxis van de Unity Catalog-query en hulpprogramma's voor gegevensbeheer kunt gebruiken om de toegang van azure Databricks-gebruikers tot de database te beheren.
Voordat u begint
Vereisten voor werkruimte:
- Werkruimte ingeschakeld voor Unity Catalog.
Rekenvereisten:
- Netwerkconnectiviteit van uw Databricks Runtime-cluster of SQL Warehouse naar de doeldatabasesystemen. Zie De aanbevelingen voor netwerken voor Lakehouse Federation.
- Azure Databricks-clusters moeten gebruikmaken van Databricks Runtime 13.3 LTS of hoger en de modus voor gedeelde of toegang tot één gebruiker.
- SQL-warehouses moeten Pro of Serverless zijn en moeten 2023.40 of hoger gebruiken.
Vereiste machtigingen:
- Als u een verbinding wilt maken, moet u een metastore-beheerder of een gebruiker zijn met de
CREATE CONNECTION
bevoegdheid voor de Unity Catalog-metastore die is gekoppeld aan de werkruimte. - Als u een refererende catalogus wilt maken, moet u beschikken over de
CREATE CATALOG
machtiging voor de metastore en de eigenaar van de verbinding zijn of over deCREATE FOREIGN CATALOG
bevoegdheid voor de verbinding beschikken.
Aanvullende machtigingsvereisten worden opgegeven in elke sectie op basis van taken die volgt.
Een verbinding maken
Een verbinding geeft een pad en referenties op voor toegang tot een extern databasesysteem. Als u een verbinding wilt maken, kunt u Catalog Explorer of de CREATE CONNECTION
SQL-opdracht gebruiken in een Azure Databricks-notebook of de Databricks SQL-queryeditor.
Vereiste machtigingen: Metastore-beheerder of gebruiker met de CREATE CONNECTION
bevoegdheid.
Catalogusverkenner
Klik in uw Azure Databricks-werkruimte op
Catalogus.
Klik boven aan het deelvenster Catalogus op het
pictogram Toevoegen en selecteer Een verbinding toevoegen in het menu.
U kunt ook op de pagina Snelle toegang op de knop Externe gegevens > klikken, naar het tabblad Verbindingen gaan en op Verbinding maken klikken.
Voer een gebruiksvriendelijke verbindingsnaam in.
Selecteer een verbindingstype van Redshift.
Voer de volgende verbindingseigenschappen in voor uw Redshift-exemplaar.
- Host: bijvoorbeeld
redshift-demo.us-west-2.redshift.amazonaws.com
- Poort: bijvoorbeeld
5439
- Gebruiker: bijvoorbeeld
redshift_user
- Wachtwoord: bijvoorbeeld
password123
- Host: bijvoorbeeld
(Optioneel) Klik op Verbinding testen om te bevestigen dat deze werkt.
(Optioneel) Voeg een opmerking toe.
Klik op Create.
SQL
Voer de volgende opdracht uit in een notebook of de Sql-query-editor van Databricks.
CREATE CONNECTION <connection-name> TYPE redshift
OPTIONS (
host '<hostname>',
port '<port>',
user '<user>',
password '<password>'
);
U wordt aangeraden Azure Databricks-geheimen te gebruiken in plaats van tekenreeksen zonder opmaak voor gevoelige waarden, zoals referenties. Voorbeeld:
CREATE CONNECTION <connection-name> TYPE redshift
OPTIONS (
host '<hostname>',
port '<port>',
user secret ('<secret-scope>','<secret-key-user>'),
password secret ('<secret-scope>','<secret-key-password>')
)
Zie Geheimbeheer voor informatie over het instellen van geheimen.
Een refererende catalogus maken
Een refererende catalogus spiegelt een database in een extern gegevenssysteem, zodat u de toegang tot gegevens in die database kunt opvragen en beheren met behulp van Azure Databricks en Unity Catalog. Als u een refererende catalogus wilt maken, gebruikt u een verbinding met de gegevensbron die al is gedefinieerd.
Als u een refererende catalogus wilt maken, kunt u Catalog Explorer of de CREATE FOREIGN CATALOG
SQL-opdracht gebruiken in een Azure Databricks-notebook of de SQL-queryeditor.
Vereiste machtigingen: CREATE CATALOG
machtiging voor de metastore en eigendom van de verbinding of de CREATE FOREIGN CATALOG
bevoegdheid voor de verbinding.
Catalogusverkenner
Klik in uw Azure Databricks-werkruimte op
Catalog om Catalog Explorer te openen.
Klik boven aan het deelvenster Catalogus op het
pictogram Toevoegen en selecteer Een catalogus toevoegen in het menu.
U kunt ook op de pagina Snelle toegang op de knop Catalogussen klikken en vervolgens op de knop Catalogus maken klikken.
Volg de instructies voor het maken van refererende catalogi in Catalogussen maken.
SQL
Voer de volgende SQL-opdracht uit in een notebook of SQL-queryeditor. Items tussen haakjes zijn optioneel. Vervang de waarden van de tijdelijke aanduidingen:
<catalog-name>
: Naam voor de catalogus in Azure Databricks.<connection-name>
: Het verbindingsobject waarmee de gegevensbron, het pad en de toegangsreferenties worden opgegeven.<database-name>
: De naam van de database die u wilt spiegelen als een catalogus in Azure Databricks.
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');
Ondersteunde pushdowns
De volgende pushdowns worden ondersteund:
- Filters
- Projecties
- Grenswaarde
- Samenvoegingen
- Aggregaties (gemiddelde, aantal, max, min, stddevPop, StddevSamp, som, variantiesamp)
- Functies (tekenreeksfuncties en andere diverse functies, zoals Alias, Cast, SortOrder)
- Sorteervolgorde
De volgende pushdowns worden niet ondersteund:
- Windows-functies
Toewijzingen van gegevenstypen
Wanneer u van Redshift naar Spark leest, worden gegevenstypen als volgt toegewezen:
Redshift-type | Spark-type |
---|---|
numeriek | DecimalType |
int2, int4 | IntegerType |
int8, oid, xid | LongType |
float4 | FloatType |
dubbele precisie, float8, geld | DoubleType |
bpchar, char, character varying, name, super, text, tid, varchar | StringType |
bytea, geometrie, varbyte | BinaryType |
bit, bool | BooleanType |
datum | DateType |
tabstime, time, time with time zone, timetz, time without time zone, timestamp with time zone, timestamp, timestamptz, timestamptz, timestamp without time zone* | TimestampType/TimestampNTZType |
*Wanneer u vanuit Redshift leest, wordt Redshift Timestamp
toegewezen aan Spark TimestampType
als infer_timestamp_ntz_type = false
(standaard). Redshift Timestamp
wordt toegewezen aan TimestampNTZType
if infer_timestamp_ntz_type = true
.