Vytvoření přihlašovacích údajů úložiště pro připojení ke Cloudflare R2

Článek
11/08/2024

Tento článek popisuje, jak vytvořit přihlašovací údaje úložiště v katalogu Unity pro připojení ke Cloudflare R2. Za úložiště objektů Cloudflare R2 se neúčtují žádné poplatky za výchozí přenos dat. Replikace nebo migrace dat, která sdílíte do R2, umožňuje sdílet data napříč cloudy a oblastmi bez poplatků za výchozí přenos dat.

Poznámka:

Unity Catalog podporuje dvě možnosti cloudového úložiště pro Azure Databricks: kontejnery Azure Data Lake Storage Gen2 a kontejnery Cloudflare R2. Cloudflare R2 je určen především pro případy použití rozdílového sdílení, ve kterých se chcete vyhnout poplatkům za výchozí přenos dat poskytovatele cloudu. Azure Data Lake Storage Gen2 je vhodný pro většinu ostatních případů použití. Viz Monitorování a správa nákladů na výchozí přenos dat rozdílového sdílení (pro poskytovatele) a vytvoření přihlašovacích údajů úložiště pro připojení k Azure Data Lake Storage Gen2.

Pokud chcete jako umístění úložiště použít kontejner R2 pro data spravovaná katalogem Unity, musíte vytvořit přihlašovací údaje úložiště, které autorizuje přístup k kbelíku R2, a vytvořit externí umístění, které odkazuje na přihlašovací údaje úložiště a cestu kontejneru:

Přihlašovací údaje úložiště zapouzdřují dlouhodobé přihlašovací údaje cloudu, které poskytují přístup ke cloudovému úložišti.
Externí umístění obsahují odkaz na přihlašovací údaje úložiště a cestu cloudového úložiště.

Tento článek se zaměřuje na vytvoření přihlašovacích údajů úložiště.

Další informace najdete v tématu Správa přístupu ke cloudovému úložišti pomocí katalogu Unity.

Požadavky

Pracovní prostor Databricks povolený pro katalog Unity
Databricks Runtime 14.3 nebo novější nebo SQL Warehouse 2024.15 nebo vyšší

Pokud se zobrazí chybová zpráva No FileSystem for scheme "r2”, je váš výpočetní výkon pravděpodobně na nepodporované verzi.
Účet Cloudflare. Viz třída https://dash.cloudflare.com/sign-up.
Role správce Cloudflare R2 Prohlédnou si dokumentaci k rolím Cloudflare.
CREATE STORAGE CREDENTIAL oprávnění k metastoru katalogu Unity připojenému k pracovnímu prostoru. Správci účtů a správci metastoru mají ve výchozím nastavení toto oprávnění.

Konfigurace kbelíku R2

Vytvořte kontejner Cloudflare R2.

Můžete použít řídicí panel Cloudflare nebo nástroj Cloudflare Wrangler.

Podívejte se na dokumentaci Začínáme s Cloudflare R2 nebo dokumentaci wrangleru.
Vytvořte token rozhraní API R2 a použijte ho v kontejneru.

Viz dokumentace k ověřování rozhraní API Cloudflare R2.

Nastavte následující vlastnosti tokenu:
- Oprávnění: Čtení a zápis objektu
  
  Toto oprávnění uděluje přístup pro čtení a zápis, který se vyžaduje při použití úložiště R2 jako cíle replikace, jak je popsáno v tématu Použití replik Cloudflare R2 nebo migrace úložiště na R2.
  
  Pokud chcete vynutit přístup jen pro čtení z Azure Databricks do kontejneru R2, můžete místo toho vytvořit token, který uděluje přístup jen pro čtení. Může to ale být zbytečné, protože přihlašovací údaje úložiště můžete označit jako jen pro čtení a veškerý přístup k zápisu udělený tímto oprávněním bude ignorován.
- (Volitelné) TTL: Doba, po kterou chcete data kontejneru sdílet s příjemci dat.
- (Volitelné) Filtrování IP adres klienta: Vyberte, jestli chcete omezit síťový přístup na zadané IP adresy příjemce. Pokud je tato možnost povolená, musíte zadat IP adresy příjemců a musíte povolit IP adresu řídicí roviny Databricks pro oblast pracovního prostoru.
Viz adresy řídicí roviny Azure Databricks.
Zkopírujte hodnoty tokenu rozhraní API R2:
- ID přístupového klíče
- Tajný přístupový klíč
Důležité

Hodnoty tokenů se zobrazují pouze jednou.
Na domovské stránce R2 přejděte na podrobnosti o účtu a zkopírujte ID účtu R2.