Sdílet prostřednictvím

Omezení výpočetních prostředků bez serveru

  • Článek

Tento článek vysvětluje aktuální omezení výpočetních prostředků bez serveru pro poznámkové bloky a pracovní postupy. Začněte přehledem nejdůležitějších aspektů, po nichž následuje komplexní referenční seznam omezení.

Přehled omezení

Před vytvořením nových úloh nebo migrací úloh na bezserverové výpočetní prostředky nejprve zvažte následující omezení:

  • Python a SQL jsou jedinými podporovanými jazyky.

  • Podporují se jenom rozhraní API pro připojení Sparku. Rozhraní API Spark RDD se nepodporují.

  • Knihovny JAR nejsou podporovány. Alternativní řešení najdete v tématu Osvědčené postupy pro výpočetní prostředky bez serveru.

  • Bezserverové výpočetní prostředky mají neomezený přístup pro všechny uživatele pracovního prostoru.

  • Značky poznámkových bloků se nepodporují.

  • Pro streamování je možné použít pouze přírůstkovou dávkovou logiku. Výchozí ani časové intervaly aktivačních událostí nejsou podporovány. Viz omezení streamování.

Referenční seznam omezení

Následující části uvádějí aktuální omezení bezserverových výpočetních prostředků.

Výpočetní prostředí bez serveru je založené na architektuře sdílených výpočetních prostředků. Nejdůležitější omezení zděděná ze sdíleného výpočetního prostředí jsou uvedená níže spolu s dalšími omezeními specifickými pro bezserverové prostředí. Úplný seznam omezení sdílených výpočetních prostředků najdete v tématu Omezení režimu přístupu k výpočetním prostředkům pro katalog Unity.

Obecná omezení

  • Scala a R se nepodporují.

  • ANSI SQL je výchozí při psaní SQL. Odhlaste se z režimu ANSI nastavením na spark.sql.ansi.enabled false.

  • Rozhraní API Spark RDD se nepodporují.

  • Kontext Sparku (SC) spark.sparkContexta sqlContext nejsou podporované.

  • Služba Databricks Container Services se nepodporuje.

  • Webový terminál není podporovaný.

  • Dotaz nemůže běžet déle než 48 hodin.

  • Abyste se mohli připojit k externím zdrojům dat, musíte použít Katalog Unity. Pro přístup ke cloudovému úložišti použijte externí umístění .

  • Podpora zdrojů dat je omezená na AVRO, BINARYFILE, CSV, DELTA, JSON, KAFKA, ORC, PARQUET, ORC, TEXT a XML.

  • Uživatelem definované funkce (UDF) nemají přístup k internetu.

  • Jednotlivé řádky nesmí překročit maximální velikost 128 MB.

  • Uživatelské rozhraní Sparku není k dispozici. Místo toho použijte profil dotazu k zobrazení informací o dotazech Sparku. Viz profil dotazu.

  • Klienti Pythonu, kteří používají koncové body Databricks, můžou narazit na chyby ověřování SSL, jako je například "CERTIFICATE_VERIFY_FAILED". Chcete-li tyto chyby obejít, nakonfigurujte klienta tak, aby důvěřoval souboru certifikační autority umístěnému v /etc/ssl/certs/ca-certificates.crt. Na začátku bezserverového poznámkového bloku nebo úlohy spusťte například následující příkaz: import os; os.environ['SSL_CERT_FILE'] = '/etc/ssl/certs/ca-certificates.crt'

  • Požadavky rozhraní API mezi pracovními prostory se nepodporují.

Omezení streamování

  • Výchozí ani časové intervaly aktivačních událostí nejsou podporovány. Podporuje se jen Trigger.AvailableNow. Viz Konfigurace intervalů triggeru strukturovaného streamování.
  • Platí také všechna omezení streamování v režimu sdíleného přístupu. Viz omezení a požadavky na streamování pro režim sdíleného přístupu katalogu Unity.

Omezení strojového učení

Omezení poznámkových bloků

  • Poznámkové bloky mají přístup k paměti 8 GB, kterou nelze nakonfigurovat.
  • Knihovny s oborem poznámkových bloků se neukládají do mezipaměti napříč vývojovými relacemi.
  • Sdílení tabulek a zobrazení TEMP při sdílení poznámkového bloku mezi uživateli se nepodporuje.
  • Automatické dokončování a Průzkumník proměnných pro datové rámce v poznámkových blocích se nepodporují.

Omezení pracovního postupu

  • Velikost ovladače pro výpočetní prostředky bez serveru pro pracovní postupy je aktuálně opravená a nelze ji změnit.
  • Protokoly úloh nejsou izolované pro každé spuštění úlohy. Protokoly budou obsahovat výstup z více úloh.
  • Knihovny úloh nejsou podporovány pro úkoly poznámkového bloku. Místo toho používejte knihovny s vymezeným poznámkovým blokem. Další informace najdete v tématu Knihovny Pythonu v rámci poznámkových bloků

Omezení specifická pro výpočty

Následující funkce specifické pro výpočetní prostředky se nepodporují:

  • Zásady výpočetních prostředků
  • Inicializační skripty s oborem výpočetních prostředků
  • Knihovny s rozsahem výpočetních prostředků, včetně vlastních zdrojů dat a rozšíření Sparku. Místo toho používejte knihovny s vymezeným poznámkovým blokem.
  • Konfigurace přístupu k datům na úrovni výpočetních prostředků, včetně profilů instancí V důsledku toho nebude přístup k tabulkám a souborům prostřednictvím HMS na cloudových cestách nebo připojení DBFS, které nemají vložené přihlašovací údaje, fungovat.
  • Fondy instancí
  • Protokoly výpočetních událostí
  • Konfigurace výpočetních prostředků Apache Sparku a proměnné prostředí