Listopad 2023

  • Článek

Tyto funkce a vylepšení platformy Azure Databricks byly vydány v listopadu 2023.

Poznámka:

Verze jsou připraveny. Váš pracovní prostor Azure Databricks se nemusí aktualizovat až do týdne nebo více po počátečním datu vydání.

Databricks Vector Search je ve verzi Public Preview

30. listopadu 2023

Databricks Vector Search je bezserverový vyhledávací modul podobnosti, který umožňuje ukládat vektorové znázornění vašich dat, včetně metadat, do vektorové databáze. V rámci této funkce můžete vytvořit automatické aktualizace indexů vektorového vyhledávání z dat v katalogu Unity a dotazovat je pomocí jednoduchého rozhraní API, které vrátí nejvíce podobných vektorů jako součást pracovních postupů RAG. Viz Databricks Vector Search.

Seznamy ovládacích prvků přístupu už nejde zakázat.

29. listopadu 2023

Ve všech pracovních prostorech plánu Premium jsou povolená následující nastavení a už není možné je zakázat na stránce nastavení pracovního prostoru ani v rozhraní API pro konfiguraci pracovního prostoru:

  • Řízení přístupu k pracovnímu prostoru: Umožňuje uživatelům konfigurovat oprávnění k objektům pracovního prostoru.
  • Řízení přístupu ke clusterům, fondům a úlohám: Umožňuje uživatelům konfigurovat oprávnění ke clusterům, fondům a úlohám.
  • Řízení viditelnosti clusteru: Brání tomu, aby se clustery zobrazovaly uživatelům, kteří nemají žádná oprávnění.
  • Řízení viditelnosti úloh: Zabrání tomu, aby se úlohy zobrazovaly uživatelům, kteří k nim nemají žádná oprávnění.
  • Nastavení řízení viditelnosti pracovního prostoru: Zabrání tomu, aby se poznámkové bloky a složky zobrazovaly uživatelům, kteří k nim nemají žádná oprávnění.

Nastavení řízení přístupu jsou ve výchozím nastavení povolená pro nové pracovní prostory od března 2018 a nastavení řízení viditelnosti jsou standardně povolená od prosince 2020.

Další informace najdete v tématu Seznamy řízení přístupu.

Nové chování a akce v Průzkumníku katalogu pro svazky

22. listopadu 2023

Teď můžete vytvořit nový svazek v cílovém schématu, pokud neexistuje z uživatelského rozhraní Nahrát do uživatelského rozhraní svazku. Viz Nahrání souborů do svazku katalogu Unity.

Akce, jako je Odstranění souboru a Stažení souboru, byly přidány do Průzkumníka katalogu pro soubory ve svazcích.

Databricks Runtime 14.2 je obecná dostupnost

22. listopadu 2023

Databricks Runtime 14.2 a Databricks Runtime 14.2 ML jsou nyní obecně dostupné.

Viz Databricks Runtime 14.2 a Databricks Runtime 14.2 pro machine Učení.

Databricks SQL Připojení or pro Python verze 3.0.0

17. listopadu 2023

Nyní můžete spustit pip install databricks-sql-connector==3.0.0.

Tato verze:

  • Odebere podporu pythonu 3.7.
  • Přidává podporu nativních parametrizovaných dotazů SQL. Vyžaduje DBR 14.2 a vyšší. Další informace najdete v tématu Použití nativních parametrů v úložišti Databricks-sql-python Na GitHubu.
  • Zahrnuje náš zcela přepsaný dialekt SQLAlchemy:
    • Přidává podporu pro SQLAlchemy >= 2.0 a zahodí podporu sqlAlchemy 1.x.
    • Úplné kompletní pokrytí testů všech podporovaných funkcí
    • Podrobné poznámky k využití, které jsou k dispozici tady
    • Přidává podporu pro:
      • Nové typy: TIME, TIMESTAMP, TIMESTAMP_NTZ, TINYINT
      • Numeric měřítko a přesnost typů, například Numeric(10,2)
      • Čtení a psaní a psaní PrimaryKeyConstraintForeignKeyConstraint
      • Čtení a psaní složených klíčů
      • Čtení a zápis ze zobrazení
      • Zápis Identity do tabulek (automatické zvýšení primárních klíčů)
      • LIMIT a OFFSET pro stránkování výsledků
      • volání metadat Ukládání do mezipaměti
  • Ve výchozím nastavení povolí cloudový načítání. Chcete-li zakázat, nastavte use_cloud_fetch=False při vytváření databricks.sql.client.
  • Přidání integračníchtestůch
  • Opakování:
    • Přidání _retry_max_redirects konfigurace
    • Nastavte _enable_v3_retries=True a varujte, pokud ho uživatelé přepíší.
  • Zabezpečení: Zvýšení minimální verze pyarrow na verzi 14.0.1 (CVE-2023-47248)

Knihovny v souborech pracovního prostoru podporované ve sdílených clusterech bez izolace

15. listopadu 2023

Teď můžete nainstalovat knihovny uložené jako soubory pracovního prostoru pro výpočty nakonfigurované bez izolace režimu sdíleného přístupu v Databricks Runtime 14.1 a vyšší.

Vyřazení knihoven pracovních prostorů

15. listopadu 2023

Knihovny pracovních prostorů jsou teď zastaralé a vytváření nových knihoven pracovních prostorů je zakázané. Stávající knihovny pracovních prostorů nadále fungují. Upozorňujeme, že ukládání knihoven jako souborů pracovního prostoru se liší od knihoven pracovních prostorů a je stále plně podporované. Knihovny uložené jako soubory pracovního prostoru můžete nainstalovat přímo do výpočetních úloh nebo úloh. Viz knihovny.

Podpora typů důvěrných výpočetních virtuálních počítačů Azure je teď obecně dostupná.

15. listopadu 2023

Podpora Azure Databricks pro typy důvěrných výpočetních virtuálních počítačů Azure je teď obecně dostupná. Důvěrné výpočetní prostředí Azure pomáhá chránit užitá data, což brání poskytovateli cloudu v přístupu k citlivým datům. Prohlédni si důvěrné výpočetní virtuální počítače Azure.

13. listopadu 2023

Datové sady, modely AI a akcelerátory řešení Databricks teď najdete na Webu Databricks Marketplace pomocí globálního panelu hledání v uživatelském rozhraní pracovního prostoru Azure Databricks. Podívejte se , co je Databricks Marketplace? a vyhledejte objekty pracovního prostoru.

Využívání datových produktů na Marketplace Databricks pomocí externích platforem

10. listopadu 2023

Uživatelé bez pracovního prostoru Azure Databricks s podporou katalogu Unity teď mají přístup k datovým produktům na Databricks Marketplace. K přístupu k datům z Marketplace můžete použít otevřené konektory sdílení Delta, včetně Microsoft Power BI, Microsoft Excelu, pandas, Apache Sparku a pracovních prostorů Databricks, které nejsou součástí katalogu Unity. Na externích platformách jsou dostupné jenom tabulkové datové sady (například ne poznámkové bloky nebo modely Databricks). Viz Žádosti a přístup k datovým produktům na Webu Databricks Marketplace pomocí externích platforem.

Podpora bezserverových skladů SQL přidaných pro několik oblastí Azure

9. listopadu 2023

Následující oblasti Azure teď podporují bezserverové sklady SQL:

  • Brazílie – jih (brazíliesouth)
  • Indie – střed (centralindia)
  • Japonsko – východ (japaneast)
  • USA – středosever (northcentralus)
  • Velká Británie – jih (Uksouth)

Podívejte se na oblasti Azure Databricks a povolte bezserverové služby SQL Warehouse.

Automatické povolení katalogu Unity pro nové pracovní prostory

9. listopadu 2023

Databricks začala automaticky povolovat katalog Unity pro nové pracovní prostory. Tím se odebere potřeba, aby správci účtu po vytvoření pracovního prostoru nakonfigurovali katalog Unity. Zavedení bude probíhat postupně napříč účty. Viz Automatické povolení katalogu Unity.

Databricks Runtime 14.2 (beta verze)

8. listopadu 2023

Databricks Runtime 14.2 a Databricks Runtime 14.2 ML jsou nyní k dispozici jako beta verze.

Viz Databricks Runtime 14.2 a Databricks Runtime 14.2 pro machine Učení.

Databricks Marketplace zahrnuje akcelerátory řešení Databricks.

7. listopadu 2023

Databricks Marketplace teď poskytuje přístup k akcelerátorům řešení Databricks, účelově sestaveným průvodcům, které poskytují plně funkční poznámkové bloky, pokyny k osvědčeným postupům a ukázková data, abyste mohli rychle nastavit spoustu oblíbených případů použití v Azure Databricks. Viz Získání přístupu k akcelerátorům řešení Databricks.

Lakehouse Federation přidává podporu pro Google BigQuery

3. listopadu 2023

Teď můžete nakonfigurovat Federaci Lakehouse tak, aby spouštěla federované dotazy s typem konektoru BigQuery . Nový konektor BigQuery je podporovaný pro a bezserverové služby SQL Warehouse a Databricks Runtime 13.3 LTS a vyšší. Viz Spuštění federovaných dotazů v Google BigQuery.