Listopad 2023

Te funkcje i ulepszenia platformy Azure Databricks zostały wydane w listopadzie 2023 r.

Uwaga

Wydania są etapowe. Obszar roboczy usługi Azure Databricks może nie zostać zaktualizowany do tygodnia lub więcej po początkowej dacie wydania.

Wyszukiwanie wektorów usługi Databricks jest publiczną wersją zapoznawcza

30 listopada 2023 r.

Wyszukiwanie wektorów usługi Databricks to bezserwerowa wyszukiwarka, która umożliwia przechowywanie wektorowej reprezentacji danych, w tym metadanych, w bazie danych wektorów. W ramach tej funkcji można tworzyć indeksy wyszukiwania wektorów automatycznej aktualizacji na podstawie danych w wykazie aparatu Unity i wysyłać do nich zapytania za pomocą prostego interfejsu API, aby zwrócić najbardziej podobne wektory w ramach przepływów pracy RAG. Zobacz Wyszukiwanie wektorów usługi Databricks.

Listy kontroli dostępu nie mogą być już wyłączone

29 listopada 2023 r.

Następujące ustawienia są włączone we wszystkich obszarach roboczych planu Premium i nie można ich już wyłączyć na stronie ustawień administratora obszaru roboczego lub interfejsu API conf obszaru roboczego:

• Kontrola dostępu do obszaru roboczego: umożliwia użytkownikom konfigurowanie uprawnień do obiektów obszaru roboczego.
• Kontrola dostępu do klastrów, puli, zadań: umożliwia użytkownikom konfigurowanie uprawnień do klastrów, pul i zadań.
• Kontrola widoczności klastra: uniemożliwia wyświetlanie klastrów użytkownikom, którzy nie mają uprawnień do nich.
• Kontrola widoczności zadań: uniemożliwia wyświetlanie zadań użytkownikom, którzy nie mają uprawnień do nich.
• Ustawienie kontroli widoczności obszaru roboczego: uniemożliwia wyświetlanie notesów i folderów użytkownikom, którzy nie mają na nich uprawnień.

Ustawienia kontroli dostępu zostały domyślnie włączone w nowych obszarach roboczych od marca 2018 r., a ustawienia kontroli widoczności są domyślnie włączone od grudnia 2020 r.

Aby uzyskać więcej informacji, zobacz Listy kontroli dostępu.

Nowe zachowania i akcje w Eksploratorze wykazu dla woluminów

22 listopada 2023 r.

Teraz możesz utworzyć nowy wolumin w schemacie docelowym, jeśli żaden z nich nie istnieje w interfejsie użytkownika przekazywania do woluminu. Zobacz Przekazywanie plików do woluminu wykazu aparatu Unity.

Akcje, takie jak Usuwanie pliku i Pobieranie pliku , zostały dodane do Eksploratora wykazu dla plików w woluminach.

Środowisko Databricks Runtime 14.2 jest ogólnie dostępne

22 listopada 2023 r.

Środowiska Databricks Runtime 14.2 i Databricks Runtime 14.2 ML są teraz ogólnie dostępne.

Zobacz Databricks Runtime 14.2 i Databricks Runtime 14.2 for Machine Edukacja.

Databricks SQL Połączenie or dla języka Python w wersji 3.0.0

17 listopada 2023 r.

Teraz możesz uruchomić polecenie pip install databricks-sql-connector==3.0.0.

Ta wersja:

• Usuwa obsługę języka Python 3.7
• Dodaje obsługę natywnych sparametryzowanych zapytań SQL. Wymaga DBR 14.2 lub nowszego. Aby uzyskać więcej informacji, zobacz Using Native Parameters in the databricks-sql-python GitHub repo (Używanie parametrów natywnych w repozytorium GitHub databricks-sql-python).
• Zawiera nasz całkowicie przepisany dialekt SQLAlchemy:
  • Dodaje obsługę programu SQLAlchemy = 2.0 i przerywa obsługę programu SQLAlchemy >1.x
  • Pełne kompleksowe pokrycie testowe wszystkich obsługiwanych funkcji
  • Szczegółowe informacje o użyciu dostępne tutaj
  • Dodaje obsługę:
    • Nowe typy: TIME, , TIMESTAMP, TIMESTAMP_NTZTINYINT
    • Numeric skalowanie typów i precyzja, na przykład Numeric(10,2)
    • Czytanie i pisanie PrimaryKeyConstraintForeignKeyConstraint
    • Odczytywanie i zapisywanie kluczy złożonych
    • Odczytywanie i zapisywanie z widoków
    • Zapisywanie Identity w tabelach (automatyczne zwiększanie kluczy podstawowych)
    • LIMIT i OFFSET do stronicowania wyników
    • Buforowanie wywołania metadanych
• Domyślnie włącza funkcję Pobierania w chmurze. Aby wyłączyć, ustaw podczas use_cloud_fetch=False kompilowania databricks.sql.client.
• Dodawanie testów integracji dla zapytań pozyskiwania woluminów wykazu aparatu Unity w usłudze Azure Databricks
• Ponownych prób:
  • Dodawanie _retry_max_redirects konfiguracji
  • Ustaw _enable_v3_retries=True i ostrzegaj, jeśli użytkownicy go zastąpią.
• Zabezpieczenia: minimalna wersja pyarrow do wersji 14.0.1 (CVE-2023-47248)

Biblioteki w plikach obszarów roboczych obsługiwane w klastrach udostępnionych bez izolacji

15 listopada 2023 r.

Biblioteki przechowywane jako pliki obszaru roboczego można teraz instalować do obliczeń skonfigurowanych w trybie dostępu współużytkowanego bez izolacji w środowisku Databricks Runtime 14.1 lub nowszym.

Wycofanie bibliotek obszarów roboczych

15 listopada 2023 r.

Biblioteki obszarów roboczych są teraz przestarzałe i tworzenie nowych bibliotek obszarów roboczych zostało wyłączone. Istniejące biblioteki obszarów roboczych nadal działają. Należy pamiętać, że przechowywanie bibliotek jako plików obszaru roboczego różni się od bibliotek obszarów roboczych i jest nadal w pełni obsługiwane. Biblioteki przechowywane jako pliki obszaru roboczego można zainstalować bezpośrednio w zadaniach obliczeniowych lub zadań podrzędnych. Zobacz Biblioteki.

Obsługa typów maszyn wirtualnych przetwarzania poufnego na platformie Azure jest teraz ogólnie dostępna

15 listopada 2023 r.

Obsługa usługi Azure Databricks dla typów maszyn wirtualnych przetwarzania poufnego platformy Azure jest teraz ogólnie dostępna. Poufne przetwarzanie na platformie Azure pomaga chronić dane w użyciu, uniemożliwiając dostawcy usług w chmurze dostęp do poufnych danych. Zobacz Maszyny wirtualne do poufnego przetwarzania na platformie Azure.

Wyszukiwanie list witryny Databricks Marketplace przy użyciu wyszukiwania globalnego obszaru roboczego

13 listopada 2023 r.

Teraz możesz znaleźć zestawy danych, modele sztucznej inteligencji i akceleratory rozwiązań usługi Databricks w witrynie Marketplace usługi Databricks przy użyciu globalnego paska wyszukiwania w interfejsie użytkownika obszaru roboczego usługi Azure Databricks. Zobacz Co to jest witryna Databricks Marketplace? i Wyszukaj obiekty obszaru roboczego.

Korzystanie z produktów danych w witrynie Databricks Marketplace przy użyciu platform zewnętrznych

10 listopada 2023 r.

Użytkownicy bez obszaru roboczego usługi Azure Databricks z obsługą wykazu aparatu Unity mogą teraz uzyskiwać dostęp do produktów danych w witrynie Databricks Marketplace. Możesz użyć łączników udostępniania funkcji delta open sharing, aby uzyskać dostęp do danych witryny Marketplace przy użyciu wielu typowych platform, w tym usług Microsoft Power BI, Microsoft Excel, pandas, Apache Spark i obszarów roboczych usługi Databricks innych niż Unity Catalog. Tylko tabelaryczne zestawy danych są dostępne na platformach zewnętrznych (na przykład nie notesów ani modeli usługi Databricks). Zobacz Żądania i uzyskiwanie dostępu do produktów danych w witrynie Databricks Marketplace przy użyciu platform zewnętrznych.

Obsługa bezserwerowych magazynów SQL Warehouse dodanych w kilku regionach świadczenia usługi Azure

9 listopada 2023 r.

Następujące regiony platformy Azure obsługują teraz bezserwerowe magazyny SQL:

• Brazylia Południowa (brazylia))
• Indie Środkowe (centralindia)
• Japonia Wschodnia (japonia)
• Północno-środkowe stany USA (northcentralus)
• Południowe Zjednoczone Królestwo (uksouth)

Zobacz Regiony usługi Azure Databricks i Włączanie bezserwerowych magazynów SQL.

Automatyczne włączanie wykazu aparatu Unity dla nowych obszarów roboczych

9 listopada 2023 r.

Usługa Databricks zaczęła automatycznie włączać wykaz aparatu Unity dla nowych obszarów roboczych. Eliminuje to konieczność skonfigurowania wykazu aparatu Unity przez administratorów kont po utworzeniu obszaru roboczego. Wdrożenie będzie kontynuowane stopniowo na kontach. Zobacz Automatyczne włączanie wykazu aparatu Unity.

Databricks Runtime 14.2 (wersja beta)

8 listopada 2023 r.

Środowiska Databricks Runtime 14.2 i Databricks Runtime 14.2 ML są teraz dostępne jako wersje beta.

Zobacz Databricks Runtime 14.2 i Databricks Runtime 14.2 for Machine Edukacja.

Witryna Marketplace usługi Databricks zawiera akceleratory rozwiązań usługi Databricks

7 listopada 2023 r.

Witryna Databricks Marketplace zapewnia teraz dostęp do akceleratorów rozwiązań usługi Databricks, specjalnie utworzonych przewodników, które udostępniają w pełni funkcjonalne notesy, wskazówki dotyczące najlepszych rozwiązań i przykładowe dane, aby szybko skonfigurować wiele popularnych przypadków użycia w usłudze Azure Databricks. Zobacz Uzyskiwanie dostępu do akceleratorów rozwiązań usługi Databricks.

Federacja Lakehouse dodaje obsługę Google BigQuery

3 listopada 2023 r.

Teraz można skonfigurować federację lakehouse do uruchamiania federacyjnych zapytań z typem łącznika BigQuery . Nowy łącznik BigQuery jest obsługiwany w usługach Pro i Serverless SQL Warehouse oraz Databricks Runtime 13.3 LTS i nowszych wersjach. Zobacz Uruchamianie zapytań federacyjnych w usłudze Google BigQuery.