Augustus 2023

Deze functies en azure Databricks-platformverbeteringen zijn uitgebracht in augustus 2023.

Notitie

Releases worden gefaseerd. Uw Azure Databricks-werkruimte wordt mogelijk pas na een week of meer bijgewerkt na de eerste releasedatum.

31 augustus 2023

Tabellen die zijn geregistreerd in Unity Catalog, worden nu weergegeven in navigatiezoekopdrachten in de bovenste balk. Zie Zoeken naar werkruimteobjecten.

Databricks CLI bijgewerkt naar versie 0.203.3 (openbare preview)

30 augustus 2023

De Databricks-opdrachtregelinterface (Databricks CLI) is bijgewerkt naar versie 0.203.3. Zie het wijzigingenlogboek voor versie 0.203.3 voor meer informatie.

Databricks JDBC-stuurprogramma 2.6.34

30 augustus 2023

Versie 2.6.34 van het Databricks JDBC-stuurprogramma (download) is uitgebracht. Deze release lost een aantal beveiligingsproblemen op door bibliotheken van derden te upgraden. Bovendien lost deze release de volgende problemen op:

  • Threadlekken wanneer een query geen verbinding kan maken met de server.
  • Opmerkingen ontbreken in de REMARKS kolom met de metagegevens van de tabel.
  • Wanneer een resultatensetsluitingsbewerking een fout retourneert, schoont de connector de invoer van de bewerkingsgreep niet op uit de heartbeat-thread.

De release verbetert ook de verwerking van foutberichten door foutcodes SQLState van de server te respecteren en controleert de versie van het serverprotocol correct.

Databricks SDK voor Go bijgewerkt naar versie 0.18.0 (bèta)

29 augustus 2023

Databricks SDK voor Go-versie 0.18.0 introduceert 17 belangrijke API-wijzigingen, voegt 30 API's toe en voegt ongeveer een dozijn velden toe. Zie het wijzigingenlogboek voor versie 0.18.0 voor meer informatie.

Databricks SDK voor Python bijgewerkt naar versie 0.7.0 (bèta)

29 augustus 2023

Databricks SDK voor Python versie 0.7.0 introduceert een belangrijke wijziging voor de bestands-API en 17 extra belangrijke wijzigingen. In deze release worden ook 14 velden toegevoegd en worden 27 gegevensklassen toegevoegd. Zie het wijzigingenlogboek voor versie 0.7.0 voor meer informatie.

Databricks Terraform-provider bijgewerkt naar versie 1.24.1

29 augustus 2023

Databricks Terraform-provider versie 1.24.1 bevat een oplossing voor verificatie van de bereikbaarheid van de werkruimte. Zie het wijzigingenlogboek voor versie 1.24.1 voor meer informatie.

Init-scripts op DBFS einde levensduur verlengd tot 1 december 2023

29 augustus 2023

Databricks kondigde eerder aan dat init-scripts op DBFS het einde van de levensduur zouden bereiken op 1 september 2023. De einddatum van de levensduur is verlengd tot 1 december 2023.

Databricks Runtime 14.0 (bèta)

29 augustus 2023

Databricks Runtime 14.0 en Databricks Runtime 14.0 ML zijn nu beschikbaar als bètaversies.

Zie Databricks Runtime 14.0 en Databricks Runtime 14.0 voor Machine Learning.

Geïntegreerde navigatie-ervaring is algemeen beschikbaar

28 augustus 2023

De geïntegreerde navigatie-ervaring van Azure Databricks is nu algemeen beschikbaar. Gebruikers kunnen niet meer terugkeren naar de klassieke navigatie-ervaring. Zie Navigeren in de werkruimte voor meer informatie.

Databricks Terraform-provider bijgewerkt naar versie 1.24.0

25 augustus 2023

Databricks Terraform-providerversie 1.24.0 voegt API-ondersteuning op accountniveau toe voor Unity Catalog-objecten, voegt toe acl_principal_id aan verschillende gegevensbronnen en meer. Zie het wijzigingenlogboek voor versie 1.24.0 voor meer informatie.

De instelling Databricks Runtime voor Genomics is verwijderd van de pagina met werkruimtebeheerdersinstellingen

25 augustus 2023

Werkruimtebeheerders kunnen Databricks Runtime voor Genomics niet meer in- of uitschakelen via de pagina met instellingen voor werkruimtebeheerders of de werkruimteconfiguratie-API. Databricks Genomics Runtime is afgeschaft en ondersteuning voor Databricks Runtime voor Genomics is verwijderd op 24 september 2022.

De Databricks Genomics-runtime is afgeschaft. Zie opslagplaatsen voor genomics-pipelines en Glow voor opensource-equivalenten. Bio-informatiebibliotheken die deel uitmaakten van de runtime, zijn vrijgegeven als een Docker-container, die kan worden opgehaald van de ProjectGlow Dockerhub-pagina .

Zie Ondersteunde Databricks Runtime LTS-releases voor meer informatie over het afschaffingsbeleid en -schema van Databricks Runtime.

Container Services-instelling verwijderd van de pagina met werkruimtebeheerdersinstellingen

25 augustus 2023

Werkruimtebeheerders kunnen Container Services niet meer in- of uitschakelen via de pagina met werkruimtebeheerdersinstellingen. Met Container Services kunt u klantcontainers in uw clusters gebruiken. Deze functie is standaard ingeschakeld voor alle nieuwe werkruimten. Container Services kan nog steeds worden ingeschakeld of uitgeschakeld met behulp van de werkruimteconfiguratie-API. Zie Container Services inschakelen voor meer informatie.

Databricks CLI bijgewerkt naar versie 0.203.2 (openbare preview)

24 augustus 2023

De Opdrachtregelinterface van Databricks (Databricks CLI) is bijgewerkt naar versie 0.203.2. Zie het wijzigingenlogboek voor versie 0.203.2 voor meer informatie.

Ga naar de definitie voor functies en variabelen in Python-notebooks

24 augustus 2023

Wanneer in Databricks Runtime 12.2 LTS en hoger een Python-notebook is gekoppeld aan een cluster, kunt u automatisch navigeren naar de definitie van een variabele of functie die in dat notebook is gedefinieerd. Zie Ga naar definitie voor meer informatie.

Algemene beschikbaarheid van de schemabrowser

24 augustus 2023

De geïntegreerde schemabrowser is nu algemeen beschikbaar in Catalog Explorer, de SQL-editor en notebooks. Zie Wat is Catalog Explorer?

Databricks Runtime 13.3 LTS is algemeen beschikbaar

22 augustus 2023

Databricks Runtime 13.3 LTS en Databricks Runtime 13.3 LTS ML zijn nu algemeen beschikbaar.

Zie Databricks Runtime 13.3 LTS en Databricks Runtime 13.3 LTS voor Machine Learning.

Introductie van tags met Unity Catalog

22 augustus 2023

U kunt nu tags toepassen op uw beveiligbare objecten in Unity Catalog. Met tags kunt u beveiligbare objecten organiseren en het zoeken en ontdekken van uw gegevensassets vereenvoudigen. Zie Tags toepassen.

Allowlist voor init-scripts, JAR's en Maven-coördinaten in gedeelde Unity Catalog-clusters is in openbare preview

23 augustus 2023

U kunt nu de Unity Catalog allowlist gebruiken om de installatie van init-scripts, JAR's en Maven-coördinaten te beheren voor berekening met de modus voor gedeelde toegang waarop Databricks Runtime 13.3 en hoger wordt uitgevoerd. Zie Allowlist-bibliotheken en init-scripts voor gedeelde berekeningen.

Volumesondersteuning voor init-scripts en JAR's is beschikbaar als openbare preview

23 augustus 2023

U kunt nu Unity Catalog-volumes gebruiken om init-scripts en JAR's op te slaan op rekenkracht met toegewezen of gedeelde toegangsmodi waarop Databricks Runtime 13.3 en hoger wordt uitgevoerd. Zie Clusterbibliotheken en Bibliotheken installeren vanaf een volume.

Eenvoudigere uitvoerdoorvoeringen voor databricks-opslagplaatsen .ipynb-bestanden

21 augustus 2023

Databricks Repos heeft functies toegevoegd om uitvoerdoorvoeringen van .ipynb-bestanden gemakkelijker te beheren en te bekijken:

  • Opslagplaatsen kunnen een commit_output configuratiebestand voor u maken.
  • Meldingen in de gebruikersinterface laten u weten wat de status is van uitvoerdoorvoeringen.
  • In het menu Bestand kunt u bepalen of uitvoer van de noteook wordt doorgevoerd.

Zie Uitvoerdoorvoeringen van control.ipynb-notebook.

Ondersteuning voor IPYNB-notebooks in Databricks-opslagplaatsen is algemeen beschikbaar

21 augustus 2023

Ondersteuning voor IPYNB-notebookbestanden in Databricks-opslagplaatsen is algemeen beschikbaar. Zie voor meer informatie over opslagplaatsen:

Databricks SDK voor Go bijgewerkt naar versie 0.17.0 (bèta)

18 augustus 2023

Databricks SDK voor Go-versie 0.17.0 voegt meer dan 30 API's toe en hernoemt ongeveer 10 API's. Zie het wijzigingenlogboek voor versie 0.17.0 voor meer informatie.

Databricks SDK voor Python bijgewerkt naar versie 0.6.0 (bèta)

18 augustus 2023

Databricks SDK voor Python-versie 0.6.0 voegt ongeveer 20 gegevensklassen toe, voegt ongeveer 10 API's toe en bevat ongeveer 20 hernoemingen. Zie het wijzigingenlogboek voor versie 0.6.0 voor meer informatie.

Databricks CLI bijgewerkt naar versie 0.203.1 (openbare preview)

16 augustus 2023

De Databricks-opdrachtregelinterface (Databricks CLI) is bijgewerkt naar versie 0.203.1. Zie het wijzigingenlogboek voor versie 0.203.1 voor meer informatie.

Unified Schema Browser is nu algemeen beschikbaar

16 augustus 2023

Een uniforme manier om door uw gegevens te navigeren, is nu beschikbaar voor notebooks, SQL Editor en Catalog Explorer, waaronder de volgende nieuwe mogelijkheden:

  • Verkorte versie van de boom.
  • Weergave van het aantal Unity Catalog-objecten op schemaniveau bij het filteren.
  • Klik met de rechtermuisknop op het menu om acties weer te geven.

Serverloze subnetwijzigingen kunnen van invloed zijn op u als u id's in een script of sjabloon coderen

15 augustus 2023

Als u een Azure Storage-firewall gebruikt, worden enkele subnet-id's gewijzigd tot eind augustus. Dit heeft geen invloed op de meeste klanten omdat Azure automatisch subnet-id's migreert in bestaande firewallregels voor opslag. Deze migratie heeft geen invloed op bestaande workloads.

Als u de lijst met serverloze subnetten coderen in een sjabloon of script dat uw firewallregels voor Azure Storage bijwerkt, moet u de meest recente lijst met subnet-id's ophalen voordat u de regels probeert bij te werken. Zie Serverloze SQL Warehouse-netwerkbeveiliging voor de nieuwste id's voor elke regio.

Databricks SDK voor Go bijgewerkt naar versie 0.16.0 (bèta)

14 augustus 2023

Databricks SDK voor Go-versie 0.16.0 voegt ongeveer een dozijn velden toe, verwijdert ongeveer een half dozijn velden en wijzigt de handtekeningen van ongeveer een half dozijn API's. Zie het wijzigingenlogboek voor versie 0.16.0 voor meer informatie.

Partner-Verbinding maken ondersteunt volkstelling

14 augustus 2023

U kunt nu partner-Verbinding maken gebruiken om uw Azure Databricks-werkruimte te verbinden met Volkstelling. Zie Verbinding maken voor meer informatie over volkstelling.

Beheerde HSM-sleutels van Azure Key Vault worden nu ondersteund voor door de klant beheerde sleutels

14 augustus 2023

Sommige Azure Databricks-services en -gegevens ondersteunen het toevoegen van een door de klant beheerde sleutel om de toegang tot versleutelde gegevens te beveiligen en te beheren. Azure Databricks heeft drie door de klant beheerde belangrijke functies die betrekking hebben op verschillende typen gegevens en locaties. Alle drie deze functies ondersteunen nu door de klant beheerde sleutels van Azure Key Vault Managed HSM (Hardware Security Modules) naast Azure Key Vault-kluizen. Zie door de klant beheerde sleutels voor versleuteling.

Databricks SDK voor Python bijgewerkt naar versie 0.5.0 (bèta)

11 augustus 2023

Databricks SDK voor Python-versie 0.5.0 wijzigt de handtekeningen van een half dozijn API's, voegt tientallen velden toe, verwijdert een half dozijn velden en voegt enkele gegevensklassen toe. Zie het wijzigingenlogboek voor versie 0.5.0 voor meer informatie.

Programmatische schrijfondersteuning voor werkruimtebestanden

11 augustus 2023

Clusters met Databricks Runtime 11.2 en hoger ondersteunen het schrijven naar werkruimtebestanden. U kunt programmatisch bestanden en mappen in uw werkruimte maken, bijwerken en verwijderen.

Databricks CLI bijgewerkt naar versie 0.203.0 (openbare preview)

10 augustus 2023

De Databricks-opdrachtregelinterface (Databricks CLI) versie 0.203.0 verbetert de auth login opdracht en meer. Zie het wijzigingenlogboek voor versie 0.203.0 voor meer informatie.

Databricks Terraform-provider bijgewerkt naar versie 1.23.0

9 augustus 2023

Databricks Terraform-provider versie 1.23.0 wordt uitgebreid RunJobTask met extra ondersteunde velden in databricks_job, voegt ondersteuning voor exporteurs toe voor databricks_model_servingen meer. Zie het wijzigingenlogboek voor versie 1.23.0 voor meer informatie.

De naam van groepen kan nu worden gewijzigd

8 augustus 2023

U kunt nu de naam van bestaande accountgroepen en werkruimte-lokale groepen wijzigen. Zie De naam van een groep wijzigen.

Databricks SDK voor Go bijgewerkt naar versie 0.15.0 (bèta)

7 augustus 2023

Databricks SDK voor Go-versie 0.15.0 herstructureert machtigingengerelateerde API's om ze begrijpelijker en gemakkelijker te gebruiken. Zie het wijzigingenlogboek voor versie 0.15.0 voor meer informatie.

Databricks SDK voor Python bijgewerkt naar versie 0.4.0 (bèta)

7 augustus 2023

Databricks SDK voor Python-versie 0.4.0 herstructureert machtigingengerelateerde API's om ze begrijpelijker en gemakkelijker te gebruiken. Zie het wijzigingenlogboek voor versie 0.4.0 voor meer informatie.

Configuratie-instelling voor preventie van iFraming van derden is verwijderd

7 augustus 2023

Azure Databricks vermindert het risico dat domeinen van derden afkomstig zijn van iFraming Azure Databricks door de juiste HTTP-headers toe te voegen. Preventie van iFraming van derden is nog steeds standaard ingeschakeld, maar Azure Databricks heeft de instelling voor werkruimtebeheerders verwijderd om deze uit te schakelen. Als u iFraming van derden eerder hebt uitgeschakeld voor een werkruimte, blijft de functie uitgeschakeld voor die werkruimte. Als u iFraming van derden opnieuw wilt inschakelen, neemt u contact op met uw Azure Databricks-accountteam.

Databricks-extensie voor Visual Studio Code bijgewerkt naar versie 1.1.1

4 augustus 2023

De Databricks-extensie voor Visual Studio Code versie 1.1.1 biedt verschillende kleine oplossingen, bijvoorbeeld voor het correct verwerken van de HOME omgevingsvariabele in Windows en meer. Zie het wijzigingenlogboek voor versie 1.1.1 voor meer informatie.

LangChain beschikbaar in 13.1 en hoger

4 augustus 2023

LangChain is beschikbaar als experimentele MLflow-smaak waarmee LangChain-klanten rechtstreeks vanuit de Azure Databricks-omgeving gebruikmaken van de robuuste hulpprogramma's en mogelijkheden voor het bijhouden van experimenten van MLflow.

LangChain is een softwareframework dat is ontworpen om toepassingen te maken die gebruikmaken van grote taalmodellen (LLM's) en deze te combineren met externe gegevens om meer trainingscontext voor LLM's te creëren.

Databricks Runtime voor Machine Learning bevat databricks langchain Runtime 13.1 ML en hoger.

Functie-engineering in Unity Catalog is openbare preview

3 augustus 2023

Met Functie-engineering in Unity Catalog wordt Unity Catalog uw functiearchief. U kunt elke Delta-tabel met een primaire sleutel gebruiken als functietabel voor modeltraining of deductie. Unity Catalog biedt functiedetectie en -governance.

Verbeterde foutafhandeling voor herhaalde continue taakfouten

3 augustus 2023

Continue taken die een drempelwaarde overschrijden voor opeenvolgende fouten gebruiken nu een exponentieel uitstelschema om taken efficiënt opnieuw uit te voeren en taken te laten herstellen van tijdelijke problemen. Voorheen werden doorlopende taken die de drempelwaarde voor fouten overschrijden onderbroken en niet opnieuw geprobeerd.

Serverloze SQL-warehouses zijn nu beschikbaar in extra regio's

3 augustus 2023

Serverloze SQL-magazijnen die beschikbaar zijn in extra regio's: Australië - oost, Canada - centraal, VS - west 2, VS - zuid-centraal en Azië - zuidoost. Zie Azure Databricks-regio's.

Als u van plan bent een Azure Storage-firewall te gebruiken, configureert u de firewall om toegang te verlenen vanuit serverloze SQL Warehouse-subnetten. Zie Serverloze SQL Warehouse-netwerkbeveiliging.

Schema's delen met Delta Sharing (openbare preview)

2 augustus 2023

U kunt delta delen nu gebruiken om een volledig schema te delen, zodat de ontvanger toegang heeft tot alle tabellen en weergaven in het schema op het moment dat u het deelt, samen met alle tabellen en weergaven die in de toekomst aan het schema worden toegevoegd. Voor het toevoegen van schema's aan een share met behulp van SQL-opdrachten is een SQL Warehouse vereist op SQL-rekenversie 2023.35 of hoger, of een cluster met Databricks Runtime 13.2 of hoger. Hetzelfde doen met Catalog Explorer heeft geen rekenvereisten. Zie Schema's toevoegen aan een share.

Taken voorwaardelijk uitvoeren in uw Azure Databricks-taken

2 augustus 2023

U kunt de nieuwe Run if voorwaarde gebruiken om een taaktaak uit te voeren op basis van de status van de afhankelijkheden van de taak, wat meer flexibiliteit biedt wanneer u een werkstroom implementeert met een Azure Databricks-taak. U kunt bijvoorbeeld de Run if voorwaarde gebruiken om een taak uit te voeren wanneer sommige of alle afhankelijkheden van de taak zijn mislukt. Zie Taken voorwaardelijk uitvoeren in een Azure Databricks-taak.

Databricks Terraform-provider bijgewerkt naar versie 1.22.0

1 augustus 2023

Databricks Terraform-provider versie 1.22.0 voegt een databricks_access_control_rule_set resource toe, voegt gegevensbronnen databricks_metastore en databricks_metastore meer toe. Zie het wijzigingenlogboek voor versie 1.22.0 voor meer informatie.

Verbeterde beveiligings- en nalevingsfuncties

1 augustus 2023

U kunt het beveiligingsprofiel voor naleving inschakelen. Dit biedt extra bewaking, een beperkte rekeninstallatiekopie en andere functies in uw werkruimten. Het nalevingsbeveiligingsprofiel is vereist voor het gebruik van Azure Databricks om gegevens te verwerken die worden gereguleerd door PCI-DSS, maar u kunt ervoor kiezen om het profiel in te schakelen als u dergelijke gegevens niet verwerkt. U bent uitsluitend verantwoordelijk voor het waarborgen van uw eigen naleving van alle toepasselijke wetten en voorschriften.

U kunt ook afzonderlijk verbeterde beveiligingsbewaking inschakelen, wat extra bewaking en een beperkte rekeninstallatiekopieën biedt.

Beide functies zijn beschikbaar als onderdeel van de nieuwe uitbreiding verbeterde beveiliging en naleving. Als u een van deze functies inschakelt in een werkruimte, worden er kosten in rekening gebracht voor de nieuwe invoegtoepassing, zoals beschreven op de pagina met prijzen. Voor beide functies is de Premium-prijscategorie vereist.

Lakehouse Monitoring is openbare preview

1 augustus 2023

Databricks Lakehouse Monitoring integreert bewaking van gegevens en modelkwaliteit in het Databricks-platform. Het biedt standaard metrische gegevens van de kwaliteit, zoals samenvattingsstatistieken, wijzigingen in distributie in de loop van de tijd en modelprestaties, waaronder billijkheid en vooroordelen. Lakehouse Monitoring genereert automatisch een overzichtsdashboard om u te helpen de gegevenskwaliteit in de loop van de tijd te visualiseren. U kunt ook waarschuwingen instellen op basis van de gegevens.

Databricks Runtime 13.3 LTS (bèta)

1 augustus 2023

Databricks Runtime 13.3 LTS en Databricks Runtime 13.3 LTS ML zijn nu beschikbaar als bètaversies.

Zie Databricks Runtime 13.3 LTS en Databricks Runtime 13.3 LTS voor Machine Learning.

Nieuwe Git-bewerkingen zijn algemeen beschikbaar: vertakkingen samenvoegen, opnieuwbaseen en pullen met conflictoplossing

1 augustus 2023

De volgende Git-bewerkingen zijn nu algemeen beschikbaar in Databricks-opslagplaatsen:

Met deze krachtige nieuwe hulpprogramma's voor conflictoplossing wordt het samenwerken aan code met databricks-opslagplaatsen nog gestroomlijnder en efficiënter.