Kommentar
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
Viktigt!
Automatisk funktionsaktivering för befintliga scheman finns i offentlig förhandsversion. Om du vill registrera dig fyller du i det här formuläret med ditt konto-ID. Inga kodändringar eller ytterligare konfiguration krävs efter registreringen.
Automatisk funktionsaktivering för nya scheman är allmänt tillgänglig.
Automatisk funktionsaktivering (AFE) uppgraderar automatiskt hanterade Unity Catalog-tabeller till att använda allmänt tillgängliga rekommenderade funktioner utan att kräva kodändringar eller manuella ALTER TABLE instruktioner. AFE verifierar också att klienter är kompatibla innan nya funktioner aktiveras.
AFE ger följande fördelar:
- Minska den administrativa ansträngning som krävs för att verifiera individuella kompatibilitetskrav för varje tabell och funktionskombination på dina arbetsytor, särskilt om du har kataloger med tusentals tabeller.
- Få automatiskt de senaste prestanda- och tillförlitlighetsförbättringarna på dina hanterade tabeller.
- Implementera uppgraderingar på ett säkert sätt. AFE aktiverar endast funktioner efter att det har verifierat att arbetsbelastningen är kompatibel.
Så här fungerar AFE
AFE övervakar Åtkomstmönster för Unity Catalog på både tabell- och schemanivåer och använder ett observationsfönster för att verifiera att åtkomstmönster är kompatibla innan du aktiverar någon funktion. Observationsfönstret är 50 dagar för funktioner i offentlig förhandsversion och 100 dagar för GA-funktioner.
AFE använder serverlös beräkning för att uppgradera tabeller i bakgrunden.
Scheman och tabeller
AFE-beteende beror på om schemat och tabellerna fanns innan AFE aktiverades. Den här tabellen innehåller mer information:
| Skema | Tabell | AFE-beteende |
|---|---|---|
| Nytt | Nytt | AFE anger standardvärden på schemanivå när de skapas så att tabeller omedelbart ärver alla funktioner som stöds utan en observationsperiod. |
| Befintlig | Nytt | AFE aktiverar en funktion om endast verifierade arbetsbelastningar har åtkomst till alla tabeller i schemat i observationsfönstret. Annars aktiverar AFE inte funktioner för nya tabeller i schemat om en enda obekräftad arbetsbelastning har åtkomst till en tabell i schemat. Se verifierade arbetsbelastningar. |
| Befintlig | Befintlig | AFE aktiverar en funktion när allt följande är sant:
|
Verifierade arbetsbelastningar
En arbetsbelastning anses verifierad för en specifik funktion om den har åtkomst till tabellen från ett Databricks-kluster med en Databricks Runtime-version vid eller över funktionens lägsta version som krävs.
Följande arbetsbelastningar anses vara overifierade:
- Externa klienter och tjänster från tredje part, till exempel Flink eller Presto. Se Unity Catalog-integreringar.
- Azure Databricks tjänster med direkt eller kernel-nivå tabellåtkomst, till exempel Zerobus, som kringgår standardåtkomstmönster för Databricks Runtime. Se Översikt över Zerobus Ingest-anslutning.
Om någon tabell i ett schema användes i observationsfönstret av en Databricks Runtime-version under funktionens lägsta version som krävs eller av en extern klient, aktiverar AFE inte motsvarande funktion i någon tabell i schemat.
Funktioner som stöds
AFE kan automatiskt aktivera följande funktioner:
| Feature | Vad det gör | Lägsta kompatibla Databricks Runtime-version |
|---|---|---|
| Radspårning | Underhåller dolda rad-ID:er för inkrementell bearbetning med ändringsdataflöde. | 14,1 |
| Kolumnmappning | Gör att du kan byta namn på och släppa kolumner utan att skriva om data. | 15,3 |
| Kontrollpunkt V2 | Gör det möjligt för Delta Lake att stödja fler samtidiga skrivare och minskar skrivkonflikter i stora eller ofta uppdaterade tabeller. | 13.3 |
| Kataloghanterade incheckningar | Centraliserar incheckningar i Unity Catalog för att aktivera transaktioner med flera tabeller, förbättrar samverkan för externa skrivningar och möjliggör styrningsprinciper mellan motorer. | 16,4 |
Funktionstillgängligheten kan variera beroende på region.
Requirements
- Serverlös beräkning måste vara tillgänglig i din region.
- Tabellerna måste vara hanterade Unity Catalog-tabeller i Delta Lake- eller Apache Iceberg-format.
Observera aktiverade funktioner
Om du vill kontrollera om AFE har aktiverat en funktion i en tabell letar du efter en SET TBLPROPERTIES åtgärd på fliken Historik i Katalogutforskaren eller använder DESCRIBE HISTORY <table_name>. Om AFE utförde åtgärden visar fältet användarnamn ett hash-värde i stället för ett användarnamn, till exempel 4d137f29-62. Se Vad är Katalogutforskaren? och Visa tabellhistorik.
När AFE aktiverar funktioner i tabeller i ett nytt schema visar du schemats standardvärden på fliken Egenskaper i Katalogutforskaren. Ett schema med radspårning aktiverat visar till exempel en egenskap som catalog.schema.enableRowTracking: "true". Befintliga scheman har inte AFE-observerbarhetsegenskaper.
Hantera rekommenderade AFE-funktioner
Administratörer kan hantera AFE-beteende och åtgärder med olika kontroller.
Återställ ändringar
Använd RESTORE för att återställa data och metadata för en tabell till en version innan funktionen aktiverades:
RESTORE TABLE <table_name> TO VERSION AS OF <version>;
RESTORE TABLE <table_name> TO TIMESTAMP AS OF <timestamp>;
Mer information om tabellhistorik och återställning finns i Återställa en tabell till ett tidigare tillstånd .
Inaktivera funktioner för tabeller
Så här inaktiverar du en funktion i en enskild tabell:
ALTER TABLE <table_name> DROP FEATURE <feature_name>
AFE aktiverar inte en funktion igen när du har inaktiverat den manuellt.
Begränsningar
- Tabeller som delas av Delta Lake Sharing, både Databricks-to-Open och Databricks-to-Databricks, undantas från AFE. Se Vad innebär deltadelning?.
- AFE har ingen mekanism för batchåterställning för att inaktivera en funktion i alla tabeller i ett konto. Se Hantera rekommenderade AFE-funktioner.
- Materialiserade vyer och strömmande tabeller stöds inte.
- Arbetsbelastning som kringgår Unity Catalog och har tillgång till tabeller direkt via filsökväg spåras inte av AFE. Om dina arbetsbelastningar använder sökvägsbaserad åtkomst kontaktar du kontoteamet för att diskutera kompatibilitet.
- Externa tabeller åtkommas vanligtvis via filsökvägen, utan att använda Unity Catalog, och hanteras med overifierade arbetsbelastningar från externa klienter. Unity Catalog kan inte spåra dessa åtkomstmönster på ett tillförlitligt sätt, så externa tabeller undantas från AFE. Se Arbeta med externa tabeller.