Compute

  • Cikk

Az Azure Databricks compute az Azure Databricks-munkaterületen elérhető számítási erőforrások kiválasztására utal. A felhasználóknak hozzáférésre van szükségük a számításhoz az adatelemzési, adatelemzési és adatelemzési számítási feladatok, például az éles ETL-folyamatok, a streamelt elemzések, az alkalmi elemzések és a gépi tanulás futtatásához.

A felhasználók csatlakozhatnak a meglévő számításhoz, vagy létrehozhatnak új számítást, ha rendelkeznek a megfelelő engedélyekkel.

A munkaterület Számítási szakaszának használatával megtekintheti azt a számítást, amelyhez hozzáféréssel rendelkezik:

Teljes körű számítási lap a Databricks-munkaterületen

A számítás típusai

Az Azure Databricksben elérhető számítási típusok a következők:

  • Kiszolgáló nélküli számítás jegyzetfüzetekhez (nyilvános előzetes verzió): Igény szerinti, méretezhető számítás sql- és Python-kód notebookokban való végrehajtásához.

  • Kiszolgáló nélküli számítás munkafolyamatokhoz (nyilvános előzetes verzió): Igény szerinti, méretezhető számítás a Databricks-feladatok futtatásához infrastruktúra konfigurálása és üzembe helyezése nélkül.

  • Teljes célú számítás: A jegyzetfüzetekben lévő adatok elemzéséhez használt kiépített számítás. Ezt a számítást a felhasználói felület, a parancssori felület vagy a REST API használatával hozhatja létre, állíthatja le és indíthatja újra.

  • Feladat számítása: Automatizált feladatok futtatásához használt kiépített számítás. Az Azure Databricks-feladatütemező automatikusan létrehoz egy feladat-számítást, amikor egy feladat új számítási feladat futtatására van konfigurálva. A számítás a feladat befejezésekor leáll. Feladatszámítás nem indítható újra. Lásd: Az Azure Databricks számítási feladatainak használata.

  • Példánykészletek: Számítás tétlen, használatra kész példányokkal, az indítási és az automatikus skálázási idő csökkentésére. Ezt a számítást a felhasználói felületen, a parancssori felületen vagy a REST API-val hozhatja létre.

  • Kiszolgáló nélküli SQL-tárolók: Igény szerinti rugalmas számítás, amellyel SQL-parancsokat futtathat adatobjektumokon az SQL-szerkesztőben vagy interaktív jegyzetfüzetekben. SQL-raktárakat a felhasználói felületen, a parancssori felületen vagy a REST API-val hozhat létre.

  • Klasszikus SQL-tárolók: SQL-parancsok futtatására szolgál adatobjektumokon az SQL-szerkesztőben vagy interaktív jegyzetfüzetekben. SQL-raktárakat a felhasználói felületen, a parancssori felületen vagy a REST API-val hozhat létre.

Az ebben a szakaszban található cikkek bemutatják, hogyan használható számítási erőforrások az Azure Databricks felhasználói felületén. További módszerekért lásd : A parancssor és a Databricks REST API-referencia használata.

A Databricks futtatókörnyezete

A Databricks Runtime a számításon futó alapvető összetevők halmaza. A Databricks Runtime egy konfigurálható beállítás a feladatok számításának minden céljára, de automatikusan ki van jelölve az SQL-raktárakban.

Minden Databricks Runtime-verzió olyan frissítéseket tartalmaz, amelyek javítják a big data-elemzések használhatóságát, teljesítményét és biztonságát. A számítási databricks-futtatókörnyezet számos funkciót tartalmaz, többek között a következőket:

  • Delta Lake, az Apache Sparkra épülő következő generációs tárolási réteg, amely ACID-tranzakciókat, optimalizált elrendezéseket és indexeket, valamint végrehajtási motorfejlesztéseket biztosít az adatfolyamok létrehozásához. Lásd : Mi az a Delta Lake?.
  • Telepített Java-, Scala-, Python- és R-kódtárak.
  • Az Ubuntu és a hozzá tartozó rendszerkódtárak.
  • GPU-kompatibilis fürtök GPU-kódtárai.
  • Azure Databricks-szolgáltatások, amelyek integrálhatók a platform más összetevőivel, például jegyzetfüzetekkel, feladatokkal és fürtkezeléssel.

Az egyes futtatókörnyezeti verziók tartalmával kapcsolatos információkért tekintse meg a kibocsátási megjegyzéseket.

Futtatókörnyezet verziószámozása

A Databricks Runtime-verziók rendszeresen jelennek meg:

  • A hosszú távú támogatási verziókat LTS-minősítő (például 3,5 LTS) jelöli. Minden nagyobb kiadáshoz "canonical" funkcióverziót deklarálunk, amelyhez három teljes éves támogatást biztosítunk. További információkért tekintse meg a Databricks futtatókörnyezet támogatási életciklusait .
  • A főverziókat a tizedesvesszőt megelőző verziószám növekménye (például 3,5-ről 4,0-ra ugrás). Ezek nagyobb módosítások esetén jelennek meg, amelyek némelyike nem feltétlenül kompatibilis visszafelé.
  • A funkcióverziókat a tizedesvesszőt követő verziószám növekménye (például 3,4-ről 3,5-ösre ugrás). Minden nagyobb kiadás több funkciókiadást is tartalmaz. A funkciókiadások mindig visszafelé kompatibilisek a fő kiadásban lévő korábbi kiadásokkal.