Streamelési adatok lekérése a lakehouse-ba és hozzáférés az SQL-végponttal

Ez a rövid útmutató bemutatja, hogyan hozhat létre egy Spark-feladatdefiníciót, amely Python-kódot tartalmaz a Spark Structured Streaming használatával, hogy adatokat helyezzen el egy tóházban, majd egy SQL-végponton keresztül szolgálja ki. A rövid útmutató elvégzése után rendelkezni fog egy Spark-feladatdefinícióval, amely folyamatosan fut, és az SQL-végpont megtekintheti a bejövő adatokat.

Fontos

A Microsoft Fabric jelenleg előzetes verzióban érhető el. Ezek az információk egy előzetes termékre vonatkoznak, amely a kiadás előtt lényegesen módosítható. A Microsoft nem vállal kifejezett vagy vélelmezett garanciát az itt megadott információkra vonatkozóan.

Python-szkript létrehozása

  1. Használja az alábbi Python-kódot, amely a Spark strukturált streamelését használja az adatok lakehouse-táblában való lekéréséhez.

    Python-szkript képernyőképe

  2. Mentse a szkriptet Python-fájlként (.py) a helyi számítógépen.

Tóház létrehozása

A következő lépésekkel hozzon létre egy tóházat:

  1. A Microsoft Fabricben válassza a Synapse adattervezés felületet.

  2. Lépjen a kívánt munkaterületre, vagy hozzon létre egy újat, ha szükséges.

  3. Tóház létrehozásához válassza a Lakehouse ikont a fő panel Új szakasza alatt.

    Képernyőkép az új lakehouse párbeszédpanelről

  4. Adja meg a tóház nevét, és válassza a Létrehozás lehetőséget.

Spark-feladatdefiníció létrehozása

Spark-feladatdefiníció létrehozásához kövesse az alábbi lépéseket:

  1. Ugyanazon a munkaterületen, ahol létrehozott egy tóházat, válassza a létrehozás ikont a bal oldali menüben.

  2. A "adattervezés" területen válassza a Spark-feladatdefiníció lehetőséget.

    Képernyőkép az új Spark-feladatdefiníció párbeszédpanelről

  3. Adja meg a Spark-feladatdefiníció nevét, és válassza a Létrehozás lehetőséget.

  4. Válassza a Feltöltés lehetőséget, és válassza ki az előző lépésben létrehozott Python-fájlt.

  5. A Lakehouse Reference (Lakehouse-referencia) területen válassza ki a létrehozott tóházat.

Újrapróbálkozési szabályzat beállítása Spark-feladatdefinícióhoz

Az alábbi lépésekkel állíthatja be a Spark-feladat definíciójához tartozó újrapróbálkozési szabályzatot:

  1. A felső menüben válassza a Beállítás ikont.

    Képernyőkép a Spark-feladatdefiníció beállításainak ikonról

  2. Nyissa meg az Optimalizálás lapot, és állítsa be az Újrapróbálkozási szabályzateseményindítót.

    Képernyőkép a Spark-feladatdefiníció optimalizálási lapról

  3. Adja meg a maximális újrapróbálkozási kísérleteket, vagy jelölje be a Korlátlan kísérletek engedélyezése jelölőnégyzetet.

  4. Adja meg az egyes újrapróbálkozási kísérletek közötti időt, és válassza az Alkalmaz lehetőséget.

A Spark-feladat definíciójának végrehajtása és figyelése

  1. A felső menüben válassza a Futtatás ikont.

    Képernyőkép a Spark-feladatdefiníció futtatási ikonról

  2. Ellenőrizze, hogy a Spark-feladat definíciója sikeresen el lett-e küldve, és fut-e.

Adatok megtekintése SQL-végpont használatával

  1. Munkaterület nézetben válassza ki a Lakehouse-t.

  2. A jobb oldali sarokban válassza a Lakehouse lehetőséget, majd válassza az SQL-végpont lehetőséget.

  3. A Táblák területen található SQL-végpont nézetben válassza ki azt a táblát, amelyet a szkript az adatok lerakásához használ. Ezután megtekintheti az adatokat az SQL-végpontról.

Következő lépések