Azure Databricks işiyle ilk iş akışınızı oluşturma

Bu makalede, örnek veri kümesini okuma ve işleme görevlerini düzenleyen bir Azure Databricks işi gösterilmektedir. Bu hızlı başlangıçta:

1. Yıla göre popüler bebek adlarını içeren örnek bir veri kümesini almak için yeni bir not defteri oluşturun ve kod ekleyin.
2. Örnek veri kümesini Unity Kataloğu'na kaydedin.
3. Unity Kataloğu'ndan veri kümesini okumak, yıla göre filtrelemek ve sonuçları görüntülemek için yeni bir not defteri oluşturun ve kod ekleyin.
4. Yeni bir iş oluşturun ve not defterlerini kullanarak iki görev yapılandırın.
5. İşi çalıştırın ve sonuçları görüntüleyin.

Gereksinimler

Çalışma alanınız Unity Kataloğu etkinse ve Sunucusuz İşler etkinse, iş varsayılan olarak Sunucusuz işlemde çalışır. İşinizi Sunucusuz işlemle çalıştırmak için küme oluşturma iznine ihtiyacınız yoktur.

Aksi takdirde, iş işlemi oluşturmak için küme oluşturma iznine veya tüm amaçlı işlem kaynaklarına yönelik izinlere sahip olmanız gerekir.

Unity Kataloğu'nda bir biriminiz olmalıdır. Bu makalede, adlı bir katalog içinde adlı my-volume şemada adlı default mainbir birim kullanılır. Ayrıca Unity Kataloğu'nda aşağıdaki izinlere sahip olmanız gerekir:

• READ VOLUME ve WRITE VOLUME, veya ALL PRIVILEGESbirim için my-volume .
• USE SCHEMA veya ALL PRIVILEGES şema için default .
• USE CATALOG veya ALL PRIVILEGES katalog için main .

Bu izinleri ayarlamak için Databricks yöneticinize veya Unity Kataloğu ayrıcalıklarına ve güvenli hale getirilebilir nesnelere bakın.

Not defterlerini oluşturma

Verileri alma ve kaydetme

Örnek veri kümesini almak ve Unity Kataloğu'na kaydetmek için bir not defteri oluşturmak için:

1. Azure Databricks giriş sayfanıza gidin ve kenar çubuğunda Yeni'ye tıklayın ve Not Defteri'ni seçin. Databricks, varsayılan klasörünüzde yeni ve boş bir not defteri oluşturur ve açar. Varsayılan dil, en son kullandığınız dildir ve not defteri en son kullandığınız işlem kaynağına otomatik olarak eklenir.

2. Gerekirse varsayılan dili Python olarak değiştirin.

3. Aşağıdaki Python kodunu kopyalayın ve not defterinin ilk hücresine yapıştırın.

   import requests
   
   response = requests.get('https://health.data.ny.gov/api/views/jxy9-yhdk/rows.csv')
   csvfile = response.content.decode('utf-8')
   dbutils.fs.put("/Volumes/main/default/my-volume/babynames.csv", csvfile, True)
   

Filtrelenmiş verileri okuma ve görüntüleme

Filtreleme için verileri okumak ve sunmak üzere bir not defteri oluşturmak için:

1. Azure Databricks giriş sayfanıza gidin ve kenar çubuğunda Yeni'ye tıklayın ve Not Defteri'ni seçin. Databricks, varsayılan klasörünüzde yeni ve boş bir not defteri oluşturur ve açar. Varsayılan dil, en son kullandığınız dildir ve not defteri en son kullandığınız işlem kaynağına otomatik olarak eklenir.

2. Gerekirse varsayılan dili Python olarak değiştirin.

3. Aşağıdaki Python kodunu kopyalayın ve not defterinin ilk hücresine yapıştırın.

   babynames = spark.read.format("csv").option("header", "true").option("inferSchema", "true").load("/Volumes/main/default/my-volume/babynames.csv")
   babynames.createOrReplaceTempView("babynames_table")
   years = spark.sql("select distinct(Year) from babynames_table").toPandas()['Year'].tolist()
   years.sort()
   dbutils.widgets.dropdown("year", "2014", [str(x) for x in years])
   display(babynames.filter(babynames.Year == dbutils.widgets.get("year")))
   

İş oluşturma

1. Kenar çubuğunda İş Akışları'na tıklayın.

2. ’a tıklayın.

   Görevler sekmesi, görev oluştur iletişim kutusuyla birlikte görüntülenir.

   

3. İşiniz için ad ekle... yerine iş adınızı yazın.

4. Görev adı alanına görev için bir ad girin; örneğin, retrieve-baby-names.

5. Tür açılan menüsünde Not Defteri'ni seçin.

6. Oluşturduğunuz ilk not defterini bulmak için dosya tarayıcısını kullanın, not defteri adına tıklayın ve Onayla'ya tıklayın.

7. Görev oluştur'a tıklayın.

8. Yeni oluşturduğunuz görevin altına tıklayarak başka bir görev ekleyin.

9. Görev adı alanına görev için bir ad girin; örneğin, filter-baby-names.

10. Tür açılan menüsünde Not Defteri'ni seçin.

11. Oluşturduğunuz ikinci not defterini bulmak için dosya tarayıcısını kullanın, not defteri adına tıklayın ve Onayla'ya tıklayın.

12. Parametreler'in altında Ekle'ye tıklayın. Anahtar alanına girinyear. Değer alanına girin2014.

13. Görev oluştur'a tıklayın.

İşi çalıştırma

İşi hemen çalıştırmak için sağ üst köşeye tıklayın . Ayrıca, Çalıştırmalar sekmesine ve Etkin Çalıştırmalar tablosunda Şimdi çalıştır'a tıklayarak da işi çalıştırabilirsiniz.

Çalıştırma ayrıntılarını görüntüleme

1. Çalıştırmalar sekmesine tıklayın ve Etkin Çalıştırmalar tablosunda veya Tamamlanan Çalıştırmalar (son 60 gün) tablosunda çalıştırmanın bağlantısına tıklayın.

2. Çıktıyı ve ayrıntıları görmek için iki görevden birini tıklatın. Örneğin, çıktıyı görüntülemek ve filtre görevinin ayrıntılarını çalıştırmak için filter-baby-names görevine tıklayın:

   

Farklı parametrelerle çalıştırma

İşi yeniden çalıştırmak ve farklı bir yıl için bebek adlarını filtrelemek için:

1. Şimdi çalıştır'ın yanındaki öğesine tıklayın ve Farklı parametrelerle şimdi çalıştır'ı seçin veya Etkin Çalıştırmalar tablosunda farklı parametrelerle şimdi çalıştır'a tıklayın.
2. Değer alanına girin2015.
3. Çalıştır'a tıklayın.