Hızlı Başlangıç: Apache Spark iş tanımını kullanarak verileri dönüştürme

Bu hızlı başlangıçta, Apache Spark iş tanımını kullanarak işlem hattı oluşturmak için Azure Synapse Analytics'i kullanacaksınız.

Önkoşullar

• Azure aboneliği: Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir Azure hesabı oluşturun.
• Azure Synapse çalışma alanı: Hızlı Başlangıç: Synapse çalışma alanı oluşturma başlığı altındaki yönergeleri izleyerek Azure portalını kullanarak bir Synapse çalışma alanı oluşturun.
• Apache Spark iş tanımı: Öğretici: Synapse Studio'da Apache Spark iş tanımı oluşturma başlığı altındaki yönergeleri izleyerek Synapse çalışma alanında bir Apache Spark iş tanımı oluşturun.

Synapse Studio'ya gidin

Azure Synapse çalışma alanınız oluşturulduktan sonra Synapse Studio'yu açmanın iki yolu vardır:

• Synapse çalışma alanınızı Azure portalında açın. Başlarken'in altındaki Synapse Studio'yu Aç kartında Aç'ı seçin.
• Azure Synapse Analytics'i açın ve çalışma alanınızda oturum açın.

Bu hızlı başlangıçta örnek olarak "sampletest" adlı çalışma alanını kullanacağız.

Apache Spark iş tanımıyla işlem hattı oluşturma

İşlem hattı, bir etkinlik kümesinin yürütülmesi için mantıksal akışı içerir. Bu bölümde Apache Spark iş tanımı etkinliğini içeren bir işlem hattı oluşturacaksınız.

1. Tümleştir sekmesine gidin. İşlem hatları üst bilgisinin yanındaki artı simgesini seçin ve İşlem Hattı'nı seçin.

   

2. İşlem hattının Özellikler ayarları sayfasında Ad için tanıtım girin.

3. Etkinlikler bölmesindeki Synapse'inaltında Spark iş tanımını işlem hattı tuvaline sürükleyin.

   

Apache Spark iş tanımı tuvalini ayarlama

Apache Spark iş tanımınızı oluşturduktan sonra otomatik olarak Spark iş tanımı tuvaline gönderilirsiniz.

Genel ayarlar

1. Tuvalde spark iş tanımı modülünü seçin.

2. Genel sekmesinde Ad için örnek girin.

3. (Seçenek) Ayrıca bir açıklama da girebilirsiniz.

4. Zaman aşımı: Bir etkinliğin çalıştırabileceği maksimum süre. Varsayılan değer yedi gündür ve bu da izin verilen maksimum süredir. Biçim D.HH:MM:SS biçimindedir.

5. Yeniden Deneme: En fazla yeniden deneme denemesi sayısı.

6. Yeniden deneme aralığı: Her yeniden deneme girişimi arasındaki saniye sayısı.

7. Güvenli çıkış: İşaretlendiğinde, etkinlik çıkışı günlükte yakalanmaz.

8. Güvenli giriş: İşaretlendiğinde, etkinlikten gelen giriş günlüğe kaydetmede yakalanmaz.

   

Ayarlar sekmesi

Bu panelde, çalıştırılacak Spark iş tanımına başvurabilirsiniz.

• Spark iş tanımı listesini genişletin; mevcut bir Apache Spark iş tanımını seçebilirsiniz. Ayrıca, çalıştırılacak Spark iş tanımına başvurmak için Yeni düğmesini seçerek yeni bir Apache Spark iş tanımı da oluşturabilirsiniz.

• (İsteğe bağlı) Apache Spark iş tanımı bilgilerini doldurabilirsiniz. Aşağıdaki ayarlar boşsa spark işi tanımının kendisi çalıştırmak için kullanılır; aşağıdaki ayarlar boş değilse, bu ayarlar Spark iş tanımının ayarlarının yerini alır.

  Özellik	Açıklama
  Ana tanım dosyası	İş için kullanılan ana dosya. Depolama alanınızdan bir PY/JAR/ZIP dosyası seçin. Dosyayı bir depolama hesabına yüklemek için Dosyayı karşıya yükle'yi seçebilirsiniz. Örnek: abfss://…/path/to/wordcount.jar
  Alt klasörlerden başvurular	Ana tanım dosyasının kök klasöründen alt klasörler taranıyor, bu dosyalar başvuru dosyaları olarak ekleniyor. "jars", "pyFiles", "files" veya "archives" adlı klasörler taranır ve klasör adı büyük/küçük harfe duyarlıdır.
  Ana sınıf adı	Tam tanımlayıcı veya ana tanım dosyasındaki ana sınıf. Örnek: WordCount
  Komut satırı bağımsız değişkenleri	Yeni düğmesine tıklayarak komut satırı bağımsız değişkenleri ekleyebilirsiniz. Komut satırı bağımsız değişkenlerinin eklenmesinin Spark iş tanımı tarafından tanımlanan komut satırı bağımsız değişkenlerini geçersiz kıldığını unutmayın. Örnek: abfss://…/path/to/shakespeare.txtabfss://…/path/to/result
  Apache Spark havuzu	Listeden Apache Spark havuzunu seçebilirsiniz.
  Python kod başvurusu	Ana tanım dosyasında başvuru için kullanılan diğer Python kod dosyaları. Dosyaları (.py, .py3, .zip) "pyFiles" özelliğine geçirmeyi destekler. Spark iş tanımında tanımlanan "pyFiles" özelliğini geçersiz kılar.
  Başvuru dosyaları	Ana tanım dosyasında başvuru için kullanılan diğer dosyalar.
  Yürütücüleri dinamik olarak ayırma	Bu ayar, Spark Uygulaması yürütücüleri ayırması için Spark yapılandırmasındaki dinamik ayırma özelliğine eşler.
  En düşük yürütücüler	İş için belirtilen Spark havuzunda ayrılacak en az yürütücü sayısı.
  En fazla yürütücü	İş için belirtilen Spark havuzunda ayrılacak en fazla yürütücü sayısı.
  Sürücü boyutu	İş için belirtilen Apache Spark havuzunda verilen sürücü için kullanılacak çekirdek ve bellek sayısı.
  Spark yapılandırması	Spark Yapılandırması - Uygulama özellikleri makalesinde listelenen Spark yapılandırma özellikleri için değerleri belirtin. Kullanıcılar varsayılan yapılandırmayı ve özelleştirilmiş yapılandırmayı kullanabilir.

  

• Dinamik içerik ekle düğmesine tıklayarak veya Altbasarak dinamik içerik ekleyebilirsiniz. Dinamik İçerik Ekle sayfasında, dinamik içeriğe eklemek için ifadelerin, işlevlerin ve sistem değişkenlerinin herhangi bir bileşimini kullanabilirsiniz.

  

Kullanıcı özellikleri sekmesi

Bu panelde Apache Spark iş tanımı etkinliğinin özelliklerini ekleyebilirsiniz.

İlgili içerik

Azure Synapse Analytics desteği hakkında bilgi edinmek için aşağıdaki makalelere ilerleyin:

İşlem hattı ve etkinliklerEşleme veri akışına genel bakışVeri akışı ifade dili