Apache Spark API'leri için başvuru kılavuzu

Azure Databricks, büyük veri ve makine öğrenmesi için birleşik bir analiz altyapısı olan Apache Spark'ın üzerine kurulmuştur. Daha fazla bilgi için Azure Databricks'te Apache Spark bölümüne bkz.

Apache Spark'ta, çeşitli dillerde 100'den fazla işleç içeren büyük veri kümelerinde çalışmaya yönelik DataFrame API'leri vardır.

• Python geliştiricileri için PySpark API'leri . Bkz . Öğretici: Apache Spark DataFrames kullanarak verileri yükleme ve dönüştürme. Temel sınıflar şunlardır:
  • SparkSession - Veri Kümesi ve DataFrame API'siyle Spark programlamaya giriş noktası.
  • DataFrame - Adlandırılmış sütunlar halinde gruplandırılmış dağıtılmış bir veri koleksiyonu. Bkz. DataFrames ve DataFrame tabanlı MLlib.
• R geliştiricileri için SparkR API'leri (Kullanım dışıdır). Temel sınıflar şunlardır:
  • SparkSession - SparkSession, SparkR'ye giriş noktasıdır. Bkz . Başlangıç Noktası: SparkSession.
  • SparkDataFrame - Adlandırılmış sütunlar halinde gruplandırılmış dağıtılmış bir veri koleksiyonu. Bkz . Veri Kümeleri ve Veri Çerçeveleri, Veri Çerçeveleri Oluşturma ve SparkDataFrame Oluşturma.
• Scala geliştiricileri için Scala API'leri . Temel sınıflar şunlardır:
  • SparkSession - Veri Kümesi ve DataFrame API'siyle Spark programlamaya giriş noktası. Bkz . Başlangıç Noktası: SparkSession.
  • Veri Kümesi - İşlevsel veya ilişkisel işlemler kullanılarak paralel olarak dönüştürülebilen etki alanına özgü nesnelerden oluşan kesin olarak belirlenmiş bir koleksiyon. Ayrıca her Dataset birinin, Satır olan DataFrame adlı yazılmamış bir Datasetgörünümü vardır. Bkz . Veri Kümeleri ve DataFrame'ler, Veri Kümeleri Oluşturma, Veri Çerçeveleri Oluşturma ve DataFrame işlevleri.
• Java geliştiricileri için Java API'leri . Temel sınıflar şunlardır:
  • SparkSession - Veri Kümesi ve DataFrame API'siyle Spark programlamaya giriş noktası. Bkz . Başlangıç Noktası: SparkSession.
  • Veri Kümesi - İşlevsel veya ilişkisel işlemler kullanılarak paralel olarak dönüştürülebilen etki alanına özgü nesnelerden oluşan kesin olarak belirlenmiş bir koleksiyon. Her bir Dataset nesnesinin ayrıca Satırlardan oluşan bir Dataset olan DataFrame adlı tipi belirtilmemiş bir görünümü vardır. Bkz . Veri Kümeleri ve DataFrame'ler, Veri Kümeleri Oluşturma, Veri Çerçeveleri Oluşturma ve DataFrame işlevleri.

Azure Databricks'te Apache Spark API'lerini kullanmayı öğrenmek için bkz:

• Azure Databricks'te PySpark
• R geliştiricileri için Azure Databricks
• Scala geliştiricileri için Azure Databricks
• Java için Java kodunu JAR işi olarak çalıştırabilirsiniz.