Sunucusuz SQL havuzuyla verileri analiz etme

  • Makale

Bu öğreticide sunucusuz SQL havuzuyla verileri analiz etmeyi öğreneceksiniz.

Yerleşik sunucusuz SQL havuzu

Sunucusuz SQL havuzları, kapasite ayırmanıza gerek kalmadan SQL'i kullanmanıza olanak tanır. Sunucusuz SQL havuzu için faturalama, sorguyu çalıştırmak için kullanılan düğüm sayısına değil, sorguyu çalıştırmak için işlenen veri miktarına bağlıdır.

Her çalışma alanı Yerleşik adlı önceden yapılandırılmış bir sunucusuz SQL havuzuyla birlikte gelir.

Sunucusuz SQL havuzuyla NYC Taxi verilerini analiz etme

Not

Örnek verileri birincil depolama hesabına yerleştirdiğinizden emin olun

  1. Synapse Studio'da Geliştirme hub'ına gidin

  2. Yeni bir SQL betiği oluşturun.

  3. Aşağıdaki kodu betiğine yapıştırın.

    SELECT
    TOP 100 *
FROM
    OPENROWSET(
        BULK 'https://contosolake.dfs.core.windows.net/users/NYCTripSmall.parquet',
        FORMAT='PARQUET'
    ) AS [result]

  4. Çalıştır'ı seçin.

Veri keşfi yalnızca verilerinizin temel özelliklerini anlayabileceğiniz basitleştirilmiş bir senaryodur. Bu öğreticide veri keşfi ve analizi hakkında daha fazla bilgi edinin.

Veri araştırma veritabanı oluşturma

Dosyaların içeriğine doğrudan veritabanı üzerinden master göz atabilirsiniz. Bazı basit veri araştırma senaryoları için ayrı bir veritabanı oluşturmanız gerekmez. Ancak, veri keşfetmeye devam ettikçe, aşağıdakiler gibi bazı yardımcı nesneler oluşturmak isteyebilirsiniz:

  • Depolama hesapları için adlandırılmış başvuruları temsil eden dış veri kaynakları.
  • Dış veri kaynağında kimlik doğrulamasının nasıl yapılacağını belirtmenizi sağlayan veritabanı kapsamlı kimlik bilgileri.
  • Bazı veri kaynaklarına veya veritabanı nesnelerine erişme izinlerine sahip veritabanı kullanıcıları.
  • Sorgularda kullanabileceğiniz yardımcı program görünümleri, yordamlar ve işlevler.

  1. Veritabanını kullanarak master özel veritabanı nesneleri için ayrı bir veritabanı oluşturun. Özel veritabanı nesneleri, veritabanında master oluşturulamaz.

    CREATE DATABASE DataExplorationDB 
                COLLATE Latin1_General_100_BIN2_UTF8

    Önemli

    UTF-8 metninin sütunlara düzgün bir şekilde dönüştürülmesini VARCHAR sağlamak için sonekli _UTF8 harmanlama kullanın. Latin1_General_100_BIN2_UTF8 Parquet dosyalarından ve Azure Cosmos DB kapsayıcılarından veri okuyan sorgularda en iyi performansı sağlar. Harmanlamaları değiştirme hakkında daha fazla bilgi için Synapse SQL için desteklenen harmanlama türlerine bakın.

  2. Aşağıdaki komutu kullanarak veritabanı bağlamını olarak masterDataExplorationDB değiştirin. Geçerli veritabanınızı değiştirmek için kullanıcı arabirimi denetimi kullanım veritabanını da kullanabilirsiniz:

    USE DataExplorationDB

  3. 'den DataExplorationDBkimlik bilgileri ve veri kaynakları gibi yardımcı program nesneleri oluşturun.

    CREATE EXTERNAL DATA SOURCE ContosoLake
WITH ( LOCATION = 'https://contosolake.dfs.core.windows.net')

    Not

    Kimlik bilgisi olmadan dış veri kaynağı oluşturulabilir. Kimlik bilgisi yoksa, dış veri kaynağına erişmek için çağıranın kimliği kullanılır.

  4. İsteğe bağlı olarak, içinde dış verilere erişecek bir kullanıcı DataExplorationDB için oturum açmak üzere yeni oluşturulan DataExplorationDB veritabanını kullanın:

    CREATE LOGIN data_explorer WITH PASSWORD = 'My Very Strong Password 1234!';

    Ardından yukarıdaki oturum açma bilgileri için içinde DataExplorationDB bir veritabanı kullanıcısı oluşturun ve bu izni verin ADMINISTER DATABASE BULK OPERATIONS .

    CREATE USER data_explorer FOR LOGIN data_explorer;
GO
GRANT ADMINISTER DATABASE BULK OPERATIONS TO data_explorer;
GO

  5. Göreli yolu ve veri kaynağını kullanarak dosyanın içeriğini keşfedin:

    SELECT
    TOP 100 *
FROM
    OPENROWSET(
            BULK '/users/NYCTripSmall.parquet',
            DATA_SOURCE = 'ContosoLake',
            FORMAT='PARQUET'
    ) AS [result]

  6. Değişikliklerinizi çalışma alanında yayımlayın.

Veri araştırma veritabanı, yardımcı program nesnelerinizi depolayabileceğiniz basit bir yer tutucudur. Synapse SQL havuzu çok daha fazlasını yapmanızı ve Azure veri kaynaklarının üzerine kurulmuş ilişkisel bir katman olan Mantıksal Data Warehouse oluşturmanızı sağlar. Bu öğreticide mantıksal veri ambarı oluşturma hakkında daha fazla bilgi edinin.

Sonraki adımlar

Sunucusuz Spark havuzuyla verileri analiz etme