Öğretici: Azure HDInsight'ta Etkileşimli Sorgu kullanarak verileri ayıklama, dönüştürme ve yükleme

Bu öğreticide, genel kullanıma açık uçuş verilerinin ham CSV veri dosyasını indirmiş olacaksınız. HdInsight küme depolama alanına aktarın ve ardından Azure HDInsight'ta Etkileşimli Sorgu kullanarak verileri dönüştürün. Veriler dönüştürüldükten sonra, Apache Sqoop kullanarak bu verileri Azure SQL Veritabanı'ndaki bir veritabanına yüklersiniz.

Bu rehber aşağıdaki görevleri kapsar:

Örnek uçuş verilerini indirme
HDInsight kümesine veri yükleme
Etkileşimli Sorgu kullanarak verileri dönüştürme
Azure SQL Veritabanı'nda veritabanında tablo oluşturma
Azure SQL Veritabanı'ndaki bir veritabanına veri aktarmak için Sqoop kullanma

Önkoşullar

HDInsight üzerinde Etkileşimli Sorgu kümesi. Bkz. Azure portalını kullanarak Apache Hadoop kümeleri oluşturma ve Küme türü için Etkileşimli Sorgu'yu seçme.
Azure SQL Veritabanı'ndaki bir veritabanı. Veritabanını hedef veri deposu olarak kullanırsınız. Azure SQL Veritabanı'nda veritabanınız yoksa bkz. Azure portalında Azure SQL Veritabanı'nda veritabanı oluşturma.
Bir SSH istemcisi. Daha fazla bilgi için bkz. SSH kullanarak HDInsight'a (Apache Hadoop) bağlanma.

Uçuş verilerini indirme

Araştırma ve Yenilikçi Teknoloji Yönetimi, Ulaştırma İstatistikleri Bürosu'na göz atın.

Sayfada tüm alanları temizleyin ve aşağıdaki değerleri seçin:

İsim	Değer
Yılı Filtrele	2019
Filtre Dönemi	Ocak
Alanları	`Year, FlightDate, Reporting_Airline, DOT_ID_Reporting_Airline, Flight_Number_Reporting_Airline, OriginAirportID, Origin, OriginCityName, OriginState, DestAirportID, Dest, DestCityName, DestState, DepDelayMinutes, ArrDelay, ArrDelayMinutes, CarrierDelay, WeatherDelay, NASDelay, SecurityDelay, LateAircraftDelay`.

İndir'i seçin. Seçtiğiniz veri alanlarıyla birlikte bir .zip dosyası indirilir.

HDInsight kümesine veri yükleme

HDInsight kümesiyle ilişkili depolama alanına veri yüklemenin birçok yolu vardır. Bu bölümde scp verileri karşıya yüklemek için kullanırsınız. Verileri karşıya yüklemenin diğer yolları hakkında bilgi edinmek için bkz. HDInsight'a veri yükleme.

.zip dosyasını HDInsight kümesi baş düğümüne yükleyin. Aşağıdaki komutu, FILENAME öğesini .zip dosyasının adıyla ve CLUSTERNAME öğesini HDInsight kümesinin adıyla değiştirerek düzenleyin. Ardından bir komut istemi açın, çalışma dizininizi dosya konumuna ayarlayın ve komutunu girin:
```
scp FILENAME.zip sshuser@CLUSTERNAME-ssh.azurehdinsight.net:FILENAME.zip
```
İstenirse devam etmek için evet veya hayır yazın. Siz yazarken metin pencerede görünmez.
Karşıya yükleme tamamlandıktan sonra SSH kullanarak kümeye bağlanın. Aşağıdaki komutu, CLUSTERNAME öğesini HDInsight kümesinin adıyla değiştirerek düzenleyin. Ardından aşağıdaki komutu girin:
```
ssh sshuser@CLUSTERNAME-ssh.azurehdinsight.net
```
Bir SSH bağlantısı kurulduktan sonra ortam değişkenini ayarlayın. "FILE_NAME, SQL_SERVERNAME, SQL_DATABASE, SQL_USER ve SQL_PASWORD değerlerini uygun değerlerle değiştirin." Ardından şu komutu girin:
```
export FILENAME=FILE_NAME
export SQLSERVERNAME=SQL_SERVERNAME
export DATABASE=SQL_DATABASE
export SQLUSER=SQL_USER
export SQLPASWORD='SQL_PASWORD'
```
Aşağıdaki komutu girerek .zip dosyasını çıkartın.
```
unzip $FILENAME.zip
```
HDInsight depolamada bir dizin oluşturun ve ardından aşağıdaki komutu girerek .csv dosyasını dizine kopyalayın:
```
hdfs dfs -mkdir -p /tutorials/flightdelays/data
hdfs dfs -put $FILENAME.csv /tutorials/flightdelays/data/
```

Hive sorgusu kullanarak verileri dönüştürme

HDInsight kümesinde Hive işi çalıştırmanın birçok yolu vardır. Bu bölümde, Bir Hive işi çalıştırmak için Beeline kullanacaksınız. Hive işini çalıştırmanın diğer yöntemleri hakkında daha fazla bilgi için bkz. HDInsight üzerinde Apache Hive kullanma.

Hive işinin bir parçası olarak, .csv dosyasındaki verileri Delays adlı bir Hive tablosuna aktarırsınız.

HDInsight kümesi için zaten sahip olduğunuz SSH isteminde aşağıdaki komutu kullanarak flightdelays.hql adlı yeni bir dosya oluşturun ve düzenleyin:
```
nano flightdelays.hql
```

Bu dosyanın içeriği olarak aşağıdaki metni kullanın:

DROP TABLE delays_raw;
-- Creates an external table over the csv file
CREATE EXTERNAL TABLE delays_raw (
    YEAR string,
    FL_DATE string,
    UNIQUE_CARRIER string,
    CARRIER string,
    FL_NUM string,
    ORIGIN_AIRPORT_ID string,
    ORIGIN string,
    ORIGIN_CITY_NAME string,
    ORIGIN_CITY_NAME_TEMP string,
    ORIGIN_STATE_ABR string,
    DEST_AIRPORT_ID string,
    DEST string,
    DEST_CITY_NAME string,
    DEST_CITY_NAME_TEMP string,
    DEST_STATE_ABR string,
    DEP_DELAY_NEW float,
    ARR_DELAY_NEW float,
    CARRIER_DELAY float,
    WEATHER_DELAY float,
    NAS_DELAY float,
    SECURITY_DELAY float,
    LATE_AIRCRAFT_DELAY float)
-- The following lines describe the format and location of the file
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
STORED AS TEXTFILE
LOCATION '/tutorials/flightdelays/data';

-- Drop the delays table if it exists
DROP TABLE delays;
-- Create the delays table and populate it with data
-- pulled in from the CSV file (via the external table defined previously)
CREATE TABLE delays AS
SELECT YEAR AS year,
    FL_DATE AS flight_date,
    substring(UNIQUE_CARRIER, 2, length(UNIQUE_CARRIER) -1) AS unique_carrier,
    substring(CARRIER, 2, length(CARRIER) -1) AS carrier,
    substring(FL_NUM, 2, length(FL_NUM) -1) AS flight_num,
    ORIGIN_AIRPORT_ID AS origin_airport_id,
    substring(ORIGIN, 2, length(ORIGIN) -1) AS origin_airport_code,
    substring(ORIGIN_CITY_NAME, 2) AS origin_city_name,
    substring(ORIGIN_STATE_ABR, 2, length(ORIGIN_STATE_ABR) -1)  AS origin_state_abr,
    DEST_AIRPORT_ID AS dest_airport_id,
    substring(DEST, 2, length(DEST) -1) AS dest_airport_code,
    substring(DEST_CITY_NAME,2) AS dest_city_name,
    substring(DEST_STATE_ABR, 2, length(DEST_STATE_ABR) -1) AS dest_state_abr,
    DEP_DELAY_NEW AS dep_delay_new,
    ARR_DELAY_NEW AS arr_delay_new,
    CARRIER_DELAY AS carrier_delay,
    WEATHER_DELAY AS weather_delay,
    NAS_DELAY AS nas_delay,
    SECURITY_DELAY AS security_delay,
    LATE_AIRCRAFT_DELAY AS late_aircraft_delay
FROM delays_raw;

Dosyayı kaydetmek için Ctrl + X tuşlarına basın, ardından y tuşuna basın ve ardından girin.
Hive'ı başlatmak ve flightdelays.hql dosyasını çalıştırmak için aşağıdaki komutu kullanın:
```
beeline -u 'jdbc:hive2://localhost:10001/;transportMode=http' -f flightdelays.hql
```
flightdelays.hql betiğinin çalışması tamamlandıktan sonra aşağıdaki komutu kullanarak etkileşimli bir Beeline oturumu açın:
```
beeline -u 'jdbc:hive2://localhost:10001/;transportMode=http'
```
jdbc:hive2://localhost:10001/> istemini aldığınızda, içeri aktarılan uçuş gecikme verilerini almak için aşağıdaki sorguyu kullanın:
```
INSERT OVERWRITE DIRECTORY '/tutorials/flightdelays/output'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
SELECT regexp_replace(origin_city_name, '''', ''),
    avg(weather_delay)
FROM delays
WHERE weather_delay IS NOT NULL
GROUP BY origin_city_name;
```
Bu sorgu, hava durumundan kaynaklanan gecikmeler yaşayan şehirlerin bir listesini, ortalama gecikme süresi ile birlikte alır ve /tutorials/flightdelays/output konumuna kaydeder. Daha sonra, Sqoop bu konumdaki verileri okur ve Azure SQL Veritabanına aktarır.
Beeline’dan çıkmak için komut istemine !quit girin.

SQL veritabanı tablosu oluşturma

SQL Veritabanına bağlanıp tablo oluşturmanın çok sayıda yolu vardır. Aşağıdaki adımlarda HDInsight kümesinden FreeTDS kullanılır.

FreeTDS'yi yüklemek için, kümeye açık SSH bağlantısından aşağıdaki komutu kullanın:
```
sudo apt-get --assume-yes install freetds-dev freetds-bin
```

Yükleme tamamlandıktan sonra SQL Veritabanı'na bağlanmak için aşağıdaki komutu kullanın:

TDSVER=8.0 tsql -H $SQLSERVERNAME.database.windows.net -U $SQLUSER -p 1433 -D $DATABASE -P $SQLPASWORD

Aşağıdakine benzer bir çıktı alırsınız:

locale is "en_US.UTF-8"
locale charset is "UTF-8"
using default charset "UTF-8"
Default database being set to <yourdatabase>
1>

1> isteminde aşağıdaki satırları girin:

CREATE TABLE [dbo].[delays](
[origin_city_name] [nvarchar](50) NOT NULL,
[weather_delay] float,
CONSTRAINT [PK_delays] PRIMARY KEY CLUSTERED
([origin_city_name] ASC))
GO

GO deyimi girildiğinde önceki deyimler değerlendirilir. Bu deyim, kümelenmiş dizine sahip delays adlı bir tablo oluşturur.

Tablonun oluşturulduğunu doğrulamak için aşağıdaki sorguyu kullanın:

SELECT * FROM information_schema.tables
GO

Çıktı aşağıdaki metne benzer:

TABLE_CATALOG   TABLE_SCHEMA    TABLE_NAME      TABLE_TYPE
databaseName       dbo             delays        BASE TABLE

exit ifadesini tsql yardımcı programından çıkmak için 1> istemine girin.

Apache Sqoop kullanarak verileri SQL Veritabanı'na aktarma

Önceki bölümlerde, dönüştürülen verileri konumunda /tutorials/flightdelays/outputkopyalamıştınız. Bu bölümde Sqoop kullanarak verileri /tutorials/flightdelays/output Azure SQL Veritabanı'nda oluşturduğunuz tabloya aktaracaksınız.

Aşağıdaki komutu girerek Sqoop'un SQL veritabanınızı görebildiğini doğrulayın:
```
sqoop list-databases --connect jdbc:sqlserver://$SQLSERVERNAME.database.windows.net:1433 --username $SQLUSER --password $SQLPASWORD
```
Bu komut, daha önce tabloyu oluşturduğunuz veritabanı da dahil olmak üzere veritabanlarının delays listesini döndürür.

Aşağıdaki komutu girerek verileri /tutorials/flightdelays/outputdelays tablosundan tabloya aktarın:

sqoop export --connect "jdbc:sqlserver://$SQLSERVERNAME.database.windows.net:1433;database=$DATABASE" --username $SQLUSER --password $SQLPASWORD --table 'delays' --export-dir '/tutorials/flightdelays/output' --fields-terminated-by '\t' -m 1

Sqoop, tabloyu içeren delays veritabanına bağlanır ve verileri dizinden /tutorials/flightdelays/output tabloya delays aktarır.

sqoop komutu tamamlandıktan sonra, aşağıdaki komutu girerek veritabanına bağlanmak için tsql yardımcı programını kullanın:
```
TDSVER=8.0 tsql -H $SQLSERVERNAME.database.windows.net -U $SQLUSER -p 1433 -D $DATABASE -P $SQLPASWORD
```
Verilerin delays tablosuna aktarıldığını doğrulamak için aşağıdaki deyimleri kullanın:
```
SELECT * FROM delays
GO
```
Tabloda verilerin listesini görürsünüz. Tablo, şehir adını ve bu şehre ait ortalama uçuş gecikme süresini içerir.

tsql yardımcı programından çıkmak için yazın exit .

Kaynakları temizleme

Eğitimi tamamladıktan sonra kümeyi silmek isteyebilirsiniz. HDInsight ile verileriniz Azure Depolama'da depolanır, böylece kullanımda olmayan bir kümeyi güvenle silebilirsiniz. Kullanımda olmasa bile HDInsight kümesi için de ücretlendirilirsiniz. Küme ücretleri depolama ücretlerinden çok daha fazla olduğundan, kullanımda olmayan kümeleri silmek ekonomik bir anlam ifade eder.

Kümeyi silmek için bkz . Tarayıcınızı, PowerShell'i veya Azure CLI'yı kullanarak HDInsight kümesini silme.

Sonraki adımlar

Bu öğreticide ham bir CSV veri dosyası aldınız, bir HDInsight kümesi depolama alanına aktarıp Azure HDInsight'ta Etkileşimli Sorgu kullanarak verileri dönüştürdüniz. Apache Hive Ambarı Bağlayıcısı hakkında bilgi edinmek için sonraki öğreticiye geçin.

Apache Spark ve Apache Hive'ı Hive Ambar Bağlayıcısı ile tümleştirme

Geri Bildirim

Bu sayfayı yararlı buldunuz mu?

Last updated on 2025-04-03