Apache HBase için Azure HDInsight Hızlandırılmış Yazma İşlemleri

  • Makale

Bu makale, Azure HDInsight'ta Apache HBase için Hızlandırılmış Yazmalar özelliğinin arka planını ve yazma performansını geliştirmek için nasıl etkili bir şekilde kullanılabileceğini sağlar. Hızlandırılmış Yazma işlemleri, Apache HBase Önceden Yazma Günlüğü(WAL) performansını geliştirmek için Azure premium SSD ile yönetilen diskleri kullanır. Apache HBase hakkında daha fazla bilgi edinmek için bkz . HDInsight'ta Apache HBase nedir?

HBase mimarisine genel bakış

HBase'de bir satır bir veya daha fazla sütundan oluşur ve bir satır anahtarıyla tanımlanır. Birden çok satır bir tablo oluşturur. Sütunlar, bu sütundaki değerin zaman damgalı sürümleri olan hücreler içerir. Sütunlar sütun aileleri halinde gruplandırılır ve sütun ailesindeki tüm sütunlar adlı HFilesdepolama dosyalarında birlikte depolanır.

HBase'deki bölgeler , veri işleme yükünü dengelemek için kullanılır. HBase önce tablonun satırlarını tek bir bölgede depolar. Tablodaki veri miktarı arttıkça satırlar birden çok bölgeye yayılır. Bölge Sunucuları birden çok bölge için istekleri işleyebilir.

Apache HBase için Önceden Yazma Günlüğü

HBase önce veri güncelleştirmelerini Önceden Yazma Günlüğü (WAL) adlı bir işleme günlüğü türüne yazar. Güncelleştirme WAL'da depolandıktan sonra bellek içi MemStore'ya yazılır. Bellekteki veriler maksimum kapasiteye ulaştığında diske olarak HFileyazılır.

Bir RegionServer, MemStore boşaltılmadan önce kilitlenir veya kullanılamaz duruma gelirse, güncelleştirmeleri yeniden oynatmak için Önceden Yaz Günlüğü kullanılabilir. WAL olmadan, bir RegionServer güncelleştirmeleri HFileboşaltmadan önce kilitleniyorsa, tüm bu güncelleştirmeler kaybolur.

Apache HBase için Azure HDInsight'ta Hızlandırılmış Yazmalar özelliği

Hızlandırılmış Yazmalar özelliği, bulut depolama alanında bulunan Önceden Yazma Günlükleri'nin kullanılmasından kaynaklanan daha yüksek yazma gecikme süresi sorununu çözer. HDInsight Apache HBase kümeleri için Hızlandırılmış Yazmalar özelliği, her RegionServer'a (çalışan düğümü) premium SSD ile yönetilen diskler ekler. Daha sonra Önceden Yazma Günlükleri, bulut depolama yerine bu premium yönetilen disklere bağlanan Hadoop Dosya Sistemi'ne (HDFS) yazılır. Premium yönetilen diskler Katı Hal Diskleri (SSD) kullanır ve hataya dayanıklılık ile mükemmel G/Ç performansı sunar. Yönetilmeyen disklerden farklı olarak, bir depolama birimi kapanırsa, aynı kullanılabilirlik kümesindeki diğer depolama birimlerini etkilemez. Sonuç olarak, yönetilen diskler uygulamalarınız için düşük yazma gecikme süresi ve daha iyi dayanıklılık sağlar. Azure tarafından yönetilen diskler hakkında daha fazla bilgi edinmek için bkz . Azure yönetilen disklerine giriş.

HDInsight'ta HBase için Hızlandırılmış Yazmaları etkinleştirme

Hızlandırılmış Yazmalar özelliğiyle yeni bir HBase kümesi oluşturmak için HDInsight'ta kümeleri ayarlama bölümünde yer alan adımları izleyin. Temel Bilgiler sekmesinde küme türünü HBase olarak seçin, bir bileşen sürümü belirtin ve ardından HBase hızlandırılmış yazmalarını etkinleştir'in yanındaki onay kutusuna tıklayın. Ardından, küme oluşturma için kalan adımlarla devam edin.

Enable accelerated writes option for HDInsight Apache HBase.

Hızlandırılmış Yazma özelliğinin etkinleştirildiğini doğrulama

Hızlandırılmış Yazmalar özelliğinin bir HBASE kümesinde etkinleştirilip etkinleştirilmediğini doğrulamak için Azure portalını kullanabilirsiniz.

  1. Azure portalında HBASE kümenizi arayın.
  2. Küme Boyutu dikey penceresini seçin.
  3. Çalışan düğümü başına premium diskler görüntülenir.

HBASE kümelerini ölçeklendirme

Veri dayanıklılığını korumak için en az üç çalışan düğümüne sahip bir küme oluşturun. Oluşturulduktan sonra kümenin ölçeğini üçten az çalışan düğümüne indiremezsiniz.

Kümeyi silmeden önce HBase tablolarınızı boşaltın veya devre dışı bırakın; böylece Önceden Yazma Günlüğü verilerini kaybetmezsiniz.

flush 'mytable'

disable 'mytable'

Kümenizin ölçeğini daraltırken de benzer adımları izleyin: Gelen verileri durdurmak için tablolarınızı boşaltın ve tablolarınızı devre dışı bırakın. Kümenizin ölçeğini üçten az düğüme indiremezsiniz.

Bu adımların izlenmesi, ölçeğin başarılı bir şekilde küçültülmesini sağlar ve ad düğümünün düşük çoğaltılmış veya geçici dosyalar nedeniyle güvenli moda geçme olasılığını önler.

Adınız ölçeği azaltıldıktan sonra güvenli moda geçerse, az çoğaltılan blokları yeniden çoğaltmak ve hdfs'yi güvenli moddan çıkarmak için hdfs komutlarını kullanın. Bu yeniden çoğaltma, HBase'i başarıyla yeniden başlatmanıza olanak sağlar.

Sonraki adımlar