Replikasi Penyimpanan Kluster ke Kluster

Replika Penyimpanan dapat mereplikasi volume antar kluster, termasuk replikasi kluster menggunakan Storage Spaces Direct. Manajemen dan konfigurasi mirip dengan replikasi server-ke-server.

Anda akan mengonfigurasi komputer dan penyimpanan ini dalam konfigurasi kluster-ke-kluster, di mana satu kluster mereplikasi set penyimpanannya sendiri dengan kluster lain dan set penyimpanannya. Node ini dan penyimpanannya harus terletak di situs fisik terpisah, meskipun tidak diperlukan.

Important

Dalam pengujian ini, empat server adalah contohnya. Anda dapat menggunakan sejumlah server yang didukung oleh Microsoft di setiap kluster, yang saat ini 8 untuk kluster Storage Spaces Direct dan 64 untuk kluster penyimpanan bersama.

Panduan ini tidak mencakup konfigurasi Ruang Penyimpanan Langsung. Untuk informasi tentang mengonfigurasi Storage Spaces Direct, lihat Gambaran umum Storage Spaces Direct.

Panduan ini menggunakan lingkungan berikut sebagai contoh:

• Two member servers, named SR-SRV01 and SR-SRV02 that are later formed into a cluster named SR-SRVCLUSA.

• Two member servers named SR-SRV03 and SR-SRV04 that are later formed into a cluster named SR-SRVCLUSB.

• A pair of logical "sites" that represent two different data centers, with one called Redmond and one called Bellevue.

GAMBAR 1: Replikasi Kluster ke kluster

Prerequisites

• Layanan Domain Active Directory pada hutan (tidak perlu menjalankan Windows Server 2016).
• Server 4-128 (dua kluster 2-64 server) yang menjalankan Windows Server 2019 atau Windows Server 2016, Edisi Pusat Data. Jika Anda menjalankan Windows Server 2019, Anda dapat menggunakan Edisi Standar jika Anda OK hanya mereplikasi satu volume hingga ukuran 2 TB.
• Dua set sistem penyimpanan, menggunakan SAS JBOD, saluran fiber SAN, VHDX Bersama, Storage Spaces Direct, atau target iSCSI. Penyimpanan harus berisi campuran media HDD dan SSD. Anda akan membuat setiap set penyimpanan hanya tersedia untuk setiap kluster, tanpa akses bersama antar kluster.
• Setiap set penyimpanan harus memungkinkan pembuatan setidaknya dua disk virtual, satu untuk data yang direplikasi dan satu untuk log. Penyimpanan fisik harus memiliki ukuran sektor yang sama pada semua disk data. Penyimpanan fisik harus memiliki ukuran sektor yang sama pada semua disk log.
• Setidaknya satu koneksi ethernet/TCP di setiap server untuk replikasi sinkron, tetapi sebaiknya RDMA.
• Aturan firewall dan router yang sesuai untuk memungkinkan lalu lintas dua arah ICMP, SMB (port 445, ditambah port 5445 untuk SMB Direct) dan WS-MAN (port 5985) di antara semua simpul.
• Jaringan antara server dengan bandwidth yang cukup untuk menangani beban kerja penulisan IO Anda dan latensi pulang pergi rata-rata sebesar 5ms, untuk replikasi sinkron. Replikasi asinkron tidak memiliki rekomendasi latensi.
• Penyimpanan yang direplikasi tidak dapat ditemukan di drive yang berisi folder sistem operasi Windows.
• Ada pertimbangan &batasan penting untuk replikasi Storage Spaces Direct.

Banyak dari persyaratan ini dapat ditentukan dengan menggunakan Test-SRTopology cmdlet. Anda mendapatkan akses ke alat ini jika Anda menginstal Replika Penyimpanan atau fitur Alat Manajemen Replika Penyimpanan di setidaknya satu server. Tidak perlu mengonfigurasi Replika Penyimpanan; cukup instal cmdlet untuk menggunakan alat ini. Informasi lebih lanjut disertakan dalam langkah-langkah di bawah ini.

Langkah 1: Menyediakan sistem operasi, fitur, peran, penyimpanan, dan jaringan

1. Install Windows Server on all four server nodes with an installation type of Windows Server (Desktop Experience).

2. Tambahkan informasi jaringan dan gabungkan ke domain, lalu mulai ulang.

   Important

   Mulai saat ini, selalu masuk sebagai pengguna domain yang merupakan anggota grup administrator bawaan di semua server. Selalu ingat untuk meningkatkan perintah Windows PowerShell dan CMD Anda ke depannya saat berjalan pada penginstalan server grafis atau di komputer Windows 10.

3. Connect first set of JBOD storage enclosure, iSCSI target, FC SAN, or local fixed disk (DAS) storage to the server in site Redmond.

4. Connect second set of storage to the server in site Bellevue.

5. Jika sesuai, instal firmware dan driver penyimpanan vendor terbaru, firmware dan driver casing terbaru, driver HBA vendor terbaru, firmware BIOS/UEFI vendor terbaru, driver jaringan vendor terbaru, dan driver chipset motherboard terbaru pada keempat node. Mulai ulang node sesuai kebutuhan.

   Note

   Lihat dokumentasi vendor perangkat keras Anda untuk mengonfigurasi penyimpanan bersama dan perangkat keras jaringan.

6. Pastikan pengaturan BIOS/UEFI untuk server memungkinkan performa tinggi, seperti menonaktifkan C-State, mengatur kecepatan QPI, mengaktifkan NUMA, dan mengatur frekuensi memori tertinggi. Pastikan manajemen daya di Windows Server diatur ke performa tinggi. Mulai ulang sesuai kebutuhan.

7. Konfigurasikan peran sebagai berikut:

   • Graphical method

     1. Run ServerManager.exe and create a server group, adding all server nodes.

     2. Install the File Server and Storage Replica roles and features on each of the nodes and restart them.

   • Metode Windows PowerShell

     Pada SR-SRV04 atau komputer manajemen jarak jauh, jalankan perintah berikut di konsol Windows PowerShell untuk menginstal fitur dan peran yang diperlukan untuk kluster stretch pada empat simpul dan mulai ulang:

     $Servers = 'SR-SRV01','SR-SRV02','SR-SRV03','SR-SRV04'
     
     $Servers | ForEach { Install-WindowsFeature -ComputerName $_ -Name Storage-Replica,Failover-Clustering,FS-FileServer -IncludeManagementTools -restart }
     

     Untuk informasi selengkapnya tentang langkah-langkah ini, lihat Menginstal atau Menghapus Instalan Peran, Layanan Peran, atau Fitur

8. Konfigurasikan penyimpanan sebagai berikut:

   Important

   • Anda harus membuat dua volume pada setiap wadah: satu untuk data dan satu untuk catatan log.
   • Log and data disks must be initialized as GPT, not MBR.
   • Dua volume data harus berukuran identik.
   • Dua volume log harus berukuran identik.
   • Semua disk data yang direplikasi harus memiliki ukuran sektor yang sama.
   • Semua disk log harus memiliki ukuran sektor yang sama.
   • Volume log harus menggunakan penyimpanan berbasis flash, seperti SSD. Microsoft menyarankan agar penyimpanan log lebih cepat daripada penyimpanan data. Volume log tidak boleh digunakan untuk beban kerja lain.
   • Disk data dapat menggunakan HDD, SSD, atau kombinasi bertingkat dan dapat menggunakan ruang mirror atau paritas atau RAID 1 atau 10, atau RAID 5 atau RAID 50.
   • Ukuran log akan menjadi 8 GB jika tidak ditentukan. Volume log Anda harus setidaknya 10 GB atau lebih besar berdasarkan persyaratan log dan kebutuhan organisasi.
   • Saat menggunakan Storage Spaces Direct (Storage Spaces Direct) dengan cache NVME atau SSD, Anda melihat peningkatan latensi yang lebih besar dari yang diharapkan saat mengonfigurasi replikasi Penyimpanan antara kluster Storage Spaces Direct. Perubahan latensi secara proporsional jauh lebih tinggi daripada yang Anda lihat saat menggunakan NVME dan SSD dalam konfigurasi performa + kapasitas dan tidak ada tingkat HDD atau tingkat kapasitas.

   Masalah ini terjadi karena keterbatasan arsitektur dalam mekanisme log SR yang dikombinasikan dengan latensi NVME yang sangat rendah jika dibandingkan dengan media yang lebih lambat. Saat menggunakan cache Storage Spaces Direct, semua IO dari log SR, bersama dengan semua IO aplikasi baca/tulis terbaru, terjadi di dalam cache dan tidak pernah pada tingkat performa atau kapasitas. Ini berarti bahwa semua aktivitas SR terjadi pada media kecepatan yang sama - konfigurasi ini tidak didukung dan tidak direkomendasikan (lihat https://aka.ms/srfaq untuk rekomendasi log).

   Saat menggunakan Ruang Penyimpanan Langsung dengan HDD, Anda tidak dapat menonaktifkan atau menghindari cache. Sebagai solusinya, jika hanya menggunakan SSD dan NVME, Anda dapat mengonfigurasi hanya tingkat performa dan kapasitas. Jika menggunakan konfigurasi tersebut, dan dengan menempatkan log SR hanya pada tingkat performa sementara volume data yang dilayaninya hanya berada di tingkat kapasitas, Anda akan menghindari masalah latensi tinggi yang dijelaskan di atas. Hal yang sama dapat dilakukan dengan campuran SSD yang lebih cepat dan lebih lambat dan tidak ada NVME.

   Solusi ini tidak ideal dan beberapa pelanggan mungkin tidak dapat menggunakannya. Tim SR sedang mengerjakan pengoptimalan dan mekanisme log yang diperbarui untuk masa depan guna mengurangi hambatan buatan yang terjadi ini.

• Untuk wadah JBOD:

1. Pastikan bahwa setiap kluster hanya dapat melihat penutup penyimpanan situs tersebut saja dan bahwa koneksi SAS dikonfigurasi dengan benar.

2. Provision the storage using Storage Spaces by following Steps 1-3 provided in the Deploy Storage Spaces on a Stand-Alone Server using Windows PowerShell or Server Manager.

• Untuk penyimpanan Target iSCSI:

1. Pastikan bahwa setiap kluster hanya dapat melihat penutup penyimpanan situs tersebut. Anda harus menggunakan lebih dari satu adaptor jaringan tunggal jika menggunakan iSCSI.

2. Siapkan penyimpanan dengan menggunakan dokumentasi dari vendor Anda. Jika menggunakan Penargetan iSCSI berbasis Windows, lihat Penyimpanan Blok Target iSCSI, CaraNya.

• Untuk penyimpanan FC SAN:

1. Pastikan bahwa setiap kluster hanya dapat melihat unit penyimpanan situs tersebut dan bahwa Anda telah melakukan pemetaan zona host dengan benar.

2. Siapkan penyimpanan dengan menggunakan dokumentasi dari vendor Anda.

• Untuk Storage Spaces Direct:

1. Pastikan bahwa setiap kluster hanya dapat mengakses penyimpanan kandang situs dengan menyebarkan Storage Spaces Direct.

2. Pastikan bahwa volume log SR akan selalu berada di penyimpanan flash tercepat dan volume data pada penyimpanan kapasitas tinggi yang lebih lambat.

3. Mulai Windows PowerShell dan gunakan Test-SRTopology cmdlet untuk menentukan apakah Anda memenuhi semua persyaratan Replika Penyimpanan. Anda dapat menggunakan cmdlet dalam mode khusus persyaratan untuk pengujian cepat dan mode evaluasi performa yang berjalan lama. For example,

   MD c:\temp
   
   Test-SRTopology -SourceComputerName SR-SRV01 -SourceVolumeName f: -SourceLogVolumeName g: -DestinationComputerName SR-SRV03 -DestinationVolumeName f: -DestinationLogVolumeName g: -DurationInMinutes 30 -ResultPath c:\temp
   

   Important

   Saat menggunakan server pengujian tanpa beban IO tulis pada volume sumber yang ditentukan selama periode evaluasi, pertimbangkan untuk menambahkan beban kerja atau tidak akan menghasilkan laporan yang berguna. Anda harus menguji dengan beban kerja seperti produksi untuk melihat angka riil dan ukuran log yang direkomendasikan. Alternatively, copy some files into the source volume during the test or download and run DISKSPD to generate write IOs. Misalnya, sampel dengan beban kerja penulisan IO yang rendah selama lima menit ke volume D: Diskspd.exe -c1g -d300 -W5 -C5 -b8k -t2 -o2 -r -w5 -h d:\test.dat

4. Examine the TestSrTopologyReport.html report to ensure that you meet the Storage Replica requirements.

   

Langkah 2: Dua Kluster Failover Server Berkas Scale-Out Mengonfigurasi

Sekarang Anda akan membuat dua kluster failover normal. Setelah konfigurasi, validasi, dan pengujian, Anda akan mereplikasinya menggunakan Replika Penyimpanan. Anda dapat melakukan semua langkah di bawah ini pada node kluster secara langsung atau dari komputer manajemen jarak jauh yang berisi Alat Administrasi Server Jarak Jauh Windows Server.

Graphical method

1. Run cluadmin.msc against a node in each site.

2. Validasi kluster yang diusulkan dan analisis hasilnya untuk memastikan Anda dapat melanjutkan. The example used below are SR-SRVCLUSA and SR-SRVCLUSB.

3. Buat dua kluster. Pastikan bahwa nama kluster adalah 15 karakter atau kurang.

4. Mengonfigurasi Saksi Berbagi File atau Saksi Cloud.

   Note

   Windows Server sekarang menyertakan opsi untuk Witness berbasis Cloud (Azure). Anda dapat memilih opsi kuorum ini daripada saksi berbagi file.

   Warning

   Untuk informasi selengkapnya tentang konfigurasi bukti kuorum, lihat Menyebarkan bukti kuorum. For more information on the Set-ClusterQuorum cmdlet, see Set-ClusterQuorum.

5. Add one disk in the Redmond site to the cluster CSV. To do so, right click a source disk in the Disks node of the Storage section, and then click Add to Cluster Shared Volumes.

6. Membuat Server File Scale-Out terkluster pada kedua kluster menggunakan instruksi di Mengonfigurasi Server File Scale-Out

Metode Windows PowerShell

1. Uji kluster yang diusulkan dan analisis hasilnya untuk memastikan Anda dapat melanjutkan:

   Test-Cluster SR-SRV01,SR-SRV02
   Test-Cluster SR-SRV03,SR-SRV04
   

2. Buat kluster (Anda harus menentukan alamat IP statis Anda sendiri untuk kluster). Pastikan bahwa setiap nama kluster adalah 15 karakter atau lebih sedikit:

   New-Cluster -Name SR-SRVCLUSA -Node SR-SRV01,SR-SRV02 -StaticAddress <your IP here>
   New-Cluster -Name SR-SRVCLUSB -Node SR-SRV03,SR-SRV04 -StaticAddress <your IP here>
   

3. Konfigurasikan saksi Berbagi File atau saksi Cloud (Azure) di setiap kluster yang menunjuk ke berbagi file yang dihosting di pengendali domain atau server independen lainnya. For example:

   Set-ClusterQuorum -FileShareWitness \\someserver\someshare
   

   Note

   Windows Server sekarang menyertakan opsi untuk Witness berbasis Cloud (Azure). Anda dapat memilih opsi kuorum ini daripada saksi berbagi file.

4. Membuat Server File Scale-Out terkluster pada kedua kluster menggunakan instruksi di Mengonfigurasi Server File Scale-Out

Langkah 3: Menyiapkan Replikasi antar-Kluster menggunakan Windows PowerShell

Sekarang Anda akan menyiapkan replikasi kluster-ke-kluster menggunakan Windows PowerShell. Anda dapat melakukan semua langkah di bawah ini pada simpul secara langsung atau dari komputer manajemen jarak jauh yang berisi Alat Administrasi Server Jarak Jauh Windows Server

1. Grant the first cluster full access to the other cluster by running the Grant-SRAccess cmdlet on any node in the first cluster, or remotely. Alat Administrasi dari Jarak Jauh untuk Server Windows

   Grant-SRAccess -ComputerName SR-SRV01 -Cluster SR-SRVCLUSB
   

2. Grant the second cluster full access to the other cluster by running the Grant-SRAccess cmdlet on any node in the second cluster, or remotely.

   Grant-SRAccess -ComputerName SR-SRV03 -Cluster SR-SRVCLUSA
   

3. Konfigurasikan replikasi kluster-ke-kluster, menentukan disk sumber dan tujuan, log sumber dan tujuan, nama kluster sumber dan tujuan, dan ukuran log. Anda dapat melakukan perintah ini secara lokal pada server atau menggunakan komputer manajemen jarak jauh.

   New-SRPartnership -SourceComputerName SR-SRVCLUSA -SourceRGName rg01 -SourceVolumeName c:\ClusterStorage\Volume2 -SourceLogVolumeName f: -DestinationComputerName SR-SRVCLUSB -DestinationRGName rg02 -DestinationVolumeName c:\ClusterStorage\Volume2 -DestinationLogVolumeName f: -LogType Raw
   

   Warning

   Ukuran log default adalah 8GB. Depending on the results of the Test-SRTopology cmdlet, you may decide to use -LogSizeInBytes with a higher or lower value.

4. To get replication source and destination state, use Get-SRGroup and Get-SRPartnership as follows:

   Get-SRGroup
   Get-SRPartnership
   (Get-SRGroup).replicas
   

5. Tentukan kemajuan replikasi sebagai berikut:

   1. Di server sumber, jalankan perintah berikut dan periksa peristiwa 5015, 5002, 5004, 1237, 5001, dan 2200:

      Get-WinEvent -ProviderName Microsoft-Windows-StorageReplica -max 20
      

   2. Di server tujuan, jalankan perintah berikut untuk melihat peristiwa Replika Penyimpanan yang menunjukkan pembentukan kemitraan. Kejadian ini menyatakan jumlah byte yang disalin dan waktu yang dibutuhkan. Example:

      Get-WinEvent -ProviderName Microsoft-Windows-StorageReplica | Where-Object {$_.ID -eq "1215"} | Format-List
      

      Berikut adalah contoh output-nya:

      TimeCreated  : 4/8/2016 4:12:37 PM
      ProviderName : Microsoft-Windows-StorageReplica
      Id           : 1215
      Message      : Block copy completed for replica.
          ReplicationGroupName: rg02
          ReplicationGroupId:
          {616F1E00-5A68-4447-830F-B0B0EFBD359C}
          ReplicaName: f:\
          ReplicaId: {00000000-0000-0000-0000-000000000000}
          End LSN in bitmap:
          LogGeneration: {00000000-0000-0000-0000-000000000000}
          LogFileId: 0
          CLSFLsn: 0xFFFFFFFF
          Number of Bytes Recovered: 68583161856
          Elapsed Time (seconds): 117
      

   3. Secara bergantian, grup server tujuan untuk replika menyatakan jumlah byte yang tersisa untuk disalin setiap saat, dan dapat dikueri melalui PowerShell. For example:

      (Get-SRGroup).Replicas | Select-Object numofbytesremaining
      

      Sebagai sampel kemajuan (yang tidak akan berakhir):

        while($true) {
        $v = (Get-SRGroup -Name "Replication 2").replicas | Select-Object numofbytesremaining
        [System.Console]::Write("Number of bytes remaining: {0}`n", $v.numofbytesremaining)
        Start-Sleep -s 5
       }
      

6. Pada server tujuan di kluster tujuan, jalankan perintah berikut dan periksa peristiwa 5009, 1237, 5001, 5015, 5005, dan 2200 untuk memahami kemajuan pemrosesan. Seharusnya tidak akan ada peringatan kesalahan dalam tahap ini. Akan ada 1237 acara; hal tersebut menunjukkan kemajuan.

   Get-WinEvent -ProviderName Microsoft-Windows-StorageReplica | FL
   

   Note

   Disk kluster tujuan akan selalu ditampilkan sebagai Online (Tanpa Akses) saat direplikasi.

Langkah 4: Mengelola replikasi

Sekarang Anda akan mengelola dan mengoperasikan replikasi kluster-ke-kluster Anda. Anda dapat melakukan semua langkah di bawah ini pada node kluster secara langsung atau dari komputer manajemen jarak jauh yang berisi Alat Administrasi Server Jarak Jauh Windows Server.

1. Use Get-ClusterGroup or Failover Cluster Manager to determine the current source and destination of replication and their status. Alat Administrasi dari Jarak Jauh untuk Server Windows

2. To measure replication performance, use the Get-Counter cmdlet on both the source and destination nodes. Nama penghitung adalah:

   • \Storage Replica Partition I/O Statistics(*)\Jumlah kali flush dijeda

   • \Storage Replica Partition I/O Statistics(*)\Jumlah I/O flush yang tertunda

   • \Storage Replica Partition I/O Statistics(*)\Jumlah permintaan penulisan log terakhir

   • \Storage Replica Partition I/O Statistics(*)\Rata-rata Panjang Antrian Flush

   • \Storage Replica Partition I/O Statistics(*)\Panjang Antrian Pembilasan Saat Ini

   • \Storage Replica Partition I/O Statistics(*)\Jumlah Permintaan Penulisan Aplikasi

   • \Storage Replica Partition I/O Statistics(*)\Rata-rata Jumlah permintaan per penulisan log

   • \Storage Replica Partition I/O Statistics(*)\Rata-rata Latensi Penulisan Aplikasi

   • \Storage Replica Partition I/O Statistics(*)\Rata-rata Latensi Baca Aplikasi

   • \Statistik Replikasi Penyimpanan(*)\RPO Target

   • \Statistik Replika Penyimpanan(*)\RPO Saat Ini

   • \Statistik Replika Penyimpanan(*)\Rata-rata. Panjang Antrean Log

   • \Statistik Replika Penyimpanan(*)\Panjang Antrian Log Saat Ini

   • \Statistik Replika Penyimpanan(*)\Total Byte yang Diterima

   • \Statistik Replika Penyimpanan(*)\Total Byte Terkirim

   • \Statistik Replika Penyimpanan(*)\Rata-rata Latensi Kirim Jaringan

   • \Statistik Replika Penyimpanan(*)\Status Replikasi

   • \Storage Replica Statistics(*)\Rata-rata Latensi Perjalanan Pulang Pergi Pesan

   • \Storage Replica Statistics(*)\Waktu Terakhir Pemulihan yang Berlalu

   • \Statistik Replika Penyimpanan(*)\Jumlah Transaksi Pemulihan Yang Disiram

   • \Statistik Replika Penyimpanan(*)\Jumlah Transaksi Pemulihan

   • \Statistik Replika Penyimpanan(*)\Jumlah Transaksi Replikasi yang Telah Dikeluarkan

   • \Statistik Replika Penyimpanan(*)\Jumlah Transaksi Replikasi

   • \Statistik Replika Penyimpanan(*)\Nomor Urutan Log Maksimum

   • \Statistik Replika Penyimpanan(*)\Jumlah Pesan yang Diterima

   • \Statistik Replika Penyimpanan(*)\Jumlah Pesan terkirim

   For more information on performance counters in Windows PowerShell, see Get-Counter.

3. To move the replication direction from one site, use the Set-SRPartnership cmdlet.

   Set-SRPartnership -NewSourceComputerName SR-SRVCLUSB -SourceRGName rg02 -DestinationComputerName SR-SRVCLUSA -DestinationRGName rg01
   

   Note

   Windows Server mencegah peralihan peran ketika sinkronisasi awal sedang berlangsung, karena dapat menyebabkan kehilangan data jika Anda mencoba beralih sebelum mengizinkan replikasi awal selesai. Jangan paksa beralih arah hingga sinkronisasi awal selesai.

   Periksa log peristiwa untuk melihat arah perubahan replikasi dan mode pemulihan terjadi, lalu rekonsiliasi. Tulis IO kemudian dapat menulis ke penyimpanan yang dimiliki oleh server sumber baru. Mengubah arah replikasi memblokir IO tulis di komputer sumber sebelumnya.

   Note

   Disk kluster tujuan akan selalu ditampilkan sebagai Online (Tanpa Akses) saat direplikasi.

4. To change the log size from the default 8GB, use Set-SRGroup on both the source and destination Storage Replica groups.

   Important

   Ukuran log default adalah 8GB. Depending on the results of the Test-SRTopology cmdlet, you may decide to use -LogSizeInBytes with a higher or lower value.

5. To remove replication, use Get-SRGroup, Get-SRPartnership, Remove-SRGroup, and Remove-SRPartnership on each cluster.

   Get-SRPartnership | Remove-SRPartnership
   Get-SRGroup | Remove-SRGroup
   

   Note

   Penyimpanan Replika memutuskan volume tujuan. Ini memang disengaja.

Additional References

• Gambaran Umum Replika Penyimpanan
• Replikasi Kluster Rentang Menggunakan Penyimpanan Bersama
• Replikasi Penyimpanan Server ke Server
• Replika Penyimpanan: Masalah yang Diketahui
• Replika Penyimpanan: Pertanyaan yang Sering Diajukan
• Ruang Penyimpanan Langsung