Apache Spark 및 Apache Hadoop(HDFS) 구성 속성
적용 대상: SQL Server 2019(15.x)
중요
Microsoft SQL Server 2019 빅 데이터 클러스터 추가 기능이 사용 중지됩니다. SQL Server 2019 빅 데이터 클러스터에 대한 지원은 2025년 2월 28일에 종료됩니다. Software Assurance를 사용하는 SQL Server 2019의 모든 기존 사용자는 플랫폼에서 완전히 지원되며, 소프트웨어는 해당 시간까지 SQL Server 누적 업데이트를 통해 계속 유지 관리됩니다. 자세한 내용은 공지 블로그 게시물 및 Microsoft SQL Server 플랫폼의 빅 데이터 옵션을 참조하세요.
빅 데이터 클러스터는 서비스 및 리소스 범위에서 Apache Spark 및 Hadoop 구성 요소의 배포 시간 및 배포 후 시간 구성을 지원합니다. 빅 데이터 클러스터는 대부분의 설정에 대해 해당하는 오픈 소스 프로젝트와 동일한 기본 구성 값을 사용합니다. 변경하는 설정은 설명 및 기본값과 함께 아래에 나열되어 있습니다. 게이트웨이 리소스 외에도 서비스 범위 및 리소스 범위에서 구성할 수 있는 설정 간에는 차이가 없습니다.
관련 Apache 설명서 사이트에서 각각에 대해 가능한 모든 구성 및 기본값을 찾아볼 수 있습니다.
- Apache Spark: https://spark.apache.org/docs/latest/configuration.html
- Apache Hadoop:
- Hive: https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties#ConfigurationProperties-MetaStore
- Livy: https://github.com/cloudera/livy/blob/master/conf/livy.conf.template
- Apache Knox 게이트웨이: https://knox.apache.org/books/knox-0-14-0/user-guide.html#Gateway+Details
구성을 지원하지 않는 설정도 아래에 명시되어 있습니다.
참고
스토리지 풀에 Spark를 포함하려면 spec.resources.storage-0.spec.settings.spark
에서 bdc.json
구성 파일에 includeSpark
부울 값을 설정합니다. 지침은 빅 데이터 클러스터에서 Apache Spark 및 Apache Hadoop 구성을 참조하세요.
빅 데이터 클러스터별 기본 Spark 설정
아래 Spark 설정에는 BDC별 기본값이 있지만 사용자가 구성할 수 있습니다. 시스템 관리 설정은 포함되지 않습니다.
설정 이름 | 설명 | 형식 | 기본값 |
---|---|---|---|
capacity-scheduler.yarn.scheduler.capacity.maximum-applications | 실행 중과 보류 중인 동시에 활성 상태일 수 있는 시스템의 최대 애플리케이션 수입니다. | int | 10000 |
capacity-scheduler.yarn.scheduler.capacity.resource-calculator | 스케줄러에서 리소스를 비교하는 데 사용하는 ResourceCalculator 구현입니다. | 문자열 | org.apache.hadoop.yarn.util.resource.DominantResourceCalculator |
capacity-scheduler.yarn.scheduler.capacity.root.queues | 큐가 root라고 미리 정의되어 있는 용량 스케줄러입니다. | 문자열 | default |
capacity-scheduler.yarn.scheduler.capacity.root.default.capacity | root 큐에 대해 리소스 큐 최소 용량의 절댓값으로 표시한 큐 용량의 백분율(%)입니다. | int | 100 |
spark-defaults-conf.spark.driver.cores | 클러스터 모드에서만 드라이버 프로세스에 사용할 수 있는 코어의 수입니다. | int | 1 |
spark-defaults-conf.spark.driver.memoryOverhead | 클러스터 모드로 드라이버마다 할당된 오프힙 메모리의 양입니다. | int | 384 |
spark-defaults-conf.spark.executor.instances | 정적 할당의 실행기 수입니다. | int | 1 |
spark-defaults-conf.spark.executor.cores | 각 실행기에 사용할 코어의 수입니다. | int | 1 |
spark-defaults-conf.spark.driver.memory | 드라이버 프로세스에 사용할 메모리의 크기입니다. | 문자열 | 1g |
spark-defaults-conf.spark.executor.memory | 실행기 프로세스당 사용할 메모리의 크기입니다. | 문자열 | 1g |
spark-defaults-conf.spark.executor.memoryOverhead | 실행기당 할당될 오프힙 메모리의 양입니다. | int | 384 |
yarn-site.yarn.nodemanager.resource.memory-mb | 컨테이너에 할당할 수 있는 실제 메모리의 양(MB)입니다. | int | 8192 |
yarn-site.yarn.scheduler.maximum-allocation-mb | 리소스 관리자의 모든 컨테이너 요청에 제공되는 최대 할당량입니다. | int | 8192 |
yarn-site.yarn.nodemanager.resource.cpu-vcores | 컨테이너에 할당할 수 있는 CPU 코어 수입니다. | int | 32 |
yarn-site.yarn.scheduler.maximum-allocation-vcores | 리소스 관리자의 모든 컨테이너 요청에 가상 CPU 코어로 제공되는 최대 할당량입니다. | int | 8 |
yarn-site.yarn.nodemanager.linux-container-executor.secure-mode.pool-user-count | 보안 모드인 Linux 컨테이너 실행기의 풀 사용자 수입니다. | int | 6 |
yarn-site.yarn.scheduler.capacity.maximum-am-resource-percent | 클러스터에서 애플리케이션 마스터를 실행하는 데 사용할 수 있는 리소스의 최대 비율입니다. | float | 0.1 |
yarn-site.yarn.nodemanager.container-executor.class | 특정 운영 체제에 대한 컨테이너 실행기입니다. | 문자열 | org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor |
capacity-scheduler.yarn.scheduler.capacity.root.default.user-limit-factor | 단일 사용자가 더 많은 리소스를 얻을 수 있도록 구성할 수 있는 큐 용량의 배수입니다. | int | 1 |
capacity-scheduler.yarn.scheduler.capacity.root.default.maximum-capacity | 부동 또는 리소스 큐 최대 용량의 절댓값으로 표시한 최대 큐 용량 비율(%)입니다. 이 값을 -1로 설정하면 최대 용량이 100%로 설정됩니다. | int | 100 |
capacity-scheduler.yarn.scheduler.capacity.root.default.state | 큐의 상태는 실행 중 또는 중지됨 중 하나일 수 있습니다. | 문자열 | RUNNING |
capacity-scheduler.yarn.scheduler.capacity.root.default.maximum-application-lifetime | 큐에 전송되는 애플리케이션의 최대 수명(초)입니다. 0보다 작거나 같은 값은 비활성화된 것으로 간주됩니다. | int | -1 |
capacity-scheduler.yarn.scheduler.capacity.root.default.default-application-lifetime | 큐에 전송되는 애플리케이션의 기본 수명(초)입니다. 0보다 작거나 같은 값은 비활성화된 것으로 간주됩니다. | int | -1 |
capacity-scheduler.yarn.scheduler.capacity.node-locality-delay | CapacityScheduler로 랙-로컬 컨테이너를 예약하려고 시도한 후 놓친 예약 기회의 수입니다. | int | 40 |
capacity-scheduler.yarn.scheduler.capacity.rack-locality-additional-delay | CapacityScheduler로 오프 스위치 컨테이너를 예약하려고 시도한 후 node-locality-delay에 대해 추가로 놓친 예약 기회의 수입니다. | int | -1 |
hadoop-env.HADOOP_HEAPSIZE_MAX | 모든 Hadoop JVM 프로세스의 기본 최대 힙 크기입니다. | int | 2048 |
yarn-env.YARN_RESOURCEMANAGER_HEAPSIZE | Yarn ResourceManager의 힙 크기입니다. | int | 2048 |
yarn-env.YARN_NODEMANAGER_HEAPSIZE | Yarn NodeManager의 힙 크기입니다. | int | 2048 |
mapred-env.HADOOP_JOB_HISTORYSERVER_HEAPSIZE | Hadoop Job HistoryServer의 힙 크기입니다. | int | 2048 |
hive-env.HADOOP_HEAPSIZE | Hive에 대한 Hadoop의 힙 크기입니다. | int | 2048 |
livy-conf.livy.server.session.timeout-check | Livy 서버 세션 제한 시간을 확인합니다. | bool | true |
livy-conf.livy.server.session.timeout-check.skip-busy | Livy 서버 세션 제한 시간에 대한 확인을 사용하지 않습니다. | bool | true |
livy-conf.livy.server.session.timeout | livy 서버 세션의 제한 시간(ms/s/m | min/h/d/y) | 문자열 | 2h |
livy-conf.livy.server.yarn.poll-interval | livy 서버의 yarn에 대한 폴링 간격(ms/s/m | min/h/d/y) | 문자열 | 500ms |
livy-conf.livy.rsc.jars | Livy RSC jar입니다. | 문자열 | local:/opt/livy/rsc-jars/livy-api.jar,local:/opt/livy/rsc-jars/livy-rsc.jar,local:/opt/livy/rsc-jars/netty-all.jar |
livy-conf.livy.repl.jars | Livy repl jar입니다. | 문자열 | local:/opt/livy/repl_2.11-jars/livy-core.jar,local:/opt/livy/repl_2.11-jars/livy-repl.jar,local:/opt/livy/repl_2.11-jars/commons-codec.jar |
livy-conf.livy.rsc.sparkr.package | Livy RSC SparkR 패키지입니다. | 문자열 | hdfs:///system/livy/sparkr.zip |
livy-env.LIVY_SERVER_JAVA_OPTS | Livy 서버 Java 옵션입니다. | 문자열 | -Xmx2g |
spark-defaults-conf.spark.r.backendConnectionTimeout | RBackend에 대한 연결에서 R 프로세스에 의해 설정된 연결 제한 시간(초)입니다. | int | 86400 |
spark-defaults-conf.spark.pyspark.python | Spark에 대한 Python 옵션입니다. | 문자열 | /opt/bin/python3 |
spark-defaults-conf.spark.yarn.jars | Yarn jar입니다. | 문자열 | local:/opt/spark/jars/* |
spark-history-server-conf.spark.history.fs.cleaner.maxAge | 파일 시스템 기록 클리너에 의해 삭제되기 전 작업 기록 파일의 최대 보존 기간(ms/s/m | min/h/d/y) | 문자열 | 7d |
spark-history-server-conf.spark.history.fs.cleaner.interval | Spark 기록에 대한 클리너의 간격(ms/s/m | min/h/d/y) | 문자열 | 12h |
hadoop-env.HADOOP_CLASSPATH | 추가 Hadoop 클래스 경로를 설정합니다. | 문자열 | |
spark-env.SPARK_DAEMON_MEMORY | Spark 디먼 메모리입니다. | 문자열 | 2g |
yarn-site.yarn.log-aggregation.retain-seconds | 로그 집계가 사용 설정된 경우 이 속성은 로그를 보존하는 시간(초)을 결정합니다. | int | 604800 |
yarn-site.yarn.nodemanager.log-aggregation.compression-type | Yarn NodeManager 로그 집계의 압축 유형입니다. | 문자열 | gz |
yarn-site.yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds | NodeManager 로그 집계의 롤링 모니터링에 대한 간격(초)입니다. | int | 3600 |
yarn-site.yarn.scheduler.minimum-allocation-mb | 리소스 관리자의 모든 컨테이너 요청에 제공되는 최소 할당량(MB)입니다. | int | 512 |
yarn-site.yarn.scheduler.minimum-allocation-vcores | 리소스 관리자의 모든 컨테이너 요청에 가상 CPU 코어로 제공되는 최소 할당량입니다. | int | 1 |
yarn-site.yarn.nm.liveness-monitor.expiry-interval-ms | 노드 관리자가 비활성으로 간주될 때까지 대기하는 시간입니다. | int | 180000 |
yarn-site.yarn.resourcemanager.zk-timeout-ms | 'ZooKeeper' 세션 제한 시간(ms)입니다. | int | 40,000 |
capacity-scheduler.yarn.scheduler.capacity.root.default.acl_application_max_priority | 우선 순위가 구성된 애플리케이션을 제출할 수 있는 사용자의 ACL입니다. 예를 들면 [user={name} group={name} max_priority={priority} default_priority={priority}]입니다. | 문자열 | * |
includeSpark | Spark 작업을 스토리지 풀에서 실행할 수 있는지 여부를 구성하는 부울입니다. | bool | true |
enableSparkOnK8s | K8s에서 Spark를 사용하도록 설정할지 여부를 구성하는 부울로, Spark 헤드에 K8s에 대한 컨테이너를 추가합니다. | bool | false |
sparkVersion | Spark 버전 | 문자열 | 2.4 |
spark-env.PYSPARK_ARCHIVES_PATH | Spark 작업에 사용되는 pyspark archive jar의 경로입니다. | 문자열 | local:/opt/spark/python/lib/pyspark.zip,local:/opt/spark/python/lib/py4j-0.10.7-src.zip |
다음 섹션에는 지원되지 않는 구성이 나열되어 있습니다.
빅 데이터 클러스터별 기본 HDFS 설정
아래 HDFS 설정에는 BDC별 기본값이 있지만 사용자가 구성할 수 있습니다. 시스템 관리 설정은 포함되지 않습니다.
설정 이름 | 설명 | 형식 | 기본값 |
---|---|---|---|
hdfs-site.dfs.replication | 기본 블록 복제본입니다. | int | 2 |
hdfs-site.dfs.namenode.provided.enabled | 제공된 스토리지를 처리할 수 있도록 이름 노드를 활성화합니다. | bool | true |
hdfs.site.dfs.namenode.mount.acls.enabled | 탑재 중 원격 저장소에서 ACL(액세스 제어 목록)을 상속하려면 true로 설정합니다. | bool | false |
hdfs-site.dfs.datanode.provided.enabled | 제공된 스토리지를 처리할 수 있도록 데이터 노드를 활성화합니다. | bool | true |
hdfs-site.dfs.datanode.provided.volume.lazy.load | 제공된 스토리지에 대한 데이터 노드의 지연 로드를 활성화합니다. | bool | true |
hdfs-site.dfs.provided.aliasmap.inmemory.enabled | 제공된 스토리지의 인메모리 별칭 맵을 활성화합니다. | bool | true |
hdfs-site.dfs.provided.aliasmap.class | 제공된 스토리지의 블록 입력 형식을 지정하는 데 사용하는 클래스입니다. | 문자열 | org.apache.hadoop.hdfs.server.common.blockaliasmap.impl.InMemoryLevelDBAliasMapClient |
hdfs-site.dfs.namenode.provided.aliasmap.class | namenode에 대해 제공된 스토리지의 블록 입력 형식을 지정하는 데 사용하는 클래스입니다. | 문자열 | org.apache.hadoop.hdfs.server.common.blockaliasmap.impl.NamenodeInMemoryAliasMapClient |
hdfs-site.dfs.provided.aliasmap.load.retries | 제공된 aliasmap을 로드하는 datanode의 재시도 횟수입니다. | int | 0 |
hdfs-site.dfs.provided.aliasmap.inmemory.batch-size | aliasmap을 지원하는 데이터베이스를 반복할 때의 일괄 처리 크기입니다. | int | 500 |
hdfs-site.dfs.datanode.provided.volume.readthrough | datanode에서 제공된 스토리지에 대해 읽기 처리량을 활성화합니다. | bool | true |
hdfs-site.dfs.provided.cache.capacity.mount | 제공된 스토리지에 대해 캐시 용량 탑재를 활성화합니다. | bool | true |
hdfs-site.dfs.provided.overreplication.factor | 제공된 스토리지에 대한 초과 복제 계수입니다. 원격 HDFS 블록당 생성된 BDC의 캐시 블록 수입니다. | float | 1 |
hdfs-site.dfs.provided.cache.capacity.fraction | 제공된 스토리지에 대한 캐시 용량 비율입니다. 제공된 저장소에서 데이터를 캐시하는 데 사용할 수 있는 클러스터의 총 용량 비율입니다. | float | 0.01 |
hdfs-site.dfs.provided.cache.capacity.bytes | 제공된 블록의 캐시 공간으로 사용할 클러스터 용량(바이트)입니다. | int | -1 |
hdfs-site.dfs.ls.limit | ls에 의해 인쇄되는 파일 수를 제한합니다. | int | 500 |
hdfs-env.HDFS_NAMENODE_OPTS | HDFS Namenode 옵션입니다. | 문자열 | -Dhadoop.security.logger=INFO,RFAS -Xmx2g |
hdfs-env.HDFS_DATANODE_OPTS | HDFS Datanode 옵션입니다. | 문자열 | -Dhadoop.security.logger=ERROR,RFAS -Xmx2g |
hdfs-env.HDFS_ZKFC_OPTS | HDFS ZKFC 옵션입니다. | 문자열 | -Xmx1g |
hdfs-env.HDFS_JOURNALNODE_OPTS | HDFS JournalNode 옵션입니다. | 문자열 | -Xmx2g |
hdfs-env.HDFS_AUDIT_LOGGER | HDFS 감사 로거 옵션입니다. | 문자열 | INFO,RFAAUDIT |
core-site.hadoop.security.group.mapping.ldap.search.group.hierarchy.levels | 핵심 사이트 Hadoop LDAP 검색 그룹의 계층 구조 수준입니다. | int | 10 |
core-site.fs.permissions.umask-mode | 권한 umask 모드입니다. | 문자열 | 077 |
core-site.hadoop.security.kms.client.failover.max.retries | 클라이언트 장애 조치(failover)의 최대 재시도 횟수입니다. | int | 20 |
zoo-cfg.tickTime | 'ZooKeeper' 구성의 틱 시간입니다. | int | 2000 |
zoo-cfg.initLimit | 'ZooKeeper' 구성의 Init 시간입니다. | int | 10 |
zoo-cfg.syncLimit | 'ZooKeeper' 구성의 동기화 시간입니다. | int | 5 |
zoo-cfg.maxClientCnxns | 'ZooKeeper' 구성의 최대 클라이언트 연결 수입니다. | int | 60 |
zoo-cfg.minSessionTimeout | 'ZooKeeper' 구성의 최소 세션 제한 시간입니다. | int | 4000 |
zoo-cfg.maxSessionTimeout | 'ZooKeeper' 구성의 최대 세션 제한 시간입니다. | int | 40,000 |
zoo-cfg.autopurge.snapRetainCount | Autopurge 'ZooKeeper' 구성의 끌기 보존 수입니다. | int | 3 |
zoo-cfg.autopurge.purgeInterval | 자동 제거 'ZooKeeper' 구성의 제거 간격입니다. | int | 0 |
zookeeper-java-env.JVMFLAGS | 'ZooKeeper'의 Java 환경에 대한 JVM 플래그입니다. | 문자열 | -Xmx1G -Xms1G |
zookeeper-log4j-properties.zookeeper.console.threshold | 'ZooKeeper' log4j 콘솔의 임계값입니다. | 문자열 | 정보 |
zoo-cfg.zookeeper.request.timeout | 'ZooKeeper' 요청 제한 시간(밀리초)을 제어합니다. | int | 40,000 |
kms-site.hadoop.security.kms.encrypted.key.cache.size | Hadoop kms의 암호화된 키에 대한 캐시 크기입니다. | int | 500 |
빅 데이터 클러스터별 기본 게이트웨이 설정
아래 게이트웨이 설정에는 BDC별 기본값이 있지만 사용자가 구성할 수 있습니다. 시스템 관리 설정은 포함되지 않습니다. 게이트웨이 설정은 리소스 범위에서만 구성할 수 있습니다.
설정 이름 | 설명 | 형식 | 기본값 |
---|---|---|---|
gateway-site.gateway.httpclient.socketTimeout | 게이트웨이의 HTTP 클라이언트에 대한 소켓 제한 시간(ms/s/m)입니다. | 문자열 | 90s |
gateway-site.sun.security.krb5.debug | Kerberos 보안의 디버그입니다. | bool | true |
knox-env.KNOX_GATEWAY_MEM_OPTS | Knox 게이트웨이 메모리 옵션입니다. | 문자열 | -Xmx2g |
지원되지 않는 Spark 구성
다음 spark
구성은 지원되지 않으며 빅 데이터 클러스터의 컨텍스트에서 변경할 수 없습니다.
Category | 하위 범주 | 파일 | 지원되지 않는 구성 |
---|---|---|---|
yarn-site | yarn-site.xml | yarn.log-aggregation-enable | |
yarn.log.server.url | |||
yarn.nodemanager.pmem-check-enabled | |||
yarn.nodemanager.vmem-check-enabled | |||
yarn.nodemanager.aux-services | |||
yarn.resourcemanager.address | |||
yarn.nodemanager.address | |||
yarn.client.failover-no-ha-proxy-provider | |||
yarn.client.failover-proxy-provider | |||
yarn.http.policy | |||
yarn.nodemanager.linux-container-executor.secure-mode.use-pool-user | |||
yarn.nodemanager.linux-container-executor.secure-mode.pool-user-prefix | |||
yarn.nodemanager.linux-container-executor.nonsecure-mode.local-user | |||
yarn.acl.enable | |||
yarn.admin.acl | |||
yarn.resourcemanager.hostname | |||
yarn.resourcemanager.principal | |||
yarn.resourcemanager.keytab | |||
yarn.resourcemanager.webapp.spnego-keytab-file | |||
yarn.resourcemanager.webapp.spnego-principal | |||
yarn.nodemanager.principal | |||
yarn.nodemanager.keytab | |||
yarn.nodemanager.webapp.spnego-keytab-file | |||
yarn.nodemanager.webapp.spnego-principal | |||
yarn.resourcemanager.ha.enabled | |||
yarn.resourcemanager.cluster-id | |||
yarn.resourcemanager.zk-address | |||
yarn.resourcemanager.ha.rm-ids | |||
yarn.resourcemanager.hostname.* | |||
capacity-scheduler | capacity-scheduler.xml | yarn.scheduler.capacity.root.acl_submit_applications | |
yarn.scheduler.capacity.root.acl_administer_queue | |||
yarn.scheduler.capacity.root.default.acl_application_max_priority | |||
yarn-env | yarn-env.sh | ||
spark-defaults-conf | spark-defaults.conf | spark.yarn.archive | |
spark.yarn.historyServer.address | |||
spark.eventLog.enabled | |||
spark.eventLog.dir | |||
spark.sql.warehouse.dir | |||
spark.sql.hive.metastore.version | |||
spark.sql.hive.metastore.jars | |||
spark.extraListeners | |||
spark.metrics.conf | |||
spark.ssl.enabled | |||
spark.authenticate | |||
spark.network.crypto.enabled | |||
spark.ssl.keyStore | |||
spark.ssl.keyStorePassword | |||
spark.ui.enabled | |||
spark-env | spark-env.sh | SPARK_NO_DAEMONIZE | |
SPARK_DIST_CLASSPATH | |||
spark-history-server-conf | spark-history-server.conf | spark.history.fs.logDirectory | |
spark.ui.proxyBase | |||
spark.history.fs.cleaner.enabled | |||
spark.ssl.enabled | |||
spark.authenticate | |||
spark.network.crypto.enabled | |||
spark.ssl.keyStore | |||
spark.ssl.keyStorePassword | |||
spark.history.kerberos.enabled | |||
spark.history.kerberos.principal | |||
spark.history.kerberos.keytab | |||
spark.ui.filters | |||
spark.acls.enable | |||
spark.history.ui.acls.enable | |||
spark.history.ui.admin.acls | |||
spark.history.ui.admin.acls.groups | |||
livy-conf | livy.conf | livy.keystore | |
livy.keystore.password | |||
livy.spark.master | |||
livy.spark.deploy-mode | |||
livy.rsc.jars | |||
livy.repl.jars | |||
livy.rsc.pyspark.archives | |||
livy.rsc.sparkr.package | |||
livy.repl.enable-hive-context | |||
livy.superusers | |||
livy.server.auth.type | |||
livy.server.launch.kerberos.keytab | |||
livy.server.launch.kerberos.principal | |||
livy.server.auth.kerberos.principal | |||
livy.server.auth.kerberos.keytab | |||
livy.impersonation.enabled | |||
livy.server.access-control.enabled | |||
livy.server.access-control.* | |||
livy-env | livy-env.sh | ||
hive-site | hive-site.xml | javax.jdo.option.ConnectionURL | |
javax.jdo.option.ConnectionDriverName | |||
javax.jdo.option.ConnectionUserName | |||
javax.jdo.option.ConnectionPassword | |||
hive.metastore.uris | |||
hive.metastore.pre.event.listeners | |||
hive.security.authorization.enabled | |||
hive.security.metastore.authenticator.manager | |||
hive.security.metastore.authorization.manager | |||
hive.metastore.use.SSL | |||
hive.metastore.keystore.path | |||
hive.metastore.keystore.password | |||
hive.metastore.truststore.path | |||
hive.metastore.truststore.password | |||
hive.metastore.kerberos.keytab.file | |||
hive.metastore.kerberos.principal | |||
hive.metastore.sasl.enabled | |||
hive.metastore.execute.setugi | |||
hive.cluster.delegation.token.store.class | |||
hive-env | hive-env.sh |
지원되지 않는 HDFS 구성
다음 hdfs
구성은 지원되지 않으며 빅 데이터 클러스터의 컨텍스트에서 변경할 수 없습니다.
Category | 하위 범주 | 파일 | 지원되지 않는 구성 |
---|---|---|---|
core-site | core-site.xml | fs.defaultFS | |
ha.zookeeper.quorum | |||
hadoop.tmp.dir | |||
hadoop.rpc.protection | |||
hadoop.security.auth_to_local | |||
hadoop.security.authentication | |||
hadoop.security.authorization | |||
hadoop.http.authentication.simple.anonymous.allowed | |||
hadoop.http.authentication.type | |||
hadoop.http.authentication.kerberos.principal | |||
hadoop.http.authentication.kerberos.keytab | |||
hadoop.http.filter.initializers | |||
hadoop.security.group.mapping.* | |||
hadoop.security.key.provider.path | |||
mapred-env | mapred-env.sh | ||
hdfs-site | hdfs-site.xml | dfs.namenode.name.dir | |
dfs.datanode.data.dir | |||
dfs.namenode.acls.enabled | |||
dfs.namenode.datanode.registration.ip-hostname-check | |||
dfs.client.retry.policy.enabled | |||
dfs.permissions.enabled | |||
dfs.nameservices | |||
dfs.ha.namenodes.nmnode-0 | |||
dfs.namenode.rpc-address.nmnode-0.* | |||
dfs.namenode.shared.edits.dir | |||
dfs.ha.automatic-failover.enabled | |||
dfs.ha.fencing.methods | |||
dfs.journalnode.edits.dir | |||
dfs.client.failover.proxy.provider.nmnode-0 | |||
dfs.namenode.http-address | |||
dfs.namenode.httpS-address | |||
dfs.http.policy | |||
dfs.encrypt.data.transfer | |||
dfs.block.access.token.enable | |||
dfs.data.transfer.protection | |||
dfs.encrypt.data.transfer.cipher.suites | |||
dfs.https.port | |||
dfs.namenode.keytab.file | |||
dfs.namenode.kerberos.principal | |||
dfs.namenode.kerberos.internal.spnego.principal | |||
dfs.datanode.data.dir.perm | |||
dfs.datanode.address | |||
dfs.datanode.http.address | |||
dfs.datanode.ipc.address | |||
dfs.datanode.https.address | |||
dfs.datanode.keytab.file | |||
dfs.datanode.kerberos.principal | |||
dfs.journalnode.keytab.file | |||
dfs.journalnode.kerberos.principal | |||
dfs.journalnode.kerberos.internal.spnego.principal | |||
dfs.web.authentication.kerberos.keytab | |||
dfs.web.authentication.kerberos.principal | |||
dfs.webhdfs.enabled | |||
dfs.permissions.superusergroup | |||
hdfs-env | hdfs-env.sh | HADOOP_HEAPSIZE_MAX | |
zoo-cfg | zoo.cfg | secureClientPort | |
clientPort | |||
dataDir | |||
dataLogDir | |||
4lw.commands.whitelist | |||
zookeeper-java-env | java.env | ZK_LOG_DIR | |
SERVER_JVMFLAGS | |||
zookeeper-log4j-properties | log4j.properties (zookeeper) | log4j.rootLogger | |
log4j.appender.CONSOLE.* |
참고
이 문서에는 Microsoft가 이 컨텍스트에서 구분하지 않는 것으로 간주하는 용어인 '허용 목록'이라는 용어가 포함되어 있습니다. 이 용어가 이 문서에 나타나는 이유는 현재 소프트웨어에 나타나기 때문입니다. 소프트웨어에서 이 용어가 제거되면 문서에서 제거할 것입니다.
지원되지 않는 gateway
구성
다음 gateway
구성은 지원되지 않으며 빅 데이터 클러스터의 컨텍스트에서 변경할 수 없습니다.
Category | 하위 범주 | 파일 | 지원되지 않는 구성 |
---|---|---|---|
gateway-site | gateway-site.xml | gateway.port | |
gateway.path | |||
gateway.gateway.conf.dir | |||
gateway.hadoop.kerberos.secured | |||
java.security.krb5.conf | |||
java.security.auth.login.config | |||
gateway.websocket.feature.enabled | |||
gateway.scope.cookies.feature.enabled | |||
ssl.exclude.protocols | |||
ssl.include.ciphers |