Hadoop2.7.7 API: core-site.xml 解析

最新推荐文章于 2023-07-23 08:28:43 发布
最新推荐文章于 2023-07-23 08:28:43 发布
阅读量3k 收藏 8
点赞数 1
分类专栏： Hadoop官方API 工具 API 速查
原文链接：https://hadoop.apache.org/docs/r2.7.7/hadoop-project-dist/hadoop-common/core-default.xml
版权
namedescriptionvalue备注
hadoop.common.configuration.version配置文件版本0.23.0　
hadoop.tmp.dir其它临时目录的父目录，会被其它临时目录用到。/tmp/hadoop-${user.name}　
io.native.lib.available是否使用本地库进行bz2和zlib的文件压缩及编解码。TRUE　
hadoop.http.filter.initializers一个逗号分隔的类名列表，他们必须继承于org.apache.hadoop.http.FilterInitializer，相应的过滤器被初始化后，将应用于所有的JSP和Servlet网页。列表的排序即为过滤器的排序。 org.apache.hadoop.http.lib.StaticUserWebFilter　
hadoop.security.authorization是否启用service级别的授权。FALSE　
hadoop.security.instrumentation.requires.admin访问servlets (JMX, METRICS, CONF, STACKS)是否需要管理员ACL(访问控制列表)的授权。FALSE　
hadoop.security.authentication安全认证: simple(默认: 不做控制)和kerberos，simplesimple
hadoop.security.group.mapping用于ACL用户组映射的类，默认的实现类是 org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback，定义了JNI是否可用，如果可用，将使用hadoop中的API来实现访问用户组解析，如果不可用，将使用ShellBasedUnixGroupsMapping来实现。org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback　
hadoop.security.groups.cache.secs配置用户组映射缓存时间的，当过期时重新获取并缓存。300　
hadoop.security.groups.negative-cache.secs当无效用户频繁访问，用于设置缓存锁定时间。建议设置为较小的值，也可以通过设置为0或负数来禁用此属性。30　
hadoop.security.groups.cache.warn.after.ms当查询用户组时间超过设置的这个阈值时，则作为警告信息进行记录。5000　
hadoop.security.groups.cache.background.reload是否使用后台线程池重新加载过期的用户组映射。FALSE　
hadoop.security.groups.cache.background.reload.threads接上一个属性，当上个属性为true时，通过此属性控制后台线程的数量。3　
hadoop.security.group.mapping.ldap.connection.timeout.ms设置LDAP的连接超时时间，如果为0或负数，表示无限等待。60000　
hadoop.security.group.mapping.ldap.read.timeout.ms设置LDAP的读取超时时间，如果为0或负数，表示无限等待。60000　
hadoop.security.group.mapping.ldap.urlLDAP服务器的地址。　　
hadoop.security.group.mapping.ldap.ssl是否使用SSL连接LDAP服务器。FALSE　
hadoop.security.group.mapping.ldap.ssl.keystore包含SSL证书的SSL密钥文件的存储路径。　　
hadoop.security.group.mapping.ldap.ssl.keystore.password.file包括SSL密钥文件访问密码的文件路径.
（注意：此文件只能由运行守护进程的unix用户读取，并且应该是本地文件）		　　
hadoop.security.group.mapping.ldap.ssl.truststoreFile path to the SSL truststore that contains the root certificate used to sign the LDAP server's certificate. Specify this if the LDAP server's certificate is not signed by a well known certificate authority.　　
hadoop.security.group.mapping.ldap.ssl.truststore.password.fileThe path to a file containing the password of the LDAP SSL truststore. IMPORTANT: This file should be readable only by the Unix user running the daemons.　　
hadoop.security.group.mapping.ldap.bind.userThe di连接到LDAP服务器时的用户别名，如果LDAP服务器支持匿名绑定，则此属性可以为空值。　　
hadoop.security.group.mapping.ldap.bind.password.file包含绑定用户密码的文件的路径。如果在证书提供程序中没有配置密码，并且属性hadoop.security.group.mapping.ldap.bind.password没有设置，则从文件读取密码。注意：此文件只能由运行守护进程的UNIX用户读取，并且应该是本地文件。　　
hadoop.security.group.mapping.ldap.baseLDAP连接时搜索的根目录。　　
hadoop.security.group.mapping.ldap.search.filter.user搜索LDAP用户时提供的额外的筛选器。(&(objectClass=user)(sAMAccountName={0}))　
hadoop.security.group.mapping.ldap.search.filter.group搜索LDAP用户组时提供的额外的筛选器。(objectClass=group)　
hadoop.security.group.mapping.ldap.search.attr.member用户组对象的属性，用于标识其有哪些组成员。member　
hadoop.security.group.mapping.ldap.search.attr.group.name用户组对象的属性，用于标识用户组的名称。cn　
hadoop.security.group.mapping.ldap.posix.attr.uid.name posixAccount的属性，用于成员分组uidNumber　
hadoop.security.group.mapping.ldap.posix.attr.gid.nameposixAccount的属性，用户标识组ID。gidNumber　
hadoop.security.group.mapping.ldap.directory.search.timeout LDAP SearchControl的属性，用于在搜索和等待结果时设置最大时间限制。如果需要无限等待时间，设置为0。默认值为10秒。单位为毫秒。10000　
hadoop.security.service.user.name.key此属性用于指定RPC调用的服务主名称，适用于相同的RPC协议由多个服务器实现的情况。　　
hadoop.security.uid.cache.secs控制缓存的过期时间。14400　
hadoop.rpc.protectionA comma-separated list of protection values for secured sasl connections. Possible values are authentication, integrity and privacy. authentication means authentication only and no integrity or privacy; integrity implies authentication and integrity are enabled; and privacy implies all of authentication, integrity and privacy are enabled. hadoop.security.saslproperties.resolver.class can be used to override the hadoop.rpc.protection for a connection at the server side.authentication　
hadoop.security.saslproperties.resolver.class用于连接时解决QOP的SaslPropertiesResolver。　　
hadoop.work.around.non.threadsafe.getpwuid一些系统已知在调用getpwuid_r和getpwgid_r有问题，这些调用是非线程安全的。这个问题的主要表现特征是JVM崩溃。如果你的系统有这些问题，开启这个选项。默认是关闭的。FALSE　
hadoop.kerberos.kinit.command用于Kerberos证书的定时更新。kinit　
hadoop.security.auth_to_local将Kerberos主体映射到本地用户名。　DEFAULT
io.file.buffer.size在序列文件中使用的缓冲区大小。这个缓冲区的大小应该是页大小（英特尔x86上为4096）的倍数，它决定读写操作中缓冲了多少数据。4096131072  (128k)
io.bytes.per.checksum每个检验和的字节数，不能大于 io.file.buffer.size属性的值。512　
io.skip.checksum.errors如果为true，当读取序列文件时遇到校验和错误，则跳过条目，而不是抛出异常。FALSE　
io.compression.codecs一组可用于压缩/解压缩的表列表，使用逗号进行分隔。　org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.SnappyCodec
io.compression.codec.bzip2.library用于bzip2编解码的本地代码库，可以通过名称或全路径来指定该库。system-native　
io.serializations可用于获取序列化和反序列化的序列化类的列表。org.apache.hadoop.io.serializer.WritableSerialization,
org.apache.hadoop.io.serializer.avro.AvroSpecificSerialization,
org.apache.hadoop.io.serializer.avro.AvroReflectSerialization		org.apache.hadoop.io.serializer.WritableSerialization
io.seqfile.local.dir存储中间数据文件的本地目录。${hadoop.tmp.dir}/io/local　
io.map.index.skip跳过索引的数量。0　
io.map.index.intervalMapFile由两部分组成：数据文件和索引文件。在每个设置的时间间隔后，会根据写入的数据文件内容，创建索引对应的索引文件内容。128　
fs.defaultFS默认文件系统的名称。通常指定namenode的URI地址，包括主机和端口。file:///　
fs.default.name不建议使用此属性，建议用fs.defaultFS属性代替。file:///　
fs.trash.interval检查点被删除的时间间隔，单位为分钟。此属性可以在服务器和客户端上配置。如果服务器上被禁用，则检查客户端配置，如果服务器上被启用，则忽略客户端配置。0360
fs.trash.checkpoint.interval检查点之间的时间间隔，此属性的值应该小于fs.trash.interval属性的值。每次检查指针运行时，它都会创建一个新的检查点，并移除在几分钟前创建的检查点。0　
fs.AbstractFileSystem.file.implfile的抽象文件类。org.apache.hadoop.fs.local.LocalFs　
fs.AbstractFileSystem.har.implhar的抽象文件类。org.apache.hadoop.fs.HarFs　
fs.AbstractFileSystem.hdfs.implhdfs的抽象文件类。org.apache.hadoop.fs.Hdfs　
fs.AbstractFileSystem.viewfs.implviewfs的抽象文件类。org.apache.hadoop.fs.viewfs.ViewFs　
fs.AbstractFileSystem.ftp.implftp的抽象文件类。org.apache.hadoop.fs.ftp.FtpFs　
fs.ftp.hostftp的连接服务器。0.0.0.0　
fs.ftp.host.portftp的连接服务器端口。21　
fs.df.interval磁盘使用统计情况的刷新时间间隔。60000　
fs.du.interval文件空间使用统计情况的刷新时间间隔。600000　
fs.s3.block.sizeS3使用的块大小。67108864　
fs.s3.buffer.dir该目录用于发送S3前的临时本地目录。${hadoop.tmp.dir}/s3　
fs.s3.maxRetries在向应用程序发出故障之前，读取或写入文件到S3的最大重试次数。4　
fs.s3.sleepTimeSeconds在每次S3重试之间的睡眠时间间隔。10　
fs.swift.implOpenStack Swift Filesystem的实现类。org.apache.hadoop.fs.swift.snative.SwiftNativeFileSystem　
fs.automatic.close当为true时，FileSystem的实例会在程序退出时关闭，为false时，不自动退出。TRUE　
fs.s3n.block.sizeS3本地文件系统使用的块大小。67108864　
fs.s3n.multipart.uploads.enabled为true时，允许多个上传到本地S3。当上传一个的大小超过fs.s3n.multipart.uploads.block.size属性的大小，则将其分割成块。FALSE　
fs.s3n.multipart.uploads.block.size多上传到本地S3时的块大小，默认大小为64MB。67108864　
fs.s3n.multipart.copy.block.size多拷贝时的块大小，默认大小为5GB。5368709120　
fs.s3n.server-side-encryption-algorithm为S3指定服务器端加密算法。默认情况下未设置，而当前唯一允许的值是AES256。　　
fs.s3a.awsAccessKeyIdS3A文件系统使用的AWS访问密钥ID。　　
fs.s3a.awsSecretAccessKeyS3A文件系统使用的AWS密钥。　　
fs.s3a.connection.maximumS3A的最大连接数.15　
fs.s3a.connection.ssl.enabled是否启用SSL连接到S3A。TRUE　
fs.s3a.endpointAWS S3 连接终端。　　
fs.s3a.proxy.hostS3A连接代理的主机名。　　
fs.s3a.proxy.portS3A连接代理的端口，如果未设置，默认为80或443。　　
fs.s3a.proxy.usernameS3A连接代理的用户名。　　
fs.s3a.proxy.passwordS3A连接代理的密码。　　
fs.s3a.proxy.domainS3A连接代理的域。　　
fs.s3a.proxy.workstationS3A连接代理的工作站。　　
fs.s3a.attempts.maximum当出现错误时的最大重试次数。10　
fs.s3a.connection.establish.timeoutSocket连接建立超时时间，单位为毫秒。5000　
fs.s3a.connection.timeoutSocket连接保持时间，单位为毫秒。50000　
fs.s3a.paging.maximum在读取目录列表时，从S3A同时请求的密钥最大数量。5000　
fs.s3a.threads.max文件请求的最大并发线程数。256　
fs.s3a.threads.coreNumber of core threads in the threadpool.15　
fs.s3a.threads.keepalivetime线程空间多长时间后，即终止。单位为秒。60　
fs.s3a.max.total.tasks可以并发执行的操作数。1000　
fs.s3a.multipart.sizeupload或copy操作，当文件超过多大时，即拆分。单位可以为K/M/G/T/P。104857600ambari: 67108864 (64M)
fs.s3a.multipart.thresholdupload或copy或rename操作，当文件超过多大时，即拆分。单位可以为K/M/G/T/P，不写表示字节。2147483647　
fs.s3a.acl.default选项有Private、PublicRead,、PublicReadWrite、 AuthenticatedRead、LogDeliveryWrite、 BucketOwnerRead、 or BucketOwnerFullControl。　　
fs.s3a.multipart.purge当为true时，清除多文件上传失败时的文件。FALSE　
fs.s3a.multipart.purge.age清理多文件上传的最小秒数。86400　
fs.s3a.buffer.dir用于缓冲上传文件的目录。${hadoop.tmp.dir}/s3a　
fs.s3a.fast.upload是否启用基于增量块的快速上传机制。FALSEambari : true
fs.s3a.fast.upload.buffer选项可以为disk/array/bytebuffer。　ambari: disk
fs.s3a.fast.buffer.sizeSize of initial memory buffer in bytes allocated for an upload. No effect if fs.s3a.fast.upload is false.1048576　
fs.s3a.implS3A文件系统的实现类 。org.apache.hadoop.fs.s3a.S3AFileSystem　
io.seqfile.compress.blocksize块压缩序列文件中压缩的最小块大小。1000000　
io.seqfile.lazydecompressShould values of block-compressed SequenceFiles be decompressed only when necessary.TRUE　
io.seqfile.sorter.recordlimitThe limit on number of records to be kept in memory in a spill in SequenceFiles.Sorter1000000　
io.mapfile.bloom.sizeBloomMapFile中的bloom过滤器大小。1048576　
io.mapfile.bloom.error.rateBloomMapFile中的bloom过滤器的假负率，默认是0.5%。0.005　
hadoop.util.hash.typeHash的默认实现，有两个选项murmur和jenkins。murmur　
ipc.client.idlethreshold定义连接的阈值数量，之后将检查连接是否空闲。40008000
ipc.client.kill.max定义一次断开的客户端的最大数量。10　
ipc.client.connection.maxidletime空间连接断开时间，单位为毫秒。1000030000
ipc.client.connect.max.retries客户端重新建立服务器连接的重试次数。1050
ipc.client.connect.retry.interval两次重新建立连接之间的时间间隔，单位为毫秒。1000　
ipc.client.connect.timeout客户端通过socket连接到服务器的超时时间。20000　
ipc.client.connect.max.retries.on.timeouts客户端通过socket重新连接到服务器的重试次数。45　
ipc.client.ping当为true时，如果读取响应超时，则向服务器发送ping命令。TRUE　
ipc.ping.interval等待服务器响应的超时时间，单位为毫秒。当ipc.client.ping属性为true时，客户端将在不接收字节的情况下发送Ping命令。60000　
ipc.client.rpc-timeout.ms等待服务器响应的超时时间，单位为毫秒。当ipc.client.ping属性为true，并且这个属性的时间比 ipc.ping.interval属性的值大时，这个属性的时间将被修改为 ipc.ping.interval的最大倍数。0　
ipc.server.tcpnodelayfalse打开/关闭服务器上TCP套接字连接的Nagle算法。 设置为true会禁用算法，并可能会减少延迟，但需要使用更多/更小的数据包。FALSEtrue
ipc.server.listen.queue.size接受客户端连接的服务器的侦听队列的长度。128　
ipc.maximum.data.length服务器可以接受的最大IPC消息长度（字节）。67108864　
ipc.server.log.slow.rpc此设置有助于排除各种服务的性能问题。如果这个值设置为true，将被记录请求。FALSE　
hadoop.security.impersonation.provider.classImpersonationProvider接口的实现类，用于授权一个用户是否可以模拟特定用户。如果未指定，则使用DefaultImpersonationProvider实现。　　
hadoop.rpc.socket.factory.class.default默认使用SocketFactory，参数格式为package.FactoryClassName。org.apache.hadoop.net.StandardSocketFactory　
hadoop.rpc.socket.factory.class.ClientProtocol连接到DFS的SocketFactory，如果为空，则使用 hadoop.rpc.socket.class.default属性的值。　　
hadoop.socks.serverSocksSocketFactory使用的SOCKS服务器的地址（主机：端口）。　　
net.topology.node.switch.mapping.implDNSToSwitchMapping的默认实现，其调用net.topology.script.file.name属性的值来解析节点名称。org.apache.hadoop.net.ScriptBasedMapping　
net.topology.implNetworkTopology的默认实现，它是典型的三层拓扑结构。org.apache.hadoop.net.NetworkTopology　
net.topology.script.file.name该脚本被用于解析DNS的名称，例如，脚本将接收host.foo.bar，然后返回 /rack1。　　
net.topology.script.number.argsnet.topology.script.file.name属性中参数的最大数量。100　
net.topology.table.file.name当net.topology.node.switch.mapping.impl属性的值为 org.apache.hadoop.net.TableMapping时适用，表示一个拓扑文件。该文件格式是两列文本，列由空白分隔。第一列是DNS或IP地址，第二列指定地址映射的机架。如果没有找到对应于集群中的主机的条目，则假设默认机架。　　
file.stream-buffer-size流文件的缓冲区大小，这个大小应该是页大小的位数（X86为4096）。4096　
file.bytes-per-checksum每个校验和的字节数。512　
file.client-write-packet-size客户机写入的数据包大小。65536　
file.blocksize块大小。67108864　
file.replication复制因子。1　
s3.stream-buffer-size流文件的缓冲区大小，这个大小应该是页大小的位数（X86为4096）。4096　
s3.bytes-per-checksum每个校验和的字节数，该数值不能大于 s3.stream-buffer-size属性的值。512　
s3.client-write-packet-size客户机写入的数据包大小。65536　
s3.blocksize块大小。67108864　
s3.replication复制因子。3　
s3native.stream-buffer-size流文件的缓冲区大小，这个大小应该是页大小的位数（X86为4096）。4096　
s3native.bytes-per-checksum每个校验和的字节数，该数值不能大于 s3native.stream-buffer-size属性的值。512　
s3native.client-write-packet-size客户机写入的数据包大小。65536　
s3native.blocksize块大小。67108864　
s3native.replication复制因子。3　
ftp.stream-buffer-size流文件的缓冲区大小，这个大小应该是页大小的位数（X86为4096）。4096　
ftp.bytes-per-checksum每个校验和的字节数，该数值不能大于ftp.stream-buffer-size属性的值。512　
ftp.client-write-packet-size客户机写入的数据包大小。65536　
ftp.blocksize块大小。67108864　
ftp.replication复制因子。3　
tfile.io.chunk.sizechunk大小，单位为字节，默认为1MB。1048576　
tfile.fs.output.buffer.sizeFSDataOutputStream中使用的缓冲区大小。262144　
tfile.fs.input.buffer.sizeFSDataInputStream使用的缓冲区大小。262144　
hadoop.http.authentication.type定义了Oozie HTTP终端的认证方式，支持simple和kerberos。simple　
hadoop.http.authentication.token.validity验证令牌的有效时长，单位为秒。36000　
hadoop.http.authentication.signature.secret.file签署认证令牌的签名秘密。同样的秘密应该用于JT/NN/DN/TT配置。${user.home}/hadoop-http-auth-signature-secret　
hadoop.http.authentication.cookie.domain用于存储身份验证令牌的HTTP Cookie域。为了授权在所有Hadoop节点Web控制台上正确工作，必须正确设置域。重要事项：当使用IP地址时，浏览器忽略具有域设置的Cookie。为了使该设置正常工作，集群中的所有节点必须配置为具有主机名的URL。　　
hadoop.http.authentication.simple.anonymous.allowed当使用'simple'认证时，是否允许匿名请求。TRUE　
hadoop.http.authentication.kerberos.principalHTTP终端中使用的Kerberos principal，该principal必须以 'HTTP/'开头。HTTP/_HOST@LOCALHOST　
hadoop.http.authentication.kerberos.keytabkeytab文件的位置。${user.home}/hadoop.keytab　
hadoop.http.cross-origin.enabled是否启用cross-origin (CORS)过滤器。FALSE　
hadoop.http.cross-origin.allowed-origins需要cross-origin (CORS)支持的web服务的来源列表，用逗号分隔。*　
hadoop.http.cross-origin.allowed-methods需要cross-origin (CORS)支持的方法列表，用逗号分隔。GET,POST,HEAD　
hadoop.http.cross-origin.allowed-headers需要cross-origin (CORS)支持的web服务的的头部，用逗号分隔。X-Requested-With,Content-Type,Accept,Origin　
hadoop.http.cross-origin.max-age需要cross-origin (CORS)支持的web服务缓存支持秒数。1800　
dfs.ha.fencing.methodsfencing方法列表。　　
dfs.ha.fencing.ssh.connect-timeoutSSH连接超时时长，单位为毫秒。30000　
dfs.ha.fencing.ssh.private-key-filesSSH私钥文件。　　
hadoop.http.staticuser.user呈现内容时在静态Web筛选器上进行过滤的用户名，比如在HDFS web UI中的过滤。dr.who　
ha.zookeeper.quorumZooKeeper服务器地址列表，用逗号分隔，可以被ZKFailoverController用于自动故障转移。　　
ha.zookeeper.session-timeout.msZKFC连接到ZooKeeper的超时时长，将该值设置为较低的值意味着服务器崩溃将被更快地检测到，但在瞬态错误或网络错误的情况下，就会使故障转移过于激进。5000　
ha.zookeeper.parent-znodeZKFC下的存储信息的znode。/hadoop-ha　
ha.zookeeper.aclznode使用的ZooKeeper ACL列表，用逗号分隔。格式同ZooKeeper CLI。如果ACL本身包含秘密，那么您可以指定一个文件的路径，用“@”符号前缀，并且该配置的值将从内部加载。world:anyone:rwcda　
ha.zookeeper.auth连接到ZooKeeper时，将该列表加入到认证列表，此列表用逗号分隔。　　
hadoop.ssl.keystores.factory.class用于检索证书的密钥存储工厂。org.apache.hadoop.security.ssl.FileBasedKeyStoresFactory　
hadoop.ssl.require.client.cert是否需要客户端证书。FALSE　
hadoop.ssl.hostname.verifier提供HttpsURL连接主机名验证器。有以下选项：DEFAULT， STRICT， STRICT_IE6， DEFAULT_AND_LOCALHOST 和 ALLOW_ALL。DEFAULT　
hadoop.ssl.server.conf提取SSL服务器密钥存储信息的资源文件，这个文件通过在classpath中查询。默认为hadoop下的conf/ 目录。ssl-server.xml　
hadoop.ssl.client.conf提取SSL客户端密钥存储信息的资源文件，这个文件通过在classpath中查询。默认为hadoop下的conf/ 目录。ssl-client.xml　
hadoop.ssl.enabled不建议使用，建议用dfs.http.policy and yarn.http.policy代替。FALSE　
hadoop.ssl.enabled.protocols支持的SSL协议列表。The supported SSL protocols.TLSv1　
hadoop.jetty.logs.serve.aliases对于jetty的服务是否启用别名。TRUE　
fs.permissions.umask-mode创建文件或目录时的umask。例如"022" (符号表示就是 u=rwx,g=r-x,o=r-x )，或者 "u=rwx,g=rwx,o=" (用八进制表示就是007)。22　
ha.health-monitor.connect-retry-interval.ms重试连接到服务的频率。1000　
ha.health-monitor.check-interval.ms多久检查一次服务1000　
ha.health-monitor.sleep-after-disconnect.ms在异常RPC错误之后，休眠多长时间。1000　
ha.health-monitor.rpc-timeout.ms实际 monitorHealth() 调用超时时间。45000　
ha.failover-controller.new-active.rpc-timeout.msFC等待新任务的超时时间，在设置时间内有新任务，即重新进入激活状态。60000　
ha.failover-controller.graceful-fence.rpc-timeout.msFC等待旧任务的超时时间，然后进入待机。5000　
ha.failover-controller.graceful-fence.connection.retriesgraceful fencing中FC连接的重试次数。1　
ha.failover-controller.cli-check.rpc-timeout.msCLI (manual) FC等待monitorHealth, getServiceState的超时时间。20000　
ipc.client.fallback-to-simple-auth-allowed当客户端被配置为尝试安全连接，但尝试连接到不安全的服务器时，该服务器可以指示客户端切换到SASL SIMPLE（非安全）认证。此设置控制客户端是否将接受来自服务器的此指令。当FALSE（默认）时，客户端将不允许退回到简单的身份验证，并将中止连接。 FALSE　
fs.client.resolve.remote.symlinks在访问远程Hadoop文件系统时，是否解析符号连接。当为false时，如果遇到符号连接，则触发异常。此设置对于本地文件系统不适用，对于本地文件系统，会自动解析符号连接。TRUE　
nfs.exports.allowed.hosts默认情况下，所有客户端都可以导出。该属性的值包含机构号和访问权限，由空格分隔。机器名称的格式可以是一个单一的主机，一个java正则表达式，或一个IPv4地址。访问特权使用RW或RO来指定机器的读/写权限。如果未提供访问特权，则默认为只读。条目由“；”分隔。例如：“192.1680.0/22RW；主机。*.Stase\.com；Hoo1.Test.Org Ro；”。只有更新了NFS网关之后，才能重新启动该属性。* rw　
hadoop.user.group.static.mapping.overrides用户到组的静态映射。如果指定的用户在系统中可用，则这将覆盖组。换句话说，这些用户不会出现组查找，而是使用在这个配置中映射的组。映射应采用这种格式。USER1＝GROMP1，GROP2；USER2=；USER3= GROP2；默认“DR.WH=”将考虑“D.WHO”作为没有组的用户。dr.who=;　
rpc.metrics.quantile.enable当为true，并且rpc.metrics.percentiles.intervals属性为一组逗号分隔的度量时，将在百分位50/75/90/95/99时，加入rpc metrics。FALSE　
rpc.metrics.percentiles.intervals接上一属性，和rpc.metrics.quantile.enable配合使用。　　
hadoop.security.crypto.codec.classes.EXAMPLECIPHERSUITE对于给定的加密编解码器的前缀，包含一个逗号分隔的给定密码编解码器（例如EXAMPLECIPHERSUITE）的实现类。如果可用的话，第一个实现将被使用，其他的则是回退。　　
hadoop.security.crypto.codec.classes.aes.ctr.nopaddingAES/CTR/NopAudio的加密编解码器实现类，用逗号分隔。如果可用的话，第一个实现将被使用，其他的则是回退。org.apache.hadoop.crypto.OpensslAesCtrCryptoCodec,org.apache.hadoop.crypto.JceAesCtrCryptoCodec　
hadoop.security.crypto.cipher.suite用于加密编解码器的密码套件。AES/CTR/NoPadding　
hadoop.security.crypto.jce.providerCryptoCodec中使用的JCE提供程序名称。　　
hadoop.security.crypto.jceks.key.serialfilterEnhanced KeyStore Mechanisms in JDK 8u171 introduced jceks.key.serialFilter. If jceks.key.serialFilter is configured, the JCEKS KeyStore uses it during the deserialization of the encrypted Key object stored inside a SecretKeyEntry. If jceks.key.serialFilter is not configured it will cause an error when recovering keystore file in KeyProviderFactory when recovering key from keystore file using JDK 8u171 or newer. The filter pattern uses the same format as jdk.serialFilter. The value of this property will be used as the following: 1. The value of jceks.key.serialFilter system property takes precedence over the value of this property. 2. In the absence of jceks.key.serialFilter system property the value of this property will be set as the value of jceks.key.serialFilter. 3. If the value of this property and jceks.key.serialFilter system property has not been set, org.apache.hadoop.crypto.key.KeyProvider sets a default value for jceks.key.serialFilter.　　
hadoop.security.crypto.buffer.sizeCryptoInputStream和CryptoOutputStream使用的缓冲区大小。8192　
hadoop.security.java.secure.random.algorithmjava安全随机算法。SHA1PRNG　
hadoop.security.secure.random.impl安全随机的实现。　　
hadoop.security.random.device.file.pathOS安全随机设备文件路径。/dev/urandom　
fs.har.impl.disable.cache当为true时，不缓存“HAR”文件系统实例。TRUE　
hadoop.security.kms.client.authentication.retry-count在认证失败时重试连接到KMS的次数。1　
hadoop.security.kms.client.encrypted.key.cache.sizeEncryptedKeyVersion缓存队列的大小。500　
hadoop.security.kms.client.encrypted.key.cache.low-watermark如果EncryptedKeyVersion缓存队列大小低于watermark，队列将被重新调度填充。0.3f　
hadoop.security.kms.client.encrypted.key.cache.num.refill.threads重新填充EncryptedKeyVersion缓存队列的线程数。2　
hadoop.security.kms.client.encrypted.key.cache.expiry密钥过期时间，默认为12小时。43200000　
hadoop.htrace.spanreceiver.classesA comma separated list of the fully-qualified class name of classes implementing SpanReceiver. The tracing system works by collecting information in structs called 'Spans'. It is up to you to choose how you want to receive this information by implementing the SpanReceiver interface.　　
ipc.server.max.connections服务器接受的最大并发连接数。0　
hadoop.registry.rm.enabled是否在YARN Resource Manager中启用注册表。FALSE　
hadoop.registry.zk.root注册表的根zookeeper节点。/registry　
hadoop.registry.zk.session.timeout.msZookeeper会话超时时间，单位为毫秒。60000　
hadoop.registry.zk.connection.timeout.msZookeeper连接超时时间，单位为毫秒。15000　
hadoop.registry.zk.retry.timesZookeeper连接重试最大次数。5　
hadoop.registry.zk.retry.interval.msZookeeper连接重试间隔。1000　
hadoop.registry.zk.retry.ceiling.msZookeeper重试的时长限制，单位为毫秒。60000　
hadoop.registry.zk.quorum绑定注册表的zookeeper的主机名列表。localhost:2181　
hadoop.registry.secure注册表是否是安全的。FALSE　
hadoop.registry.system.acls可以安全访问注册表的 zookeeper ACL列表。sasl:yarn@, sasl:mapred@, sasl:hdfs@　
hadoop.registry.kerberos.realmKerberos域。　　
hadoop.registry.jaas.context定义 JAAS上下文的密钥，用于安全模式中。Client　
hadoop.security.sensitive-config-keys一个逗号分隔的或多行的正则表达式列表。password$,fs.s3.*[Ss]ecret.?[Kk]ey,fs.azure.account.key.*,dfs.webhdfs.oauth2.[a-z]+.token,hadoop.security.sensitive-config-keys　
张伯毅
关注
专栏目录
hadoop配置文件详解系列（一）-core-site.xml篇
关于代码的那些事
03-09 4328
导读：关于hadoop的配置文件，目前其它网站资料中都是只写了几个常用的属性配置，但平时可能也会用到其它属性，这里就一起写出来，供大家参考。本篇先从core-site.xml开始，后续将继续进行其它配置文件的梳理。 属性名称 属性值 描述 hadoop.common.configuration.version 0.23.0 配置文件的版本。 hadoop.tmp.dir /tmp/hadoop-${user.name}
HDFS 中常见的Timeout
weixin_34342905的博客
03-04 1186
前段时间遇到HDFS的各种超时，这里总结下遇到的超时：IPC1.IPC connect timeout:在Client端setupConnection设置，2.0.3之前是20s，之后是可配置ipc.client.connect.timeout2.IPC max idle time：ipc.client.connection.maxidletime设置，默认20s，若在20s...
Hadoop配置文件解析__core-site.xml
feizuiku0116的博客
10-11 617
<!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 --> <configuration> <!-- 设置NameNode对外提供HDFS服务的端口为9000--> <property> <name>fs.defaultFS</name> <value>hdfs://node1:8020</value> </propert
【Hadoop】Simple Authentication
TragicJun的专栏
08-07 6221
最近在写一个MapReduce程序，需要从DB里面读取某些数据，但是公司内所有的DB都是Kerberos方式认证，因而有必要对MapReduce Security机制做一些初步的研究。 JAAS 首先，Hadoop Security是基于JAAS(Java Authentication and Authorization Service)实现的，这是JDK标准的一个框架，可plug各种类型的L
HDFS的安全身份验证
最新发布
互联网知识分享
07-23 1139
hadoop.security.group.mapping.ldap.bind.password.file：指定了LDAP服务器管理员用户的密码文件。hadoop.security.group.mapping.ldap.search.filter.user：指定了用户查询过滤器。hadoop.security.group.mapping.ldap.search.filter.group：指定了组查询过滤器。dfs.namenode.keytab.file：指定了NameNode的服务密钥文件。
干货丨Hadoop MapReduce 作业长时间卡死怎么办？
weixin_54750412的博客
04-12 1745
转自@twt社区，作者：孟洋。 1. 问题描述 当前，我们通过编写Hadoop MapReduce程序对来自上游的源数据文件进行贴源预处理加工。源数据文件发到Hadoop集群后，我们的预处理程序会对源数据进行编码转换、数据去重、加时间拉链、数据清洗、错误数据处理等操作，生成贴源的ODS层数据，供上层建模使用。 一直以来系统运行稳定，未出现过问题。但一段时间以来部分源文件的预处理作业频繁出现作业长时间卡死的问题，导致Hadoop集群资源被长时间占用，其他作业因资源不足而无法正常调起，影响了预处理加工的时效性.
hadoop-2.7.7-centos-6.7.tar.gz
08-08
4. **配置Hadoop**：修改`etc/hadoop`目录下的配置文件，如`core-site.xml`、`hdfs-site.xml`和`mapred-site.xml`。这些文件中的参数设定Hadoop的行为，如数据块大小、NameNode地址等。 5. **格式化NameNode**：首次...
hadoop-2.7.7.tar.gz
04-26
2. **配置Hadoop**：编辑conf目录下的配置文件如`core-site.xml`, `hdfs-site.xml`, 和 `yarn-site.xml`，设置相关参数，如NameNode和DataNode的地址、内存分配等。 3. **格式化NameNode**：首次启动Hadoop集群时，...
hadoop-2.7.7-native.tar.gz
01-03
`hadoop-2.7.7-native.tar.gz`文件包含了编译好的库，可以直接解压到Hadoop安装目录下的`lib/native`子目录，然后在Hadoop的配置文件（如`core-site.xml`）中启用它们。启用后，Hadoop会自动识别并使用这些本地库，...
hadoop跨KDC集群离线割接数据（hbase，hive元数据恢复）
wangfeng216的博客
08-13 250
hbase表跨集群迁移 未开启kerberos集群： hadoop fs -copyToLocal /hbase/data/default/user_feature /data/tocdh516data/user_feature scp -r user_feature/ root@X.X.X.X:/data/hbase_data ##新集群hbase用户执行 hadoop fs -copyFromLocal /data/hbase_data/user_feature /hbase/data/defaul
hdfs跨集群数据迁移
weixin_38655836的博客
06-19 568
mapred.job.queue.name=“root.zm_yarn_pool.production” 设置资源池队列 ipc.client.fallback-to-simple-auth-allowed=true 由于使用了kerberos认证，需要设置改属性 hadoop distcp -Dmapred.job.queue.name=“root.zm_yarn_pool.production...
Hadoop配置文件解析
大自然的搬运工
11-10 535
Hadoop源码解析 2 --- Hadoop配置文件解析 1 Hadoop Configuration简介     Hadoop没有使用java.util.Properties管理配置文件， 也没有使用Apache Jakarta Commons Configuration管理配置文件，而是使用了一套独有的配置文件管理系统，并提供自己的API，即使用 org.apache.hadoop.
【Hadoop】yarn-site.xml配置文件详解
康师傅没有眼泪
10-16 1万+
<-- 允许跨域访问的来源，如果有多个，用逗号(,)分隔 --> <property> <name>hadoop.http.cross-origin.allowed-origins</name> <value>*</value> </property><-- 与 DNS 侦听器应绑定到的网络接口关联的地址。 --> ...
腾讯云Hadoop安装及集群环境搭建完全分布式
SnotFroth的专栏
08-24 1676
腾讯云服务器搭建Hadoop
hadoop技术探索之三
游离在社会边缘
02-01 706
本章节继续介绍HDFS的一些概念和功能。一、配额HDFS允许管理员为某个目录设置文件名字配额，即是指在文件的拓扑树中以该目录为根的所有文件数目总和上限。超过配额时是不能够在该目录里新建目录或上传文件了。最大的配额是Long.Max_Value。在统计一个目录的所有文件数目时，目录本身也包括在内，故如果设置名字配额为1的话，将会使该目录保持为空。管理命令：设置名字配额：hdfs dfsadmin...
hive数据迁移过程
qq_32457341的博客
02-03 526
当前，需要将集群的数据从HDP迁移到CDP的集群当中，因此要将HDP中的表在CDP上构建，并将HDP中的数据复制到CDP中，以下是具体的处理逻辑； 版本： HDP中hive版本，1.2.1 CDP中hive版本，3.1.3 （1）表复制，我们采用impala，在impala上执行如下命令： show create table xxxx; 采用这种方式，我们可以获取建表的语句，进行修改即可在CDP集群上进行建表； （2）数据复制，数据复制采用如下的命令： hadoop distcp -D ipc.clien
【大数据入门核心技术-Hadoop】（六）Hadoop3.2.1高可用集群搭建
12-03 3290
独立模式又称为单机模式，仅1个机器运行1个java进程，主要用于调试。伪分布模式也是在1个机器上运行HDFS的NameNode和DataNode、YARN的 ResourceManger和NodeManager，但分别启动单独的java进程，主要用于调试。单Namenode节点模式-高可用HA模式集群模式主要用于生产环境部署。会使用N台主机组成一个Hadoop集群。这种部署模式下，主节点和从节点会分开部署在不同的机器上。本教程主要安装 多Namenode 节点 高可用集群模式二、准备工作本高可用参考以上非高
ssh出现connection timeout
热门推荐
hongchangfirst
12-16 7万+
有时候ssh到一个机子的时候，等了一会儿，出现connection timeout，但是并不清楚到底是哪里出错了。 我们可以有几个好的办法确定是哪里出了问题。 第一，先ping你的机子，如果不能ping通，考虑网络是否是断的。但是如果不能ping通，有可能是机子设置了相应的不回复icmp的ping报文等，也不能完全作为判断依据。 第二，如果你用的域名，可以换成IP，试试IP能不能pi
ln -s /hadoop/hadoop-2.7.7/etc/hadoop/core-site.xml /hadoop/hbase-2.2.2/conf/core-site.xml
05-18
这个命令是在 Linux 系统中创建一个软链接，将 Hadoop 的 core-site.xml 文件链接到 HBase 的 conf 目录下。这样做的目的是让 HBase 也能够读取 Hadoop 的配置文件，以便它们能够协同工作。具体来说，这个软链接将 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值