当前位置: Oracle DBA培训网-优技培训 >> Hadoop大数据 > Hadoop培训教程 >

Hadoop入门教程:RPC配置参数调优

Hadoop入门教程:RPC配置参数调优

Hadoop入门教程:RPC配置参数调优,Hadoop RPC对外提供了一些可配置参数,以便于用户根据业务需求和硬件环境对其进行调优。

主要的配置参数如下。

Reader线程数目。由参数ipc.server.read.threadpool.size配置,默认是1,也就是说,默认情况下,一个RPC Server只包含一个Reader线程。

每个Handler线程对应的最大Call数目。由参数ipc.server.handler.queue.size指定,默认是100,也就是说,默认情况下,每个Handler线程对应的Call队列长度为100。比如,如果Handler数目为10,则整个Call队列(即共享队列callQueue)最大长度为:100×10=1000。

Handler线程数目。在Hadoop中, ResourceManager和NameNode分别是YARN和HDFS两个子系统中的RPC Server,其对应的Handler数目分别由参数yarn.resourcemanager. resource-tracker.client.thread-count和dfs.namenode.service.handler.count指定,默认值分别为50和10,当集群规模较大时,这两个参数值会大大影响系统性能。

客户端最大重试次数。在分布式环境下,因网络故障或者其他原因迫使客户端重试连接是很常见的,但尝试次数过多可能不利于对实时性要求较高的应用。客户端最大重试次数由参数ipc.client.connect.max.retries指定,默认值为10,也就是会连续尝试10次(每两次之间相隔1秒)。

技术沙龙MORE+

标签错误:<!-- #Label# labelId=20160707140604 moduleId=1 classId=12231768634 orderby=2 fields=url,title,u_info attribute= datatypeId=22192428132 recordCount=3 pageSize= <htmlTemplate><dt><img src="/images/index_26${index}.jpg" width="100" height="62" /><a href="$url" title="${title}">${title}</a><span>${api.left(u_info,60)}</span></dt></htmlTemplate> -->
我要参加技术沙龙