真人线上国际
service phone

0566-88666668

<
>
联系我们

0566-88666666

中国杭州

技术产品中心 您的位置: 主页 > 技术产品中心 >

程序员说

发布人: 真人线上国际 来源: 真人线上国际 发布时间: 2020-09-10 16:46

  最后这一章节总结Kafka中需要特别关注的重要配置以及影响Kafka性能的因素。

  :该配置项默认值是10,既整个Kafka在执行各种任务时会启动的线程数。如果你的CPU很强劲,那么可以将线程数设大一点。

  ,可以根据实际需求改变,在生产环境还是建议保持默认值,这样至少不会出现Topic被误删的情况。

  :日志文件保留的时间默认是168小时,既7天。这个配置可以根据具体业务需求而定。

  :每条Message或一批次Message的大小默认是1MB。这个配置也要根据具体需求而定,比如带宽的情况。

  :该配置项的默认值是1,既在acks=all时,最少得有一个Replica进行确认回执。建议在生产环境配置为2,保证数据的完整性。

  :处理I/O操作的线个线程。如果觉得在这个环节达到了瓶颈,那么可以适当调整该参数。

  :处理网络请求和响应的线个线程。如果觉得在这个环节达到了瓶颈,那么可以适当调整该参数。

  :每个数据目录启用几个线程来处理,这里的线程数和数据目录数是乘积关系,并且只在Broker启动或关闭时使用。默认值是1,根据实际情况配置数据目录数,从而判断该配置项应该如何设置。

  :该配置项影响Replicas同步数据的速度,默认值是1,如果发现Replicas同步延迟较大,可以提升该配置项。

  :Offset保留的时间,默认值是1440,既24小时。在生产环境建议将该配置项设大一点,比如设置为1个月,保证消费数据的完整性。

  :该配置项的作用是,指定是否可以将非ISR的Replicas选举为Leader,默认值为

  :默认Replication Factor为1,建议设置为2或者3,以保证数据完整性和整个集群的健壮性。

  :Topic默认的Partition数,默认是1,建议设置为3或者6,以保证数据完整性和整个集群的健壮性。

  这一章节来真正启动Kafka集群,先给出一份Broker的配置项列表,将以下信息复制三份,分别配置三台阿里云ECS上的Broker配置文件:

  接下来几个章节我们开始搭建真正的Kafka集群,服务器还是使用上一节章节搭建Zookeeper使用的三台阿里云ECS。

  Kafka的配置项一共多达140余个,虽然有一部分通常情况下我们不需要修改,使用默认值即可,但这只是一少部分。搭建Kafka集群时,光通常情况下需要考虑的配置项就有40余个。

  另外,这些配置项要根据具体的业务场景做各种调整,不存在一套配置项通吃所有业务场景的情况,而且基本不可能一次性配置出性能最优、最能满足业务场景的配置项组合,都需要经过调整、测试,反复进行配置才能总结出相对最优的配置项组合。

扑克王德州app下载
上一篇:���转换��

下一篇:程序员客栈
版权所有©杭州 扑克王德州app下载 通信技术股份有限公司
扑克王德州app下载 京ICP备17049943号 网站地图