新年10个Flag实现中~
访问量
1.5M
文章数
144
运行天
1009
前言最近在系统地学习知识,因此5月~6月的目标是完成Zookeeper和Kafka的学习(以前高考都还有老师给你一份提纲要学什么东西,现在自己给自己定义提纲才发现是很痛苦的事情)。学习提纲初步定义的框架如下:1、Kafka原理和源码动物书《Kafka权威指南》(ISBN978-7-115-47327-1):了解正确的基本知识和术语,不会被网文骗…Kafka官网文档:主要关注0.9.0(重大变化,低于该版本的没有意义了)、2.2.1(目前使用到的)、最新版本(最新的特性)。有关如何选择版本学习,我也是参考的商业的软件一般会选择什么版本的Kafka,比如AWS的MSK服务,它提供的版本是1.1.1、2.2.1、2.3.1、2.4.1,说明这几个版本是有特殊的地方的,比如十分稳定,或者支持了什么重
一、搭建zookeeper集群1、下载镜像$wgethttps://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.5.5/apache-zookeeper-3.5.5-bin.tar.gz./$tar-zxvfapache-zookeeper-3.5.5-bin.tar.gz$rm-rfapache-zookeeper-3.5.5-bin.tar.gz$sudomvapache-zookeeper-3.5.5-bin/usr/local/apache-zookeeper-3.5.52、修改配置文件创建配置文件:$cd/usr/local/apache-zookeeper-3.5.5/conf$sudovizookeeper
一、kafka参数1.1实例规模机器台数:至少3台,推荐5台。1.2实例参数经验:一定要多核心。多核减轻了线程上下文切换的开销,提升的性能可不止核心数那么多倍。CPU和内存:标配2核8G,如果经费有限内存可以适量小一点网络带宽:10Gbps磁盘:kafka根据业务需要,一般50GBSSD1.3是否启用TLS加密通常不需要,kafka一般是内网服务器使用,不会暴露公网,因此不用TLS,避免TLS加解密带来的CPU开销,加快消息收发速度。1.4监控和运维(1)监控组件:Prometheus:目前十分火的监控中间件,尤其是有K8S+Grafana可视化使用,效果非常好OpenFalcon:小米开源的一款监控中间件,能够满足监控需求,而且免费。(2)监控参数:主机基本参数:CPU、内存、磁盘,必看。
1