新年10个Flag实现中~
访问量
1.5M
文章数
144
运行天
1004
一、Kafka的名字是怎么来的我一直就怀疑是不是初中学的小说家“弗朗茨·卡夫卡”,没错就是。JayKreps(工作于LinkedIn,Kafka创始人之一):我想既然Kafka是为了写数据而产生的,那么用作家的名字来命名会显得更有意义。我在大学时期上过很多文学课程,很喜欢FranzKafka。况且,对于开源项目来说,这个名字很酷。不过,名字和应用本身基本没有太多联系。  ——《Kafka权威指南》P13二、Kafka和Scala、Java是什么关系?Kafka是使用Java开发的应用程序。 ——《Kafka权威指南》P14 截至本书写作时,Kafka的版本是0.9.0.1,对应的Scala版本是2.11.0。——《Kafka权威指南》P17 
前言最近在系统地学习知识,因此5月~6月的目标是完成Zookeeper和Kafka的学习(以前高考都还有老师给你一份提纲要学什么东西,现在自己给自己定义提纲才发现是很痛苦的事情)。学习提纲初步定义的框架如下:1、Kafka原理和源码动物书《Kafka权威指南》(ISBN978-7-115-47327-1):了解正确的基本知识和术语,不会被网文骗…Kafka官网文档:主要关注0.9.0(重大变化,低于该版本的没有意义了)、2.2.1(目前使用到的)、最新版本(最新的特性)。有关如何选择版本学习,我也是参考的商业的软件一般会选择什么版本的Kafka,比如AWS的MSK服务,它提供的版本是1.1.1、2.2.1、2.3.1、2.4.1,说明这几个版本是有特殊的地方的,比如十分稳定,或者支持了什么重
一、KafkaController简介kafka集群会选举出一个称为Controller的节点,主要有以下几种作用:主题管理:创建、删除主题等等重分区:前面脚本执行分区就是靠控制器实现的集群成员管理:broker新增、关闭、宕机数据管理:元数据管理。目前对Controller的了解不多,我们在进行prometheus监控的时候发现,只有controller节点才可以获取partition的数据,也许就和controller的功能有关。二、节点宕机变化过程1、查看controller节点进入zookeeper机器,进入bin,启动./zkCli.sh$ls/$get/controller可以得到zookeeper上注册的kafkacontroller信息:{"version":1,"broke
一、搭建zookeeper集群1、下载镜像$wgethttps://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.5.5/apache-zookeeper-3.5.5-bin.tar.gz./$tar-zxvfapache-zookeeper-3.5.5-bin.tar.gz$rm-rfapache-zookeeper-3.5.5-bin.tar.gz$sudomvapache-zookeeper-3.5.5-bin/usr/local/apache-zookeeper-3.5.52、修改配置文件创建配置文件:$cd/usr/local/apache-zookeeper-3.5.5/conf$sudovizookeeper
一、kafka参数1.1实例规模机器台数:至少3台,推荐5台。1.2实例参数经验:一定要多核心。多核减轻了线程上下文切换的开销,提升的性能可不止核心数那么多倍。CPU和内存:标配2核8G,如果经费有限内存可以适量小一点网络带宽:10Gbps磁盘:kafka根据业务需要,一般50GBSSD1.3是否启用TLS加密通常不需要,kafka一般是内网服务器使用,不会暴露公网,因此不用TLS,避免TLS加解密带来的CPU开销,加快消息收发速度。1.4监控和运维(1)监控组件:Prometheus:目前十分火的监控中间件,尤其是有K8S+Grafana可视化使用,效果非常好OpenFalcon:小米开源的一款监控中间件,能够满足监控需求,而且免费。(2)监控参数:主机基本参数:CPU、内存、磁盘,必看。
前言最近在看《Servlet/JSP深入详解》,毕竟马上要做这方面的工作了,得复习一下。又看到了事务处理的问题,把以前上数据库课的一些有意思的问题又回忆了起来,记录一下。有关脏读脏读是最简单的一种冲突类型。【定义】A事务访问并修改了数据,但未提交;B事务读取了A事务修改后的数据,发生了脏读。【隐患】若A回滚,则B所做的一切操作都是错的。【举例】对同一账户的存取款,A为取款事务,B为转账事务,操作时间片如表所示。时间片 取款事务A 转账事务B  T1 START  T2  START T3 查询余额为1000元  T4 准备取走300元,修改余额为700元
1