新年10个Flag实现中~
访问量
495.6K
文章数
113
运行天
681
前言百度IoT的Broker设计我特别想参考的但是技术能力和时间不够去实现……网上只有一篇百度工程师的总结《共享行业的分布式MQTT设计》,这里将围绕这篇文章去讲解。一、Broker集群架构单机版MQTTBroker有连接数量和并发处理能力的限制,因此分布式必不可少。百度IoT采用的AkkaCluster来做集群管理,每个节点对等,不存在像Mosquitto这种用一台机器“桥接”做分布式产生的单点故障隐患。每个节点监听MemberUp、MemberDown、MemberUnreachable、ClusterMemberState等事件来感知其他节点的上下线,用AkkaActor实现节点间的消息通信。二、Broker服务框架百度Broker抽象了很多服务包括:(1)Authentication
前言基于EMQ2.3.11。Mnesia是分布式电信数据库管理系统,有以下特性:DBMS查询语言数据持久性:表是持久化到存储的集群复制:表可以在多个节点上复制原子事务:支持事务透明:对编程来说是透明的实时数据搜索:查询速度很快一、Mnesia表的创建参数1、type表类型【取值】set:唯一键值,1:1,一个键一条记录ordered_set:唯一键值,1:1,带排序bag:1:n,一个键可以映射很多条记录2、record_name记录名称【取值】记录名所有表中的记录都必须是同一个记录的实例3、ram_copies内存复制【取值】节点列表可以指定要备份到哪些节点的内存中去,不保证事务更新。可以定时刷盘。4、disc_copies磁盘复制【取值】节点列表  指定要备份到哪些节
前言有时候看不懂代码,可以直接去debug一些模块,写一些单元测试。虽然Erlang提供了专门的单元测试方法,但由于没有整体配置(暂时不想二次开发),有一些模块无法启动,所以干脆只把需要的代码拷贝出来做debug观察数据,从而理解原理。整个分析基于EMQ2.3.11。一、调试方法1、准备好一个空Erlang工程参考《EMQ源码分析(一):在Windows上用IDEA搭建Erlang编译平台》,构建一个Helloworld就好。2、拷贝代码将需要测试的部分代码从EMQ里面拷贝出来,例如我想要了解订阅树如何构建的,就需要了解Topic如何被切分成三元组的,三元组具体的数据又是怎样的,把emqttd_trie、emqttd_topic相关代码拷贝出来:-module(hello).-author(
前言只需要了解EMQ用到过的语法,以EMQ2.3.11为基础,有任何理解错误请指正。一、认识HelloWorld%helloworldprogram-module(helloworld).-export([start/0]).start()->io:fwrite("Hello,world!\n").%:注释-module(模块名):定义模块,模块名必须和文件名一致(去掉后缀.erl),否则编译会出错。-export([函数名/参数个数]):定义外部可以调用的函数,斜杠后面是参数个数start():一个函数,名字任意取io:fwrite:调用io模块的fwrite函数,输出消息到控制台.:语句结束符二、数据类型1、标准数据类型Erlang有7种标准数据类型,数字、原子、布尔、位字符串、元
前言这里对Erlang概念的掌握只是能基本看懂EMQ写的是什么就可以了,不需要具备二次开发EMQ的能力,达到开发的熟练度还需要花费大量时间。一、Erlang基本了解1)首先要知道Erlang是用C语言写的,所以它的大部分语法都和C语言近似。2)Erlang发明的目的就是分布式、并发的,编程的时候用单机编程思路就好了,分布式是透明的,所以适合用来写分布式并发程序。3)Erlang的核心是进程,这里的进程是Erlang自己的概念,和Linux的系统进程是完全不同的,比C语言的线程切换快得多。4)Erlang的运行时环境是一个虚拟机,类似Java的一次编译随处运行。二、Erlang/OTP1、OTPOTP(OpenTelecomPlatform,开放电信平台)是一个开源的Erlang分发和一个用E
前言虽然目前遇到的所有Broker设计问题都似乎得到了解决,但还是希望能够借鉴更多优秀的代码设计思路。Java开源的Broker代码都有局限性,而免费开源的完整的速度快的MQTTBroker也就只有EMQ了,没有办法只能花时间研究Erlang和EMQ源码了。首先需要搭建Erlang的IDE,之前用IDEA来作为Lua的IDE,没想到IDEA还能作为Erlang的IDE,实在是太好用了。一、用IDEA搭建Erlang集成开发环境搭建流程已经放到了wiki:软件安装手册→ 《Erlang+Windows+IDEAIDE环境搭建》,这里重复地描述下重要步骤。1、去Erlang官网下载对应的Erlang程序官网地址:http://www.erlang.org/downloads下载链接:如
前言基于MqttWkv1.0.7。MqttWk没有构建内存中的订阅树,直接利用存储在Redis中的订阅信息来获取订阅者。订阅树算法分析主要的代码在cn.wizzer.iot.mqtt.server.store.subscribe.SubscribeStoreService:@OverridepublicList<SubscribeStore>search(Stringtopic){List<SubscribeStore>subscribeStores=newArrayList<SubscribeStore>();List<SubscribeStore>list=subscribeNotWildcardCache.all(topic);if(li
前言基于MqttWkv1.0.7。  一、BrokerHandlerchannelActive()@OverridepublicvoidchannelActive(ChannelHandlerContextctx)throwsException{super.channelActive(ctx);this.channelGroup.add(ctx.channel());this.channelIdMap.put(ctx.channel().id().asShortText(),ctx.channel().id());}当channel刚生效(客户端刚连接),将其channel信息存起来。Netty默认提供了channel管理,这里自己做channel管理是为了方便根据cha
12下一页