消息学校入驻客服中心网站导航

手机版

咨询热线

成都牵引力学校分享分布式一致性算法的复杂性

本文由:成都IT设计培训学校    编辑于:2018-11-14

  成都IT培训学校一直秉承“以人为本,以质为魂,用良心做教育”的经营理念,以理论与实践相结合为宗旨将学员素质的培养放在首位。  成都IT培训学校是移动互联网研发人才一体化服务的品牌,全力打造移动互联网高端研发人才服务平台。拥有全国的移动互联网教学就业保障团队,毕业学员已遍布一线城市各大IT企业,大部已成为各大软件公司的技术骨干,在社会各界享有广泛、深远的影响和良好的口碑。 欢迎来电咨询 4006156870 QQ 2294155463


  1分布式系统的难题

  张大胖遇到了一个难题。

  他们公司的有个服务器,上面保存着宝贵的数据,Bill 为了防止它挂掉, 要求张大胖想想办法把数据做备份。

  张大胖发挥了抽象的能力,在脑海里浮出了这么一个画面, 这个的机器可以成为一个节点:

  为了提高可用性,可以增加几台机器,通过局域网连接起来,形成一个了分布式的系统:

  数据在每个节点上都存放一份不就可以高枕无忧了?

  可张大胖很快发现这不是一件容易的事情,比如每个节点都保存着一个账户的余额100元,现在有人通过节点A向该账户增加了20元, 还有人通过节点B向该账户减去了30元。

  现在余额到底是多少呢?

  为了保持一致性, 节点A得把"余额加上20"这样的消息发给B, C , 节点B得把“余额减去30”这样的消息发送到A, C, 如果网络出了问题,消息没有发送到别的节点, 或者某个节点干脆坏掉了,那数据极有可能出现不一致。

  如果用户在这个不一致的系统上继续操作,很快就会陷入混乱。

  2谁来当老大?

  张大胖想了半天,觉得不能这么无序地操作,得给这三个节点找个“老大”。

  所有的操作都通过“老大”来进行,然后让老大把消息发给各个“小弟”。

  可是谁来当老大呢? 还有,这个老大如果挂掉了怎么办?

  可以手工地调整, 例如节点A挂掉了, 就手工地让节点B当“老大” , 让节点C当“小弟”。

  但是这就有点麻烦了,能不能自动化地来实现?

  这个问题很有意思, 张大胖入了迷,继续深入思考: 建立一个竞选的机制, 就让他们竞争上岗吧。

  初始情况下,每个节点都是候选人, 都可以向其他节点发起投票邀请,让大家投自己,如果获得的投票数过半,就可以当“老大”了。

  为了避免大家同时发起投票邀请,可以给每个节点都分配一个随机的“选举超时时间”(election timeout),通俗来讲就是一个等待时间,在这段时间内,一个节点必须耐心等待,过了这段时间,才可以竞争上岗,争当老大。

  每个节点都有一个计时器,从0开始计时,谁的等待时间到了, 就率先发起竞选,给其他节点打电话,要求他们投票让自己成为老大。

  比如节点A等待170ms , 节点B等待200ms , 节点C等待250ms 。

  由于节点A的等待时间短, 会捷足先登, 它先增加自己的任期(Term),这是一个整数,初始值为0 , 然后给自己投了一票,然后打电话给节点B和节点C,要求他们都投它。

  节点B和节点C收到了投票要求,如果自己还没有发起竞选投票(等待时间未到),那只好同意节点A当老大,与此同时要重置自己的计时器,重新从0开始计时,也就是说重新开始新一轮的等待。

  节点A得知其他两个节点同意了,投票计数变为3,已经过了半数, 就明白自己可以当老大了。

  节点A成为老大后,开始向节点B和节点C定时发送消息,B,C收到消息后也要回应,维持心跳。

  B和C每次收到心跳消息,都得重置自己的计时器, 重新从0开始计数。

  此时节点B和节点C就成了“小弟”。

  如果节点A 不幸挂掉,节点B和节点C在自己的等待时间内收不到心跳消息,他们两个就会重新竞争上岗。

  上图中节点C占据了先机,率先发起竞选投票。

  节点B慢了一步, 无奈中同意支持节点C , 节点C获得了超过半数的支持,成为“老大” , 节点B成为“小弟”。

  (可能有人会想到:节点B和节点C 同时发起竞选投票,每个节点的投票计数都是1 ,都过不了半数, 该怎么处理呢? 很简单,再次发起一轮竞选投票即可,当然为了防止B和C一直同时发起竞选投票,从而陷入无限循环,要重置一个随机的等待时间。)

  投票过半数很重要,张大胖想,只有这样才能保证“老大”节点的性。

  对于每个节点,处理流程其实非常简单:

  3数据的复制

  张大胖费了半天劲,终于把分布式系统中怎么自动地选取“老大”节点给确定了。

  接下来就是要把发给“老大”的数据,想办法复制到“小弟”的节点上。 该怎么处理?

  由于是分布式的,只有大多数节点都成功地保存了数据,才算保存成功。

  所以那个“老大”节点必须得承担起协调的职责。

  张大胖想了一个复制日志的办法: 每个节点都有一个日志的队列。

  在真正把数据提交之前,先把数据追加到日志队列中,然后向个“小弟”复制。

  1. 客户端发送数据给节点A (“老大”)。

  节点A 先把数据记录到日志中,即此时处于“未提交状态”

  2. 在下一次的心跳消息中, 数据被发送给各个“小弟”。

  3. 各个“小弟” 也把数据记录到日志中(也处于未提交状态),然后向“老大”报告自己已经记录了日志。

  4. 如果节点A收到响应超过了半数, 节点A就提交数据,通知客户端数据保存成功。

  5. 节点A在下一次心跳消息中,通知各个“小弟”该数据已经提交。各个“小弟”也提交自己的数据。

  如果某个“小弟”不幸挂掉,那“老大”会不断地尝试联系它, 一旦它重新开始工作,就需要从“老大”那里去复制数据,和“老大”保持一致。

  4RAFT

  张大胖对这个初步的设计还比较满意,他把这个方案交给Bill去审查。

  Bill 看了以后,笑道: “你现在其实就是在折腾一个一致性算法, 说白了就是允许一组机器像一个整体一样工作,即使其中一些机器出现故障也能够继续工作下去。”

  “没错没错,总结得真是。” 张大胖拍马屁。

  “不过,”Bill 话锋一转, “ 你设计的日志的复制还有很多漏洞,我看你的设计中一共有5步, 如果在这5步中,那个“老大”节点A挂掉了怎么办?数据是不是就不一致了?”

  “这个。。。。。。 ” 张大胖确实没有仔细考虑。他暗自后悔,只顾低头拉车,忘了抬头看路,忽略了分布式环境下的复杂问题。

  “不过你已经做得很不错了,” 马上鼓励道, “你设计的这一套体系其实和RAFT算法非常类似。”

  “RAFT? ”

  “对,RAFT是个分布式的一致性算法,相比复杂难懂的Paxos, RAFT在可理解,可实现性上做了很大的改进。 你这里的‘老大’,RAFT算法叫做Leader, ‘小弟’叫做Follower,不过人家对日志的复制,以及如何确保数据的一致性有着非常详细的规定。 ”

  张大胖一听说有现成的算法,立刻高兴起来: “太好了,分布式的难题已经被别人解决,我去把它实现了。”

  后记: 虽然RAFT比Paxos更容易理解, 但是一旦进入各个边界条件,仍然是非常复杂,所以本文只是介绍了Leader的选举,和日志复制的概要流程, 具体的细节还有很多。


  成都IT培训学校一直秉承“以人为本,以质为魂,用良心做教育”的经营理念,以理论与实践相结合为宗旨将学员素质的培养放在首位。  成都IT培训学校是移动互联网研发人才一体化服务的品牌,全力打造移动互联网高端研发人才服务平台。拥有全国的移动互联网教学就业保障团队,毕业学员已遍布一线城市各大IT企业,大部已成为各大软件公司的技术骨干,在社会各界享有广泛、深远的影响和良好的口碑。 欢迎来电咨询 4006156870 QQ 2294155463

联系方式

选择专业时,如果犹豫不定,不知道选择哪个比较好,敬请致电,专业的咨询老师会为你解答。

  • 报名热线:400-6156-870
  • 咨询老师:林老师
  • 点击咨询:
开课专业

常见问题

没有想要的答案?马上提问

电脑版|手机版

版权所有: 郑州天华信息技术上海时时乐

>
上海时时乐开奖 极速快3 山东11选5计划 PK10牛牛 广西快3 三分时时彩 福建快三注册 飞速赛车平台 欢乐生肖 极速快3