java分布式(分布式架构)

【 声明:版权所有,欢迎转载,请勿用于商业用途。 联系信箱:feixiaoxing @163.com】

 

    开头的话,架构多半和业务关联在一起,如果只是简单的图书管理系统、选课系统或者什么简单的财务系统,用不着分布式。只有大型公司、高并发的业务才需要分布式的帮助。当然,架构本身要和业务模型紧密配合才能发挥作用。

 

     很长一段时间,java都是最流行的编程语言。我想,一方面是由于java可以用来开发网站后端程序,另外一方面java可以用来开发android这样的客户端程序。当然,很多人会说,java天生具有网络属性,具有很好的分布式基因。这应该是一种认知错误。所谓的分布式都是基于tcp/ip网络,它发展的原因是因为稳定性、性能和业务扩展的需要,单台服务器已经远不能满足业务的需要。这方面,其他语言也可以做到这一点,比如说python、go、erlang等等。只是,对于企业来说,一个不可忽略的现实是,市场上合格的java工程师很多,但是可以独当一面的python、go、erlang工程师太少,这也使得一些企业即使在创立初期的时候用了其他编程语言,后期也会慢慢转到java上面。不是技术不允许,实在是人才不允许。脚本语言太自由,坑太多,稍不小心就有可能埋雷,而java语言规范、第三方库多,即使有错误,也会很快暴露出来,这也算java很好的一个优势吧。

 

    说到网站后端开发,很多人都会选择java + Spring + myBatis的开发模式。这无可厚非。只是随着业务的快速发展,整体的网站架构也在快速迭代当中,不妨利用这段时间简单梳理一下发展流程。

 

1、单台服务器模式

    所谓的单台服务器,就是http服务器软件、静态文件(主要是以图片为主,还有html、css、js文件)、mysql软件安装在一台服务器上。很多大学里面的课程作业都是这么设计的。

 

2、多台服务器模式

    当文件越来越多的时候,单台服务器远远不能支撑业务的发展。这个时候会将http服务器软件、文件服务器、数据库软件安装在不同的服务器上面,彼此之间用tcp/ip进行连接,企业内部的宽带要比外面买的宽带速度高很多。

 

3、添加缓存服务器

    随着业务的发展,用户对数据的速度要求越来越高,要是每次访问的时候都直接访问数据库,这个效率其实是很低的。在现实场景中,大家会发现读数据的请求比改数据的请求要多的多,所以这个时候添加一些nosql缓存服务器,可以有效地提高用户体验。

 

4、反向代理服务器

    单台http服务器的性能总是有限的,所以实际业务场景下一般会使用nginx作为代理服务器。通过代理软件,用户的数据请求会被均衡分配到不同的http服务器上面。当然此时nginx就成了系统的瓶颈点,所以为了保护nginx,一般也会安装多台nginx服务器,使用keepalive软件来保证nginx宕机的时候自动进行切换。

 

5、CDN服务器

    大家如果安装过不同电信运营商的宽带就知道,一个电信运营商下的pc如果访问另外一个电信运营商的服务器,速度是很慢的。所以一个比较务实的方法,就是讲常用的文件、特别是静态文件安装在离用户最近的那台运营商服务器上面,这就是CDN服务器设计的初衷。

 

6、分布式文件服务器

    如果网站后台文件过多,那么单台服务器远不能满足用户的要求,这个时候分布式文件服务器应运而生。

 

7、分布式数据库服务器

    同样的,当数据累积到一定程度的时候,单台服务器其实远远不能满足要求。而且,单台服务器还比较危险,一旦服务器宕机之后,后果其实是不堪设想的。这个时候一般会有两种方案,一种是分库分表,即将数据库分布在不同的服务器上面,或者将同一张表的内容分布在不同的服务器上面,插件可以帮助我们做到这一点,比如MySql Proxy;另外一种方法就是真正的分布式数据,比如TiDB,这个时候用户不需要关心数据是怎么分配的,因为底层软件就可以将数据灵活的存储在不同的服务器上面。每种方法都有自己的自己的优缺点,大家可以灵活应对。

 

8、微服务部署

    从前的代码部署都是安装在http服务器上面,但是一旦某一个小功能失败,那么有可能会导致整台http服务器失败。所以,针对这种情况,现在提出了一种微服务器的模式。它的基本思想类似于rpc,http服务器从nginx接收到用户的请求之后,不是直接运行,而是通过rpc向微服务器提出请求,并且等待微服务的结果。微服务中的服务,其实就是一个一个小的业务。单个微服务未必是一台服务器,也有可能是基于zookeeper的多台服务器,因为数据量或大或小,不一定。

 

9、消息服务器

    不同的服务器之间是需要进行数据沟通的。为了性能,很多时候,服务器之间的通信都是异步的,所以消息服务器就充当了缓冲和信息处理的功能。消息服务一般是周期处理、或者满足一定业务条件就会触发处理。微服务之间的通信,就需要消息服务器的帮助。

 

10、监控服务器

    服务器运行过程中会出现各种各样的情况。服务器cpu多少、ram还剩多少、存储怎么样、宽带用了多少、当前跑了哪些业务,这些信息都需要有一个监控服务器来完成。

 

11、运维服务器

    当产品开发好,这个时候一般会在小范围内进行部署,也就是小范围的发布。等到没有大的问题之后,就会进行大范围的推送,这是一种常用的方法。运维的同学不仅需要上线产品、还需要下线产品、灰度发布,还需要24h检测服务器的运行。在业务扩展的时候,需要及时部署、添加新的服务器。当出现问题时,他们需要将当前服务器上的业务transfer到其他机器上面,用户一般是不会感受到这种变化的。

 

12、爬行、搜索服务器

    像一些短视频公司,除了自己生产内容之外,另外一个很重要的工作就是对全网进行爬行工作。等到内容获取之后,就会用数据库固化下来,这个时候就需要搜索服务器的帮助了。关于搜索这方面,现在有一些开源的软件可以供使用,比如solr。

 

13、推荐服务器

    除了用户自己想搜索的内容外,系统一般也会推荐一些相关的内容。很多同学都会使用头条或者抖音,那么里面推荐服务器就要承担很重要的一部分工作。推荐服务器可以做得很简单、也可以做得很复杂,这个时候就看它是不是公司的主营业务了。当然不光是头条这些公司很在意推荐,像一些电子商务网站也是很在意推荐服务,因为它会增加公司的销售额,在很大程度上提升企业的效益。

 

14、待机服务器

    服务器也不是一直都能稳定工作的,这个时候准备一些待机服务器还是很有必要的。

 

    上面谈了这么多,大家会发现,现在企业级的网站后端其实已经很复杂了。业务量的激增、用户的需求,导致整个软件的架构一直在改变。好的软件架构不光可以满足当前的业务需要,而且为未来的扩展打下基础。至于jvm、jdk、mysql、mysql proxy、tomcat、Spring、TiDB、nginx、Keepalive、zookeeper、solr、fastDFS、docker、hadoop、vmware等软件,这些都是为架构服务的,等到真正用的时候学习一些就可以了。当然,使用的时候,可以用java、也可以不用java,这个可以根据自己的情况灵活安排。

 

    另外,关于jvm & jdk可以多说一些,它就是一门编程语言而已,不要神化也不要贬低。和其他很多编程语言一样,比如lua,它也有lua & luac,其中lua负责运行虚拟机、垃圾回收等动作,而luac负责整个编程语言的编译。处理好java & javac,如果能多看看jdk源码,用javap调试一下反汇编代码,这样就更好了,对个人发展也大有裨益。

 

    用java学习分布式,一方面是这方面项目使用的最多、经验最为丰富,另外一方面也是因为java语言本身使用的最为广泛、工具最多。大家可以根据自己的情况,一步一步去学习就可以了。从软件架构来说,java和分布式这个主题,可以给大家带来很多积极和有益的思考。

 

    说到架构,或者软件框架,这个和os没有关系,和编译器、编程语言没有多大关系。只是有的时候,为了部署方便,选用一个平台、一个语言而已。分布式架构里面有成功、失败、超时三个情况,而超时就是最大的问题。所以,如何处理这个超时问题才是重中之重。当然,很多朋友都听过cap理论,也就是高可用性、性能、一致性,一般只能三者取其二。现实的情况是高可用性 > 性能 > 一致性,一个简单的例子就是很多时候我们在前台提交了数据,需要很久后台能才刷新出来。

 

    当然,分布式调试也是一个问题。如果程序运行过程中遇到网络失败的问题。这个里面有可能是客户端的问题,也可能是调度服务器的问题,Web服务器的问题,消息服务器的问题,微服务的问题,缓存的问题,数据库的问题,分布式固然能满足效率和流量、存储的需求,但是也会带来其他需要解决的问题。

 

    此外,大家要知道,高并发、高性能也需要客户端的配合。至少你不能让所有的客户端都连载在一个ip、一个port上,这个不合适吧?当然,客户端优化也是很重要的一个工作。

 

参考文献:

    1、分布式系统的事务处理,https://coolshell.cn/articles/10910.html

    2、学习分布式系统需要怎样的知识?,https://www.zhihu.com/question/23645117

 

PS:

    分布式除了必要的论文和中间件之外,zookeeper & keepalive是最值得学习的两个开源软件。

 

 

相关推荐
<p> <span style="font-size:16px;">概要介绍</span><span style="font-size:16px;">:</span><span></span> </p> <p> <span style="font-size:16px;">本门课程属于“</span><span style="font-size:16px;"><strong>Java</strong></span><span style="font-size:16px;"><strong>分布式中间件大汇聚实战</strong>”系列课程,主要介绍了企业级项目中真实的应用场景的实现及主流的</span><span style="font-size:16px;">Java</span><span style="font-size:16px;">核心技术栈(</span><span style="font-size:16px;">Redis</span><span style="font-size:16px;">、</span><span style="font-size:16px;">RabbitMQ</span><span style="font-size:16px;">、</span><span style="font-size:16px;">Spring AOP</span><span style="font-size:16px;">、</span><span style="font-size:16px;">Redisson</span><span style="font-size:16px;">、</span><span style="font-size:16px;">ZooKeeper…</span><span style="font-size:16px;">)的实战等等。除此之外,还介绍了如何基于</span><span style="font-size:16px;">Redis</span><span style="font-size:16px;">设计并实战一款点赞系统(点赞、取消点赞、排行榜、用户中心、文章点赞用户列表</span><span style="font-size:16px;">…</span><span style="font-size:16px;">)可以说技术干货甚多,不仅可以巩固企业级应用系统的开发实战能力,相信在面试、跳槽涨薪方面也能带来相应的帮助!</span><span></span> </p> <p> <span style="font-size:16px;">课程内容</span><span style="font-size:16px;">:</span> </p> <p> <span></span> </p> <p> <span style="font-size:16px;">传说中的金三银四、面试跳槽涨薪季已经来临,</span><span style="font-size:16px;">Debug</span><span style="font-size:16px;">特地为大家准备了一系列跟面试、跳槽、巩固核心技术栈相关的课程,本门课程属于第一季,其中的内容包括企业级项目中真实的应用场景实战、面试相关的技术点分享、主流的</span><span style="font-size:16px;">Java</span><span style="font-size:16px;">技术栈(</span><span style="font-size:16px;">Undertow</span><span style="font-size:16px;">、</span><span style="font-size:16px;">Redis</span><span style="font-size:16px;">、</span><span style="font-size:16px;">RabbitMQ</span><span style="font-size:16px;">、</span><span style="font-size:16px;">Spring AOP</span><span style="font-size:16px;">、</span><span style="font-size:16px;">Redisson</span><span style="font-size:16px;">、</span><span style="font-size:16px;">ZooKeeper…</span><span style="font-size:16px;">)实战等等。</span><span></span> </p> <p> <span style="font-size:16px;">除此之外,我们还基于</span><span style="font-size:16px;">Redis</span><span style="font-size:16px;">设计并实战了一款点赞系统,可以说技术干货甚多。在课程的最后,</span><span style="font-size:16px;">Debug</span><span style="font-size:16px;">给大家整理了一份最新的面向</span><span style="font-size:16px;">BAT</span><span style="font-size:16px;">大厂招聘 </span><span style="font-size:16px;">~ 2020</span><span style="font-size:16px;">年程序猿最新的</span><span style="font-size:16px;">Java</span><span style="font-size:16px;">面试题(附带目录和答案),希望对各位小伙伴的成长有所帮助!</span><span></span> </p> <p> <span style="font-size:16px;">值得一提的是,<span style="color:#E53333;">本季课程实战的应用场景包括“日志记录”、“邮件发送”、“通告消息通知”、“短信验证码失效验证”、“会员到期自动提醒</span></span><span style="font-size:16px;color:#E53333;">/</span><span style="font-size:16px;color:#E53333;">到期前</span><span style="font-size:16px;color:#E53333;">N</span><span style="font-size:16px;"><span style="color:#E53333;">天自动提醒”以及“点赞系统”的设计与实战</span>,其大纲如下所示:</span><span></span> </p> <p style="text-align:center;"> <img src="https://img-bss.csdn.net/202003191542029393.jpg" alt="" /></p> <p> <span style="font-size:16px;">其中,<span style="color:#E53333;">涉及到的技术栈包括</span></span><span style="font-size:16px;color:#E53333;">Spring Boot2.0</span><span style="font-size:16px;color:#E53333;">、</span><span style="font-size:16px;color:#E53333;">Mybatis</span><span style="font-size:16px;color:#E53333;">、</span><span style="font-size:16px;color:#E53333;">Undertow</span><span style="font-size:16px;color:#E53333;">、</span><span style="font-size:16px;color:#E53333;">Redis</span><span style="font-size:16px;color:#E53333;">、</span><span style="font-size:16px;color:#E53333;">RabbitMQ</span><span style="font-size:16px;color:#E53333;">、</span><span style="font-size:16px;color:#E53333;">Redisson</span><span style="font-size:16px;color:#E53333;">、</span><span style="font-size:16px;color:#E53333;">Spring AOP</span><span style="font-size:16px;color:#E53333;">、</span><span style="font-size:16px;color:#E53333;"> Java8…</span><span style="font-size:16px;">下面罗列出本门课程重点介绍的价格应用案例以及业务场景的实现流程图!</span><span></span> </p> <p> <span style="font-size:16px;">(</span><span style="font-size:16px;">1</span><span style="font-size:16px;">)基于</span><span style="font-size:16px;">Spring</span><span style="font-size:16px;">的消息驱动模型实现日志的异步记录:</span><span></span> </p> <p style="text-align:center;"> <img src="https://img-bss.csdn.net/202003191542305270.png" alt="" /></p> <p> <span style="font-size:16px;">(</span><span style="font-size:16px;">2</span><span style="font-size:16px;">)基于消息中间件</span><span style="font-size:16px;">RabbitMQ</span><span style="font-size:16px;">的消息队列实现日志的异步记录:</span><span></span> </p> <p style="text-align:center;"> <img src="https://img-bss.csdn.net/202003191542392329.png" alt="" /></p> <p> <span style="font-size:16px;">(</span><span style="font-size:16px;">3</span><span style="font-size:16px;">)基于缓存中间件</span><span style="font-size:16px;">Redis</span><span style="font-size:16px;">的订阅发布机制实现商户公告消息通知:</span><span></span> </p> <p style="text-align:center;"> <img src="https://img-bss.csdn.net/202003191542464483.png" alt="" /></p> <p> <span style="font-size:16px;">(</span><span style="font-size:16px;">4</span><span style="font-size:16px;">)基于</span><span style="font-size:16px;">Redis</span><span style="font-size:16px;">的</span><span style="font-size:16px;">Key</span><span style="font-size:16px;">失效与定时任务实现实现短信验证码的过期失效验证:</span><span></span> </p> <p style="text-align:center;"> <img src="https://img-bss.csdn.net/202003191542561828.png" alt="" /></p> <p> <span style="font-size:16px;">其他核心、典型的应用案例和业务场景的实战可以详细参考“课程目录”!</span><span></span> </p> <p> <br /></p> <p> <span style="font-size:16px;">除此之外,我们还基于缓存中间件</span><span style="font-size:16px;">Redis</span><span style="font-size:16px;">设计并实战实现了点赞系统中的点赞功能模块,下面罗列出其中涉及到的相关功能模块的实战流程图:</span><span></span> </p> <p style="text-align:center;"> <img src="https://img-bss.csdn.net/202003191543184157.png" alt="" /></p> <p style="text-align:center;"> <img src="https://img-bss.csdn.net/202003191543423775.png" alt="" /></p> <p style="text-align:center;"> <img src="https://img-bss.csdn.net/202003191543505292.png" alt="" /></p> <p style="text-align:center;"> <img src="https://img-bss.csdn.net/202003191543586733.png" alt="" /></p> <p style="text-align:left;"> <br /></p> <p style="text-align:left;"> <span style="font-size:16px;">其<strong>课程收益</strong>如下所示:</span> </p> <p style="text-align:center;"> <img src="https://img-bss.csdn.net/202003191544518309.png" alt="" /></p>
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页