来⾃：开源中国 编辑部的故事
本⽂是学习⼤型分布式⽹站架构的技术总结。对架构⼀个⾼性能、⾼可⽤、可伸缩及可扩展的分布式⽹站进⾏了概要性描述，并给出⼀个架构参考。⽂中⼀部分为读书笔记，⼀部分是个⼈经验总结，对⼤型分布式⽹站架构有较好的参考价值。
⼀、⼤型分布式⽹站架构技术
1、⼤型⽹站的特点
⽤户多，分布⼴泛
⼤流量，⾼并发
安全环境恶劣，易受⽹络攻击
功能多，变更快，频繁发布
从⼩到⼤，渐进发展
以⽤户为中⼼
免费服务，付费体验
2、⼤型⽹站架构⽬标
⾼性能：提供快速的访问体验。
⾼可⽤：⽹站服务⼀直可以正常访问。
可伸缩：通过硬件增加/减少，提⾼/降低处理能⼒。
安全性：提供⽹站安全访问和数据加密、安全存储等策略。
扩展性：⽅便地通过新增/移除⽅式，增加/减少新的功能/模块。
敏捷性：随需应变，快速响应；
3、⼤型⽹站架构模式
分层：⼀般可分为应⽤层、服务层、数据层、管理层与分析层；
分割：⼀般按照业务/模块/功能特点进⾏划分，⽐如应⽤层分为⾸页、⽤户中⼼。
分布式：将应⽤分开部署（⽐如多台物理机），通过远程调⽤协同⼯作。
集：⼀个应⽤/模块/功能部署多份（如：多台物理机），通过负载均衡共同提供对外访问。
缓存：将数据放在距离应⽤或⽤户最近的位置，加快访问速度。 异步：将同步的操作异步化。客户端发出请求，不等待服务端响应，等服务端处理完毕后，使⽤通知或轮询的⽅式告知请求⽅。⼀般指：请求——响应——通知模式。
无绳电熨斗冗余：增加副本，提⾼可⽤性、安全性与性能。
安全：对已知问题有有效的解决⽅案，对未知/潜在问题建⽴发现和防御机制。
⾃动化：将重复的、不需要⼈⼯参与的事情，通过⼯具的⽅式，使⽤机器完成。
敏捷性：积极接受需求变更，快速响应业务发展需求。嵌入式硬盘录像机
4、⾼性能架构
以⽤户为中⼼，提供快速的⽹页访问体验。主要参数有较短的响应时间、较⼤的并发处理能⼒、较⾼的吞吐量与稳定的性能参数。
可分为前端优化、应⽤层优化、代码层优化与存储层优化。
前端优化：⽹站业务逻辑之前的部分；
浏览器优化：减少HTTP请求数，使⽤浏览器缓存，启⽤压缩，CSS JS位置，JS异步，减少Cookie传输；CDN加速，反向代理；
应⽤层优化：处理⽹站业务的服务器。使⽤缓存，异步，集 代码优化：合理的架构，多线程，资源复⽤（对象池，线程池等），良好的数据结构，JVM调优，单例，Cache等；
存储优化：缓存、固态硬盘、光纤传输、优化读写、磁盘冗余、分布式存储（HDFS）、NoSQL等。
5、⾼可⽤架构
⼤型⽹站应该在任何时候都可以正常访问，正常提供对外服务。因为⼤型⽹站的复杂性，分布式，廉
价服务器，开源数据库，操作系统等特点，要保证⾼可⽤是很困难的，也就是说⽹站的故障是不可避免的。
如何提⾼可⽤性，就是需要迫切解决的问题。⾸先，需要从架构级别考虑，在规划的时候，就考虑可⽤性。⾏业内⼀般⽤⼏个9表⽰可⽤性指标，⽐如四个9（99.99），⼀年内允许的不可⽤时间是53分钟。
不同层级使⽤的策略不同，⼀般采⽤冗余备份和失效转移解决⾼可⽤问题。
应⽤层：⼀般设计为⽆状态的，对于每次请求，使⽤哪⼀台服务器处理是没有影响的。⼀般使⽤负载均衡技术（需要解决Session同步问题）实现⾼可⽤。
服务层：负载均衡，分级管理，快速失败（超时设置），异步调⽤，服务降级，幂等设计等。阻燃双面胶
数据层：冗余备份（冷，热备[同步，异步]，温备），失效转移（确认，转移，恢复）。数据⾼可⽤⽅⾯著名的理论基础是CAP理论（持久性，可⽤性，数据⼀致性[强⼀致，⽤户⼀致，最终⼀致]）
6、可伸缩架构
伸缩性是指在不改变原有架构设计的基础上，通过添加/减少硬件（服务器）的⽅式，提⾼/降低系统的处理能⼒。
应⽤层：对应⽤进⾏垂直或⽔平切分。然后针对单⼀功能进⾏负载均衡（DNS、HTTP[反向代理]、IP、链路层）。
服务层：与应⽤层类似；
数据层：分库、分表、NoSQL等；常⽤算法Hash，⼀致性Hash。
7、可扩展架构
可以⽅便地进⾏功能模块的新增/移除，提供代码/模块级别良好的可扩展性。
模块化，组件化：⾼内聚，低耦合，提⾼复⽤性，扩展性。
稳定接⼝：定义稳定的接⼝，在接⼝不变的情况下，内部结构可以“随意”变化。
设计模式：应⽤⾯向对象思想，原则，使⽤设计模式，进⾏代码层⾯的设计。
消息队列：模块化的系统，通过消息队列进⾏交互，使模块之间的依赖解耦。
分布式服务：公⽤模块服务化，提供其他系统使⽤，提⾼可重⽤性，扩展性。
8、安全架构
煅烧石油焦
对已知问题有有效的解决⽅案，对未知/潜在问题建⽴发现和防御机制。对于安全问题，⾸先要提⾼安全意识，建⽴⼀个安全的有效机制，从政策层⾯，组织层⾯进⾏保障，⽐如服务器密码不能泄露，密码每⽉更新，并且三次内不能重复；每周安全扫描等。以制度化的⽅式，加强安全体系的建设。同时，需要注意与安全有关的各个环节。安全问题不容忽视，包括基础设施安全，应⽤系统安全，数据保密安全等。
基础设施安全：硬件采购，操作系统，⽹络环境⽅⾯的安全。⼀般采⽤正规渠道购买⾼质量的产品，选择安全的操作系统，及时修补漏洞，安装杀毒软件防⽕墙。防范病毒，后门。设置防⽕墙策略，建⽴DDOS防御系统，使⽤攻击检测系统，进⾏⼦⽹隔离等⼿段。
应⽤系统安全：在程序开发时，对已知常⽤问题，使⽤正确的⽅式，在代码层⾯解决掉。防⽌跨站脚本攻击（XSS），注⼊攻击，跨站请求伪造（CSRF），错误信息，HTML注释，⽂件上传，路径遍历等。还可以使⽤Web应⽤防⽕墙（⽐如：ModSecurity），进⾏安全漏洞扫描等措施，加强应⽤级别的安全。
数据保密安全：存储安全（存储在可靠的设备，实时，定时备份），保存安全（重要的信息加密保存，选择合适的⼈员复杂保存和检测等），传输安全（防⽌数据窃取和数据篡改）；
常⽤的加解密算法（单项散列加密[MD5、SHA]，对称加密[DES、3DES、RC]），⾮对称加密[RSA]
等。
9、敏捷性
⽹站的架构设计，运维管理要适应变化，提供⾼伸缩性，⾼扩展性。⽅便的应对快速的业务发展，突增⾼流量访问等要求。
除上⾯介绍的架构要素外，还需要引⼊敏捷管理，敏捷开发的思想。使业务，产品，技术，运维统⼀起来，随需应变，快速响应。
10、⼤型架构举例
以上采⽤七层逻辑架构，第⼀层客户层，第⼆层前端优化层，第三层应⽤层，第四层服务层，第五层数据存储层，第六层⼤数据存储层，第七层⼤数据处理层。
吹管消声器
客户层：⽀持PC浏览器和⼿机APP。差别是⼿机APP可以直接通过IP访问，反向代理服务器。
前端层：使⽤DNS负载均衡，CDN本地加速以及反向代理服务；
应⽤层：⽹站应⽤集；按照业务进⾏垂直拆分，⽐如商品应⽤，会员中⼼等；
服务层：提供公⽤服务，⽐如⽤户服务，订单服务，⽀付服务等；
数据层：⽀持关系型数据库集（⽀持读写分离），NOSQL集，分布式⽂件系统集；以及分布式Cache；
⼤数据存储层：⽀持应⽤层和服务层的⽇志数据收集，关系数据库和NOSQL数据库的结构化和半结构化数据收集；
⼤数据处理层：通过Mapreduce进⾏离线数据分析或Storm实时数据分析，并将处理后的数据存⼊关系型数据库。（实际使⽤中，离线数据和实时数据会按照业务要求进⾏分类处理，并存⼊不同的数据库中，供应⽤层或服务层使⽤）。
⼆、⼤型电商⽹站系统架构演变过程
⼀个成熟的⼤型⽹站（如淘宝、天猫、腾讯等）的系统架构并不是⼀开始设计时就具备完整的⾼性能、⾼可⽤、⾼伸缩等特性的，它是随着⽤户量的增加，业务功能的扩展逐渐演变完善的，在这个过程中，开发模式、技术架构、设计思想也发⽣了很⼤的变化，就连技术⼈员也从⼏个⼈发展到⼀个部门甚⾄⼀条产品线。
所以成熟的系统架构是随着业务的扩展⽽逐步完善的，并不是⼀蹴⽽就；不同业务特征的系统，会有
各⾃的侧重点，例如淘宝，要解决海量的商品信息的搜索、下单、⽀付；例如腾讯，要解决数亿⽤户的实时消息传输；百度它要处理海量的搜索请求。
他们都有各⾃的业务特性，系统架构也有所不同。尽管如此我们也可以从这些不同的⽹站背景中，出其中共⽤的技术，这些技术和⼿段⼴泛运⽤在⼤型⽹站系统的架构中，下⾯就通过介绍⼤型⽹站系统的演化过程，来认识这些技术和⼿段。
1、最开始的⽹站架构
最初的架构，应⽤程序、数据库、⽂件都部署在⼀台服务器上，如图：
2、应⽤、数据、⽂件分离
随着业务的扩展，⼀台服务器已经不能满⾜性能需求，故将应⽤程序、数据库、⽂件各⾃部署在独⽴的服务器上，并且根据服务器的⽤途配置不同的硬件，达到最佳的性能效果。
3、利⽤缓存改善⽹站性能
在硬件优化性能的同时，同时也通过软件进⾏性能优化，在⼤部分的⽹站系统中，都会利⽤缓存技术改善系统的性能，使⽤缓存主要源于热点数据的存在，⼤部分⽹站访问都遵循28原则（即80%的访问
请求，最终落在20%的数据上），所以我们可以对热点数据进⾏缓存，减少这些数据的访问路径，提⾼⽤户体验。
导电膜缓存实现常见的⽅式是本地缓存、分布式缓存。当然还有CDN、反向代理等，这个后⾯再讲。本地缓存，顾名思义是将数据缓存在应⽤服务器本地，可以存在内存中，也可以存在⽂件，OSCache就是常⽤的本地缓存组件。本地缓存的特点是速度快，但因为本地空间有限所以缓存数据量也有限。分布式缓存的特点是，可以缓存海量的数据，并且扩展⾮常容易，在门户类⽹站中常常被使⽤，速度按理没有本地缓存快，常⽤的分布式缓存是Memcached、Redis。
4、使⽤集改善应⽤服务器性能
应⽤服务器作为⽹站的⼊⼝，会承担⼤量的请求，我们往往通过应⽤服务器集来分担请求数。应⽤服务器前⾯部署负载均衡服务器调度⽤户请求，根据分发策略将请求分发到多个应⽤服务器节点。
常⽤的负载均衡技术硬件的有F5，价格⽐较贵，软件的有LVS、Nginx、HAProxy。LVS是四层负载均衡，根据⽬标地址和端⼝选择内部服务
器，Nginx和HAProxy是七层负载均衡，可以根据报⽂内容选择内部服务器，因此LVS分发路径优于Nginx和HAProxy，性能要⾼些，⽽Nginx和HAProxy则更具配置性，如可以⽤来做动静分离（根据请求报⽂特征，选择静态资源服务器还是应⽤服务器）。
5、数据库读写分离和分库分表
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议