Leader-us大型分布式系统案例实战(第一课作业)

第一题:
分类PPT最后一页的软件到下面的列表:
名称所属组织类型性质开发语言你的理解
内存/文件/计算/消息/基础设施/平台开源/商业版和社
区版
1)Hadoop Apache计算开源java
Hadoop是一个可编写并运行分布式应用的开源框架,常常用于大数据挖掘和云计算。使用这样的分布式系统来达到海量数据的存储和计算。
2)storm Apache计算/平台开源
可用于任意编程
语言
Apache Storm是一个免费开源的分布式实时计算平台。该平台可以实时、快速、可靠地处理无穷无尽的海量数据,除了基本流模型外,还提供了一系列的高级原语和抽象。
3)Spark SQL Apache计算开源
Scala、Java、
Python、R Spark SQL是Spark中用于结构化数据处理的模块。Spark SQL提供了诸如API、JDBC等诸多接口,对客户端提供多样接入形式。用户需要开发JDBC 客户端,使用Thrift Server提供的JDBC接口直接发送JDBC请求来完成结构化数据的计算和解析。
4)Mycat阿里数据库中间件开源java 1.一个彻底开源的,面向企业应用开发的大数据库集;
2.支持事务、ACID、可以替代MySQL的加强版数据库;
3.一个可以视为MySQL集的企业级数据库,用来替代昂贵的Oracle集;
4.一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server;
5.结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品;
勒夫数6.一个新颖的数据库中间件产品。
5)OpenStack OpenStack平台/基础设施开源Python OpenStack既是一个社区,也是一个项目和一个开源软件,它提供了一个部署云的操作平台或工具集。其宗旨在于,帮助组织运行为虚拟计算或存储服务的云,为公有云、私有云,也为大云、小云提供可扩展的、灵活的云计算。
6)Hive Apache数据仓库工具开源java Hive就是在Hadoop上架了一层SQL接口,可以将SQL翻译成MapReduce去Hadoop上执行,这样就使得数据开发和分析人员很方便的使用SQL来完成海量数据的统计和分析,而不必使用编程语言开发MapReduce那么麻烦。
7)zookeeper Apache平台/基础设施开源java ZooKeeper为分布式应用(distributed applications)提供开源的,分布式的协调服务。分布式应用使用ZooKeeper提供的一组简
单的原语来构建更高层次的服务,比如同步,配置维护,组和命名。ZooKeeper容易编程,数据模型类似于文件系统的目录树结构。ZooKeeper背后的动机就是为了解除分布式应用从头构建协调服务的职责。ZooKeeper替你做了。
8)Zeroc ICE ZeroC平台商业版和社区版C++,Java,C#,
Python,Ruby,
PHP和
ActionScript。
Zeroc ICE是集开源,跨
平台,跨语言,分布式,
安全,服务透明,负载均
衡,面向对象,性能优越,
防火墙穿透,通讯屏蔽与
一身的中间件标准。因此
相比Corba,DCOM,SOAP,
J2EE等的中间件技术,自
然是集众多优点于一身,
中越联合声明
而却没有他们的缺点。
9)Thrift Apache平台开源C++,Java,
Python,PHP,
Ruby,Erlang,
Perl,Haskell,
C#,Cocoa,
Smalltalk
汽车防撞系统Thrift是一个跨语言的
服务部署框架,最初由
Facebook于2007年开
发,2008年进入Apache
开源项目。Thrift通过一
gsp个中间语言(IDL,接口
定义语言)来定义RPC的
接口和数据类型,然后通
过一个编译器生成不同
语言的代码(目前支持
海南放映室
C++,Java,Python,PHP,
Ruby,Erlang,Perl,
Haskell,C#,Cocoa,
Smalltalk和OCaml),并
由生成的代码负责RPC协
议层和传输层的实现。
10)Hazelcast Hazelcast内存/平台开源java hazelcast是一个开放源码集和高度可扩展的数据分发平台,这是为Java:
1.快如闪电;数以千计的运算/秒。
2.故障安全;崩溃后没有丢失数据。
3.作为新服务器的动态调整。
4.超级简单的使用,包括一个单独的jar。
11)RabbitMQ LShift消息开源Python、
Ruby、.NET、
Java、JMS、C、
PHP、
ActionScript、
XMPP、STOMP等
AMQP,即高级消息队列协
议,是应用层协议的一个
开放标准,为面向消息的
中间件设计。消息中间件
主要用于组件之间的解
耦,消息的发送者无需知
道消息使用者的存在,反
之亦然。
AMQP的主要特征是面向
消息、队列、路由(包括
点对点和发布/订阅)、
可靠性、安全。
12)ØMQ iMatix消息开源C、C++、
Java、.NET、
Python等
ØMQ是一个简单好用的传
输层,像框架一样的一个
socket library,他使得
Socket编程更加简单、简
洁和性能更高。是一个消
息处理队列库,可在多个
线程、内核和主机盒之间
弹性伸缩。
13)Kafka Apache消息开源Scala Kafka是一个分布式的、分区的、多复本的日志提交服务。它通过一种独一无二的设计提供了一个
延安一月
消息系统的功能。
14)GlusterFS Gluster社区文件开源C GlusterFS是Scale-Out 存储解决方案Gluster的核心,它是一个开源的分布式文件系统,具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP 或InfiniBand RDMA网络将物理分布的存储资源聚集在一起,使用单一全局命名空间来管理数据。GlusterFS基于可堆叠的用户空间设计,可为各种不同的数据负载提供优异的性能。
15)Ceph Inktank文件开源C++Ceph作为分布式文件系统,具有以下特点:
1.高扩展性:使用普通x86服务器,支持10~1000台服务器,支持TB到PB 级的扩展。
2.高可靠性:没有单点故障,多数据副本,自动管理,自动修复。
3.高性能:数据分布均衡,并行化度高。对于objects storage和block storage,不需要元数据服务器。
第二题:
NUMA在哪些CPU上支持?目前有哪些服务器配置了这类CPU?Linux中关于NUMA的命令有哪些,如何开启NUMA?
a.NUMA(Non Uniform Memory Access)在PA-8900、Intel Itanium、Intel Xeon、Intel C600、Opteron、Power5这些CPU上支持。

本文发布于:2024-09-23 21:30:49,感谢您对本站的认可!

本文链接:https://www.17tex.com/xueshu/565199.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:数据   开源   平台   计算   使用   提供   消息   数据库
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议