IBM中国聪慧云平台与OpenStack首席架构师杨海明:开放云架构+企业增强
第一位讲师是IBM中国聪慧云平台与OpenStack首席架构师杨海明,他首先表示:构建企业云平台的三种办法中,仅仅利用OpenStack、KVM等多款大型开源软件搭建,可能前期支配上线比较快,后期掩护却是一个噩梦;而如果采取传统的商用方案,对业务需求变革的相应又比较慢;因此,比较合理的的办法是中间方案——开放架构加上独特的企业增强实现。
IBM云打算平台全面支持开放标准,包括OpenStack、Docker、CloudFoundry等。杨海明先容了IBM努力的五个方向:基于Power及OpenPower布局开放的云、基于Power Linux供应开放及高性能的云平台、致力于OpenStack云之间的开放互通、致力于Container技能的开放性和基于Bluemix构建生态体系。
IBM中国聪慧云平台与OpenStack首席架构师杨海明
杨海明表示,POWER架构支持利用GPU和FPGA加速提升云平台及其上层数据库和运用的性能,并且全面支持Ubuntu、Red Hat、SUSE等Linux平台,PowerKVM增强则通过分核技能实现在同一个核心上同时调度多个VM,可以深度挖掘P8多线程性能。OpenStack云之间的开放互通,IBM从三个方向动手:开放、模块化设计,多供应商协作,以及快速创新。IBM通过支持OpenStack基金会官方互操作性测试认证,办理各OpenStack生态系统的可移植性,实现更灵巧的资源配置和计费标准。OpenStack的多云管理,不仅整合IBM、HP、Mirantis的OpenStack,还整合了VMware,通过SDC、SDS、SDN及物理资源和虚拟资源的集成管理,将所有的私有环境、MSP以及公有云资源动态组条约一管理,从而走向稠浊云。
基于OpenStack的动态稠浊云
在Kilo版本,IBM实现的OpenStack企业环境增强紧张包括:
Bare Metal(Ironic)的增强以及和专业集群管理工具的集成文件系统(Manila)以及统一存储系统的集成企业Scheduling Service的集成企业内部安装支配的增强企业级资源管理的增强(Power,Mainframe,VMware)杨海明认为,同时支持物理机和VM是Docker,为PowerLinux Cloud创新带来了很好的技能支持:
类似于虚拟机,但险些没有性能开销具备更高的资源利用率更好的性能- 创建一个新的容器所需韶光为毫秒级可以向管理虚拟机一样管理容器杨海明末了强调:云一定是开放的环境,不仅是一层开放,而是每个层面都须要开放。第二,只用开放架构可以实现很好的想法,但是你要推动真实生产环境,由于企业真实生产环境运用一定是与开源哀求不符合,你的专业知识实在更主要。
新浪云打算总卖力人、SAE创始人丛磊:云打算核心运维体系
新浪云打算总卖力人、SAE创始人丛磊认为,运维是云打算的核心,但中国企业云环境下运维一个平台非常困难,缘故原由如下:
⽤用户不可预知性业务不可预知性做事多样性资源共享性早期夸⼤大导致⽤用户理解偏差丛磊表示,运维的职责在于对做事可靠(SLA)、业务质量(Performance)、本钱优化(Cost)的担保,他先容了SAE在这三个层面的实践履历。
新浪云打算总卖力人、SAE创始人丛磊
担保做事的SLA有两个要点:做到全体平台资源(包含软件、硬件和人)的可管理和可监控。人的管理方面,要建立好值班制度、赏罚制度、权限分配和跟踪以及运维培训。丛磊认为,云打算平台统统的故障来源于“变更”,包括硬件的变更(机器&设备上线、下线、报修、更新、迁居)和软件的变更管理(做事上线、下线、配置变更、扩容)。所有硬件的上线、下线包括保修都是严格按照路径走,机器下线时先断网非常主要,先保持外界孤岛隔离,如果没有问题再实行机器下线流程。软件变更,该当有非常严谨的流程判断是否精确,不是说刷几个页面和APP,该当看全体平台的状态,还要确保升级在十秒钟可以回滚,所有领导都要具名。此外,还要建立故障管理体系,包括故障处理、故障升级制度、故障总结等。
资源监控分三层:平台、做事和业务层。平台监控包括平台里的系统、网络、内存、上岸权限等。SAE监控页面几百个,以Zabbix为主,通过Zabbix对平台硬件资源进行监控。所有业务200、500比例都会做峰值变革的报警。还要对所有做事的API监控,所有做事都是API,有一套机制订时获取所有做事的API,并且判断它是成功还是失落败的。对做事做状态监控,包括PID、日志康健、GC颠簸等。不仅要看PID在不在,而是要知道复制服务日志是否刷新,同时要判断进程里是不是有壅塞,有没有卡的情形。而且要看全体做事的操作数量和时长,做事不会溘然挂了。
通过Zabbix对平台硬件资源进行监控
丛磊特殊指出监控的一个误区:监控API、日志、系统参数,但没有从业务层监控。他表示,要从实际用户角度做监控,做好用户监控、要求路径追踪、全生命周期监控。SAE 全体业务从用户注册、上岸、认证审核通过,到用户创建第一个APP,到APP的销毁,再到末了的退出,都有一个定期仿照。有一个机器人把定期流程走一遍,一旦有问题就会报警。
报警把稳的几个方面,包括重点办理“报不出来”和“报警过滥”,区分SLA和故障报警,分等级(邮件=>私信=>短信=>电话),以及建⽴立报警逻辑链(SAE正在努力的一个方面)。
做事质量方面,关注SLA排行榜、做事质量剖析、定期极度测试和工单勉励。本钱优化目的在于降落单位做事的本钱,包括通过虚拟化、定制机型、业务混跑等办法实现,并让每个开拓⼈职员理解业务的本钱和效率,避免资源滥用。
末了,丛磊分享了小团队做大运维的四个要点:
原则:敢于说不内外一体,不对任何人做分外支持对用户卖力,不对老板卖力不做分工,全栈式运维百度开放云资深架构师杨毅:百度开放云虚拟网络实践百度开放云资深架构师杨毅分享了百度开放云做事根本组件之一——虚拟网络部分的技能实践。杨毅表示,打算和存储的service化基本都有现成的标准和方案,但网络service化并不成熟,现在的NFV和SDN,都只能办理云打算网络里的部分问题(例如Virtual Private Cloud对网络提出更高的哀求),不能实现完完备全的Network as a service。
杨毅会从技能选型、工程实践等方面详细先容了在实现百度开放云的网络做事过程中所做的一些选择和思考。
百度开放云资深架构师杨毅
技能选型分为掌握平面和数据平面的技能。
掌握平面:
Neutron:业界通用的API,可插拔的plugin架构设计SDN & OpenFlow:集中掌握,软件定义,这个作为补充来使得网络更为灵巧健壮数据平面:
选择了社区目前最成熟的KVM和OpenvSwitch方案来实现单机网络虚拟化及虚拟接入功能,没有选择物理交流机来做接入的缘故原由紧张是考虑到软件开拓更为可控,当然在feature开拓成熟后会充分利用硬件offload技能来提升性能。选择了Vxlan来实现overlay的大二层技能,这样的一个好处是不须要改变现有物理网络构造,并且供应良好的租户隔离和可扩展性。Vxlan比拟nvgre/stt:L2-in-UDP,更好的利用多路径hash。末了选用了DPDK来实现一些x86下的高性能网络设备,这个一方面是团队之前有一些履历积累,另一方面讲也险些是业界标配。百度开放云网络做事掌握平面架构图
工程实践,杨毅会从性能优化、稳定性和可扩展性三方面来展开描述。
性能优化的基本方法论:建立基线,包括测试的case和衡量的指标;这是很关键的一个环节;后续便是一直的迭代,跑基线测试,手机数据,剖析结果,运用优化手段,再测试看指标。性能优化永无止境,根据实际需求来确定目标。
详细到虚拟网络里,从全体网络路径来看:
在VM也便是guest这一层面,对virtio/vhost进行了优化,采取zero copy/polling/多核多行列步队来优化虚拟网卡的性能;在Overlay,也便是物理Host这一层面,考虑到Vxlan的特性,打开了网卡的UDP多行列步队支持,考虑到overlay会使得数据包超过以太网的MTU,在分片特殊是vxlan协议分片的offload支持方面做了不少事情;采取dpdk实现一些高性能的网络Middle Box组件,例如vrouter/vswitch,在userspace进行网络处理的办法,比在kernel实现性能要赶过不少,同时也更灵巧,开拓更为方面,不用考虑与标准协议栈路径兼容。在稳定性方面,百度一样平常用SLA这个指标来衡量做事的可用性。杨毅认为,SLA是云做事最大寻衅。SLA的打算方法:可用性 = (MTBF / (MTBF + MTTR)) X 100,个中MTBF代表了做事在两次中断之间能够正常供应做事的均匀韶光;而MTTR代表了做事中断后的均匀规复韶光。
从这个公式来看,一方面要减少失落败次数,另一方面要降落失落败后的规复韶光。常见的方案包括通过多组硬件来实现冗余,软件去除SPF单点问题等。
百度开放云的实际工程实践中,硬件上,物理机上联采取双网卡bonding + switch 2虚1技能来担保高可用,在软件方案上,没有采纳社区供应的L3-HA/DVR等方案,缘故原由是经由评估,创造社区的这些方案首先都比较繁芜,引入很多新的组件,增加了不少的运维难度;其次在规模较大,例如vRouter数目增多的情形下,会有不少的bug;百度终极做的稳定性改进包括:
实现热升级机制来避免正常升级时的做事中断,使得快速迭代成为可能;通过引入OpenFlow和SDN Controller,通过推拉结合的办法,在打算节点由于流表没有精确配置导致无法精确转发数据包的时候,找Controller去拉一次流表;来办理MQ通信不可靠的问题;利用ecmp的办法,实现了bvrouter集群,彻底办理vRouter的单点问题;并且也办理了vRouter的收敛比问题实际支配了OpenStack后,百度就创造其很难扩展:
首先API Server自身无状态,可以大略的靠增加API Server来提升可扩展性,但实际上多个API Server之间的锁/并行处理有很多bug其次元数据存储在DB;DB自身的读写可扩展性也成问题MQ也可能成为瓶颈,在节点规模超过500台的时候问题凸显社区供应的Cell配置比较繁芜百度在可扩展性方面,有这些设计原则:
掌握平面:只管即便本地化处理;简化状态。数据平面:去除掉可能成为瓶颈的路径,例如vRouter,DHCP;肃清收敛比;要单播不要广播。杨毅末了分享了一个心得:不用硬磕单集群的可扩展性,公有云的特性,决定了可以按user做partition。
青云QingCloud系统工程师杨锦涛:青云QingCloud存储实践
青云QingCloud系统工程师杨锦涛先容了QingCloud在存储系统的设计思路,终极在架构呈现出的形态,以及在终极产品上做的产品,包括块存储、共享存储和工具存储。
青云QingCloud系统工程师杨锦涛
青云存储在物理设备层面做了区分,采取了SSD、SAS、SATA,向用户供应高性能的块存储,以及大容量块存储,以及超高性能块存储。共享存储是将供应的块设备以传统企业存储办法暴露出来,现在的做法因此Storage的办法暴露给用户。在块设备根本上还做了工具,工具存储可以直接跑在物理资源上,也可以跑在虚拟机上。块存储、共享存储、工具存储三者实现领悟,也便是说,块存储可以是DAS、共享存储或者工具存储。
青云存储系统架构图
杨锦涛认为,当前开源分布式存储系统非常有名三个项目GlusterFS、Ceph和Sheepdog,以分布式办法供应块存储,但仍旧没有办理传统存储方案的集中网络带宽瓶颈,但在公有云上,所有打算资源都要通过网络通道,很难知足带宽需求,即便知足,调配每个打算资源也非常麻烦。青云块存储的设计,除了Software Defined,在性能和容量方面也都要知足,其余还要兼容传统企业运营方案。终极的方案,在本身设计上做领悟,包括访问路径的领悟,全体存储系统就近访问,但存储系统在逻辑上仍旧是分布式系统。
共享存储的设计,是为了知足传统企业运营需求,目前供应Storage办法,下一步要做NAS,像SAMBA以及CIFS。
工具存储的设计, 由于不知道用户存什么样的数据,也不知道数据的大,以是要办理一个通用问题。青云第一个做法是多区域路线,其余办理类型不限、数目不限、容量最大。构造工具存储的总体架构,第一级有Load区域,根据用户要求进行重立项,或者是进行解析。上面GATEWAT方面都是可以任意进行扩展。区域里面存储的架构,最上面LB和LI这层可以进行任意水平扩展,下层为理解决索引的问题,做了分布式索引集群,可以看到做了一级和二级索引。为了防止大量的小文件之下索引数据乃至比实际存储数据还要大,须要做合并,条件是对同一个用户存储空间里的数据进行存储,不会跨用户也不会跨存储空间进行合并。
青云工具存储架构
杨锦涛末了先容了青云存储的Roadmap,包括如下八个方面:
CDN图形图像处理,音视频处理QingCloud各种存储做事的领悟与QingCloud其他做事的集成与客户存储环境的结合客户端更廉价的存储硬件与开源项目的集成总体而言,青云存储的设计思路便是:统一硬件架构;折衷的分布式存储系统;多维产品设计。
英特尔云打算和大数据办理方案架构师胡潇:英特尔视频云
英特尔云打算和大数据办理方案架构师胡潇先容了英特尔在视频互联网运用以及视频云打算的技能,帮助大家理解用本日已有的技能更好实现与视频干系的云打算,涉及在线视频、云化图形图像技能和视觉内容剖析等。
英特尔云打算和大数据办理方案架构师胡潇
通过GPU虚拟化技能,英特尔从性能、功能和共享三个层面支持云化图形图像,有三个范例思路。
API Forwarding:把API转到Backned,可以把Graphics发过来的API进行处理,然后再返回。最大的限定是功能非常受限,而且兼容性是很大的麻烦,由于你须要兼容各种各样的API。Graphics Driver:虚拟机初始化配制时就要配制好哪一个虚拟机可以独占CPU,可支持在云打算中的各个客户的档次和等级,非VIP的虚拟机共享GPU,VIP客户可以独占GPU。全功能的GPU虚拟化:有两个虚拟机上面的图形驱动,掌握流和掌握IO,转发到Hypervisor层,可以轮寻小块转发到CPU,让CPU进行处理,性能更好,不影响VM上不同的协议。英特尔媒体云架构
可以利用现有公有云或者是私有云软件架构结合英特尔在Graphics虚拟化,以OpenStack为例,可以在Nova节点之上用Xen Hypervisor或者KVM Hypervisor。
视觉内容剖析方面,英特尔做了IDLF深度学习框架,以及高性能编解码赞助大规模繁芜视频剖析。IDLF项目可以帮助你搭建网络,支持利用各种不同打算的框架、架构,包括CPU指令,包括GPU指令,同时基于平台级做了代码优化。视觉剖析会利用到GPU能力,如果要办理图象和视频实时性剖析哀求,要搭建流式处理框架做实时性视频剖析,不同阶段仍旧要用Graphics 编解码的能力,使得流式剖析可以承载视频业务。
七牛云存储首席架构师李道兵:云存储助力视频监控家当发展
七牛云存储首席架构师李道兵分享云存储如何办理短视频行业的痛点。当前短视频产品猖獗增长,紧张痛点在于数据上传、数据存储、数据处理集群、数据分发等方面,但随着SSD的广泛运用,数据库的处理能力已经提升了2-3个数量级,架构瓶颈反而随意马虎出在数据存储层面。
七牛云存储首席架构师李道兵
李道兵表示,云存储的发展已经足够成熟,环绕数据的大部分需求都能够办理。很多云存储都供应音视频处理做事,而且由于云存储本身处理容量大,可以应对峰值冲击。例如云存储可以设计过审查用的转码: 七牛做到双倍速,分辨率150x150, 去掉声音,降落码率,10s的视频只需40KB旁边;可以智能调度优化CDN,避免CDN故障时做事不可用;可以用多域名乃至IP下载来避免域名挟制。
他还表示,未来的天下,数据越来越主要,例如网络网页变成搜索功能来知足用户,网络用户的搜索和访问行为变成广告投放引擎来知足客户。
更多精彩内容,敬请关注 第七届中国云打算大会直播宣布,关注新浪微博直播@CSDN云打算。