您的位置:首页>>人物动态

七牛云宫静:基于容器及大数据的碰撞,SPOCK平台持续集成和部署的实践探索

发布时间:2018-07-11 14:08:59  来源:互联网    采编:贺飞  背景:

  如果说虚拟机作为一项革命性技术,在过去的十来年深刻地影响了IT界。那么如今以Docker为代表的容器技术,凭借其轻量、快速等优势,推动着互联网产业的革新与发展。而七牛云工程效率团队致力于打造高效稳定的CI/CD生态系统,并在完成了基于容器化CI/CD平台的开发和落地过程中,不断探索测试环境容器化的方向。在此基础上,也观察到了产品架构、服务特性、服务间依赖的复杂度给平台带来的诸多挑战。

  7月6日,在ArchSummit2018深圳站|全球架构师峰会上,七牛云工程效率部技术专家宫静分享了主题为《基于容器和大数据平台的持续交付平台》的演讲。本次演讲的主要内容是基于容器和大数据平台去构建的持续交付系统,是七牛云工程效率部在持续交付、容器化方面去做的技术实践。从以下两个方向展开:一个是容器化方向,一个是持续交付的平台。主要结合在七牛云的实践来介绍持续集成、持续部署在容器化方向的探索和思考,以及未来的方向。

  七牛云工程效率部技术专家宫静

  以场景为驱动,解决实际痛点

  七牛云创立至今已有七年时间,作为国内领先的以视觉智能和数据智能为核心的企业级云计算服务商,同时也是国内最有特色的智能视频云服务商,每年营收增速超300%,累计为 70 多万家企业提供服务,覆盖了国内80%网民。随着市场的快速变化,七牛云的业务需求也需拥有快速迭代、快速发布的能力。因此,在多平台交互、多代码版本存在、多服务组件互相依赖的情况下,要保证高质量的交付及产出效率,最关键的环节就是如何保证快速验证满足客户的场景,并且精准的达到可上线的状态,亦或是证明你的功能能够上线,这些都是在测试及生产环节需要着重考虑的问题。

  在开发环境下多样化的编译、运行环境使得复杂度导致调试自测难度增加,复杂的测试环境在有限的测试资源下如何提升验证效率、如何追踪并分析代码状态、产品质量,服务拆分后带来的架构复杂度、增加产品整体部署和运维的难度等问题下,对于产品运维人员来说,则需要考虑产品整体部署运维的难度。根据以上场景痛点,七牛云在解决这些问题时有着自己的方向以及思路。

  据宫静介绍“第一是要保证完善的工具链,不管是开发人员、测试人员以及运维人员都需要工具链的支持;第二点是容器化方向,我们的资源能够大幅提升它的有效利用率;第三点是可以做到环境的隔离,保证代码在一致的环境下编译运行,可移植性是增强的;第四点是质量效率上保证有持续演进的CICD系统,可以保证工程效率部做快速的迭代以及有效的验证;第五点是全流程去保证从研发到交付的内容是符合我们效率上、质量上的要求以及质量效率体系的建立。”

  基于此,七牛云持续交付系统SPOCK平台应运而生。

  SPOCK:基于容器与大数据平台的CICD平台

  据宫静介绍,SPOCK平台的定位是基于容器和大数据平台的持续交付系统。在容器化的实施方面,SPOCK平台的优势主要包括以下六点:

  1、对容器化测试环境进行一键式管理;

  2、服务部署模块化,可以自由编排,当面对复杂产品结构时,自由编排则会保证创建产品环境的灵活性;

  3、模块化工作流,用户可通过配置来按照需要对工作流路径进行扩展;

  4、持续集成持续发布,与研发流程中所涉及到的各个发布系统集成起来,实现代码持续集成持续交付;

  5、基于大数据平台Pandora的日志分析服务

  6、全流程的质量效率追踪

  宫静表示“研发团队的角色不同,都可以去使用SPOCK平台进行代码的持续集成。开发人员可能使用流程是当开发完成一部分功能的开发,可以去手动地触发的工作流,这个工作流是在SPOCK平台中管理的,它可以做到基于容器化的统一构建,SPOCK平台可以把构建镜像自动部署到容器云环境中,提供给开发同学进行调试和自测。”

  SPOCK平台拥有两个特性,容器环境的管理以及容器环境之上做到持续交付的实现。SPOCK平台中以产品抽象成产品模版进行管理,基于模版去部署产品实例。这些部署和模版是通过K8SCTL模块去实施,从而在容器集群中去生效,底层则是基于七牛容器云服务平台KirkCluster。而Pandora服务是七牛大数据平台,基于大数据平台对整个持续交付流程和测试环境集群做数据的统一收集和分析,最终可以在Pandora大数据平台上进行数据分析。

  SPOCK实施:基于大数据平台Pandora的日志分析服务

  对于将服务容器化,当要面临几十个服务、上百个服务时,要面对的不仅是服务量级上的变化,不同环境、不同场景它的配置以及运行环境可能是不一样的,而所需资源也不一样。要怎么将这些差异在平台中去有效地管理和维护,这就是SPOCK在容器化方向做的一些探索。

  而对于如多个产品需要部署在同一个基础服务模块上或者部署的服务间有相互依赖,应对不同环境,七牛云是如何去实施的呢?宫静表示“一个实际案例是要去部署一个带数据库服务的架构时,首先要去定义这个产品结构,将产品中的服务做一个抽象、隔离、拆分。抽象出前端的服务、后端服务、数据库服务,把这些前端服务、后端服务、数据库服务都模块化,作为服务模块去管理。编排的时候把服务按照逻辑编排到服务组,服务组内部都是平行的,同一服务组没有先后的启动顺序。但是当我要整体的去部署这个产品的时候,我可能先去部署数据库服务组,然后再去部署我的后端服务组,最后再去部署前端服务组,当所有服务组都部署完成之后,整个产品就可以对外提供一个可访问域名,然后作为一个整体去运行起来。”

  在实践中,一些服务判断现有方案下不适合做容器化,怎样去提供可以一键部署的测试环境?SPOCK的解决方案把物理级部署和容器部署做一个打通,在SPOCK去进行一键部署时,物理机部署和容器服务部署同时支持,服务之间可能有物理级部署和服务部署两部分,然后它们之间可以互相依赖。SPOCK平台需要把已有的物理级部署方式在平台上实现、对接。然后需要去梳理服务依赖关系,通过统一的配置管理和统一的规划来进行部署实施。

  宫静表示“我们实施中遇到的日志方面的实际问题,如当容器服务重启伸缩时,它的日志到底是如何管理收集,我们现在的实施是基于大数据平台—Pandora做一个统一的日志收集和分析的服务,也就是说我在这个容器集群上面的所有测试环境,都基于大数据平台的数据源收集的组件去进行数据收集,数据收集后我们把它统一放在数据平台上做日志管理,通过这个日志管理有一些新的创新点,当日志统一收集起来之后,它可以做更高效的分析,可以定制化的搜索,业务报警等。”

  七牛云的愿景是缩短产品到想法的距离,而对于未来将会考虑的方向,宫静表示,“希望把测试服务化对研发团队进行开放。现在做到的是测试环境,作为一个一键部署的服务去提供开放,之后希望把所有的这些持续交付的流程环节都把它模块化、服务化,作为测试服务提供出去。这样所有开发人员都是可以通过服务化的方式,去使用七牛云的测试体系、质量体系。”




关注ITBear科技资讯公众号(itbear365 ),每天推送你感兴趣的科技内容。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

本文评论
观脉科技CTO苗权:SD-WAN的本质是“技术+产品+服务+运营+销售”
SD-WAN,即软件定义广域网,是将SDN技术应用到广域网场景中所形成的一种服务,这种服务用于连接广阔...
日期:11-23
百度首席安全科学家韦韬做客第一财经:数据安全AI捍卫
AI时代,互联网和大数据已然融入到你我工作、生活之中,带来便利的同时,公众对于包括个人隐私在内...
日期:11-22
出门问问工程副总裁黄美玉博士入选IEEE Fellow
IEEE(国际电子电气工程协会)2019年的Fellow(院士)评选结果将于2019年1月1日正式生效,但记者刚刚获...
日期:11-22
今日头条CEO陈林:头条内部没有广告KPI ,欢迎行业良性竞争
11月17日,今日头条“创作者大会”更名为“生机大会”之后首次举办。在生机大...
日期:11-21
途鸽创始人、董事长张衡荣获 “企业家年度人物”
9月8日-9日,华中科技大学第11届校友企业家论坛暨第四届互联网论坛在北京举行,主题为“变化与...
日期:11-21
罗永浩回应酷派子公司起诉;华为已出货1万个5G基站
最近风波不断的锤子科技又被报道遭到了酷派旗下子公司宇龙的起诉,罗永浩昨晚发微博称“正在和...
日期:11-21
马化腾:腾讯走到今天,首先应该归功于这个时代
今年全国两会期间,腾讯公司董事会主席兼首席执行官马化腾称,微信全球月使用活跃用户数已突破10亿...
日期:11-20
今日头条CEO陈林:优质内容将胜出,低质信息将无路可走
11月17日,今日头条CEO陈林在生机大会上发表主题演讲,表示:随着内容行业的发展,优质内容将胜出,...
日期:11-20
华为王安宇:推动安卓绿色联盟成为行业标准,让技术服务于人
11月16日,首届安卓绿色联盟开发者大会在北京圆满落下帷幕。本届大会可谓是精英云集,阵容豪华。作...
日期:11-20
陈生强:共建才能发挥“产业X科技”的乘数效应
11月20日,由京东集团、京东金融联合主办的JDD-2018京东数字科技全球探索者大会隆重开幕。来自科技...
日期:11-20
今日头条CEO陈林:今日头条的关键词是“价值”
11月17月,今日头条生机大会在京举办。今日头条CEO陈林在大会上透露了,2018年4月,今日头条升级slo...
日期:11-20
今日头条CEO陈林:用户对优质内容的需求不断在提升
近日,2018今日头条生机大会举办。今日头条CEO陈林发表主题演讲,分享了他对内容行业的观察认知。陈...
日期:11-20
51Talk 人力副总裁王嵋GET大会剖析在线教育企业管理之道
11月15日,GET 2018教育科技大会在京闭幕,来自全球34个国家的328位教育领袖及数万名行业人员出席,...
日期:11-20
再获殊荣!e成科技CEO及总裁荣膺中国人力资源科技TOP人物
11月16日,e成科技受邀参加HRTech China在上海举办的的2018中国人力资源科技博览会。在活动当日进行...
日期:11-19
苹果CEO库克:科技公司不可为所欲为
一直以来,苹果在一些事情的处理器都严格执行着自己的底线,比如不会给政府留数据后门,比如对用户...
日期:11-19
百度安全马杰:AI思维重塑安全边界 七种武器助力开放生态
AI会让世界变得更好吗?
  这是11月16日,百度安全总经理马杰在天府2018国际网络安全高峰论坛...
日期:11-16
51Talk CEO黄佳佳出席GET大会:普惠式教育是在线教育的未来
11月13日,备受瞩目的GET2018教育科技大会在北京国际会议中心拉开序幕,GET大会由教育科技媒体芥末...
日期:11-16
广东省委书记李希、省长马兴瑞一行调研佳都科技
11月12日,中央政治局委员、广东省委书记李希,广东省委副书记、省长马兴瑞等领导在陪同河北省党政...
日期:11-16
联想常程:Z5Pro在加紧备货 发誓不做猴王
11月16日,上个月底,三款采用了滑盖结构的智能手机小米MIX3、荣耀Magic2以及联想Z5Pro相继发布。其...
日期:11-16
亚马逊CEO贝佐斯:亚马逊终会失败,我们的工作是尽可能拖延它
11月16日,近日,亚马逊CEO杰夫·贝佐斯向全体员工表示了自己对于亚马逊未来的想法。在上周四...
日期:11-16