信息无障碍通道
您的位置:首页>>业界动态

金融行业统一监控之运维数据治理

发布时间:2020-08-07  来源:互联网    背景: 无障碍通道

  数智时代,数据是金融机构经营的核心资产和最重要战略资源,也是不可或缺的生产要素。只有更好的管理、分析业务/IT系统产生的各种数据,才能从中洞察更大的业务价值,持续优化用户体验,而运维数据治理就是挖掘数据价值的基础和重要手段。

  亟需运维数据治理

  复杂的业务系统,海量的IT/业务数据,以及新架构、新技术的广泛应用,运维管理面临更大挑战。

  第一,缺少统一的告警中心:各种监控系统相互独立没有关联,告警事件内容不同、运维人员也不同,无法快速判断故障根源,因多个监控系统的告警事件扰乱对故障问题的正确快速定位。

  第二,缺少统一的监控中心:监控对象的逻辑拓扑或物理拓扑没有关联起来,当问题发生时,需要在不同层面的监控工具中排查,问题的快速发现、快速定位、快速解决带来了诸多不确定性,从而影响到用户体验和SLA。

  第三,缺少统一的评价体系:监控对象都有独立的评价标准,而这些标准缺少统一性,导致运维人员没有指标体系的参考依据,缺少对系统整体运行健康度进行管控,同时无法制定出统一的故障预警管理策略。

  运维数据治理的原则

  第一,统一数据维度:不同监控系统的告警信息进行有效的关联、收敛、压缩,统一定义告警和事件级别,以及对应的处理(通知)流程;打通运维工具间的数据孤岛,将全部运维监控工具产生(采集)的数据进行统一的处理和存储。确保每个业务系统的每个监控指标都有唯一的、定义明确的数据来源。

  第二,提升数据质量:不同监控系统的数据源进行数据标准的重定义,依据国家、业界或者监管机构的标准,再结合自身的实际情况对数据进行规范化处理;一般包括格式、编码规则、字典值等,将处理后的多源异构的运维数据进行统一的存储与关联分析,从而提升运维数据的质量。

  第三,确保数据实效性:运维数据往往存在大量的重复和冗余,同一个事件可能导致大量重复的指标、告警、日志等。通过过滤、降噪和聚合,把具备历史分析价值的数据流转到数据湖中进行分析,这不仅会节省时间,而且也能够节省冗余数据的存储和计算成本。

  运维数据治理的目标

  通过建设一体化的统一监控平台,可以帮助IT部门实现运维数据的三个统一:

  第一,统一标准:实现运维数据处理规范中对数据采集、处理、存储、展现的标准统一;实现运维事件和告警处理流程规范中对事件级别定义,处理流程定义、通知内容定义的标准统一;实现监控指标定义中的SLO(服务等级目标)指标选取。

  第二,统一数据:元数据管理可以清晰展现数据从哪来,属于谁,让运维人员或者系统能够更好地理解所获取的数据,同时通过统一的存储与关联分析将多源异构数据彻底打通。

  第三,统一服务:用户通过统一的服务接口(GUI/API)消费运维数据和功能。主要包括:数据呈现(大屏和仪表板)服务、数据分析服务(数据建模和查询)、监控指标异常检测服务、监控告警通知订阅服务等。

  运维数据治理解决方案

  云智慧运维数据治理解决方案支持PB级、多种数据的采集、分析、存储和管理,包括海量结构化数据、半结构化数据和非结构化数据,且具备线性的横向扩展能力。

  运维数据的统一采集

  通过并行多任务采集,提高数据采集效率及准确性,支持各类数据源(日志、监控、业务、配置等)的配置信息录入、查看、修改,并提供各类数据源的数据样例展示。支持HTTP、Kafka、API、日志、文本、数据库、自定义等多种方式数据接入,数据采集接口程序规范统一,同时具备监控接口采集效率、统计采集数据量的能力。

  运维数据的统一处理

  高效数据处理机制:采用高性能混合存储模式,非实时数据存储全量数据,实时数据在全量数据的基础上实现增量存储,相对于其它传统的数据存储查询方式,存储效率提高300倍。

  可视化数据处理过程:数据处理提供图形化操作界面,实现自助式数据分析与挖掘算法模型创建。整个数据处理过程,支持通过Web界面进行编辑,无需编辑程序代码或Shell脚本,即可完成数据处理的复杂操作。

  数据集成与ETL:提供数据集成实施和服务功能,从ETL 数据导入到SQL查询以及全文检索的一站式图形化工作流,支持分布式的海量日志采集、聚合和传输。

  运维数据的统一存储

  基于几个核心场景:数据治理、数据集市、数据分析、数据应用等,持多种存储介质和计算模型,同时具备可靠性、可用性、一致性、伸缩性。

  1、监控数据存储:时序数据库(ClickHouse、InfluxDB)

  2、日志数据存储:Elasticsearch、Hadoop/Hbase

  3、分析报表数据存储:MySQL等关系型数据库

  4、告警事件数据存储:Redis数据库

  运维数据的统一服务

  运维数据可以进行按需消费,根据运营和运维的需求,快速敏捷的创建面向特定场景的数据应用,充分释放数据的价值。汇总数据、整合指标体系、制定相应标准,通过PC端、移动端、ECC大屏、Dashboard,数据展示业务健康、IT资源健康、用户体验、安全态势以及问题事件等应用服务。

  价值与展望

  云智慧运维数据治理解决方案构建了一套完整的IT与业务系统的评价体系,为提高运维效率、优化用户体验、改进服务流程、资产管理、运营决策等方面提供了强有力的支撑。运维数据治理不可一蹴而就,从业务发展、数据治理意识形成、数据治理体系运行、人员组织等需要一个长效机制来进行保障,这样才能让数据资产可以发挥更大的作用。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

本文评论
百度智慧医疗合作伙伴计划发布,共同构建AI+医疗繁荣生态
百度正在加速采用领先的AI技术帮助医疗行业实现智能化升级。8月15日,百度智慧医疗合作伙伴沙龙在青...
日期:08-17
CITE 2020,TCL智慧柔风空调打破传统固有认知,展现智慧科技魅力
8月14日,国内首屈一指的电子信息产业展会——第八届中国电子信息博览会(即CITE2020)在深...
日期:08-17
亚信科技喜获2020年国际智能运维(AIOps)挑战赛全国亚军
2020年8月15日,由中国计算机学会主办,清华大学、中国移动、中山大学承办的第三届国际智能运维(AIO...
日期:08-17
最快的AI遇上婉约的江南会擦出什么火花?华为2020全球智博会全回顾!
8月14日-16日,第三届全球人工智能产品应用博览会(AIExpo2020)在苏州国际博览中心举行。本届智博会...
日期:08-17
面对美国制裁,中国企业要敢于斗争
从中兴到华为,从Tiktok到微信,美国特朗普政府对中国企业采取的是一种赶尽杀绝的手段。这种极端敌...
日期:08-17
有线耳机?realme Buds 经典版将于 8 月 18 日在印度发布
8月17日消息 上个月,realme 印度公司 CEO 透露,该公司计划 8 月份在市场上推出新的耳机。据外媒 G...
日期:08-17
PS5绝配!索尼自曝:新一代PS VR正在开发中
尽管索尼已经公布两款PS5主机(数字和光驱版)以及一大波配件(DualSense手柄、摄像头、头戴耳机等),...
日期:08-17
三星计划将部分智能手机生产线转移到印度,五年创造价值超 400 亿美元
8月17日消息 据外媒 ET Telecom 今日报道,知情人士透露称,三星计划将其智能手机生产线的关键部分...
日期:08-17
无人配送机器人市场规模可替代人工成本 即将迎来普及时代
近日,36氪创投研究院发布《2020年无人配送领域研究报告》,其中称,疫情之下,无人配送承载着众人...
日期:08-17
Mate 50有戏 华为确认:正打造同时支持全屏指纹和屏下摄像头技术的手机
  据外媒报道,华为技术人员在于AA的交流中确认,...
日期:08-17
性能暴涨3倍!IBM Power10处理器宣布:首次7nm、至少30核心
上代产品诞生了长达三年之后,蓝色巨人IBM今天正式宣布了新一代的Power10,专为满足企业级混合云计...
日期:08-17
传闻华为Mate 40系列将使用全新液体相机技术
华为 Mate 40 系列将是今年值得期待的旗舰机型,近日一位爆料者透露,即将推出的 Mate 40 将采用华...
日期:08-17
联想拯救者 R7000P 高配版来了,8 月 25 日开售
8 月 17 日消息 刚刚,联想拯救者发布预告,新品 “115W”游戏本将于 8 月 25 日开售。很...
日期:08-17
一加手机图库新增支持编辑 4K/60FPS 视频
8月17日消息 OnePlus一加图库App已经进行了更新,版本号升级到了3.12.28版本,本次更新引入了两个重...
日期:08-17
【旅游企业必看】360旅游行业助力计划来了!
内容提要:
  旅游行业复苏进行时,360智慧商业祭出助力双响炮,发起360奇游计划与原产地计...
日期:08-17
热烈庆祝炬芯科技股份有限公司成立
炬芯科技官方消息宣布,于2020 年 8 月,炬芯(珠海)科技有限公司正式更名为:炬芯科技股份有限公司...
日期:08-17
骁龙730G迎来升级版:将于9月推出 不支持5G
近年来,高通在中高端手机芯片中一直处于主导地位。但随着联发科推出的几款畅销5G芯片,其市场份额...
日期:08-17
融合互联 数智建造——用友建筑助力建企数智化成功
8月15日,由用友举办的2020商业创新大会·东部峰会在苏州太湖国际会议中心隆重召开。来自建筑...
日期:08-17
云知声-上海师范大学自然人机交互联合实验室获 Blizzard Challenge 2020 国际语音合成大赛第一名
Blizzard Challenge 2020 国际语音合成大赛刚刚落下帷幕。由云知声-上海师范大学自然人机交互联合实...
日期:08-17
中国广电与高通成功完成全球首次 700MHz 频段 5G 数据呼叫
今天,中国广播电视网络有限公司(简称中国广电)与高通宣布,双方成功完成全球首次 700MHz(n28 频段)...
日期:08-17
  专栏介绍
爱萌妮儿 的专栏
爱萌妮儿发表的文章
积分:
自我介绍 :