阿里云云监控产品的监控数据只能查看报表无法下载吗?

本报告长期监测数据中心、基础云、、行业云等赛道动态,基于对2022年5月各行业的观察,得出以下观点:

在政策新闻梳理中,国家在乡村建设方案上重点强调推进农村农业大数据体系的建设。在重点新闻扫描上,5G数据中心的建立仍是热点,IDC发布的一系列市场规模报告均呈上升趋势。此外,各龙头厂商纷纷发布新品,为云市场注入多股创新活力,呈现产品创新渗透至生态创新的格局。在投融资事件梳理中,对于5月新增的投融资事件,SaaS仍然是备受青睐的焦点,在投融资笔数、金额上仍领先。此外,5月新增投资事件赛道还有云安全、数据库、数据中台,均在1-2件之间。

本月艾瑞重点研究内容:

云服务行业应用:在当前云服务行业应用发展历程中,各行业应用并不均衡,其中云服务通过赋能泛互联网行业各个环节,市场占比较高,达到27%左右。政务在政策鼓励下加大IT(尤其是云服务)支出,近年来上云速度持续加码,占比为17%左右。而行业自身信息化程度高,在私有云的部署上应用能力较强,项目金额较高,占比为11%左右。

政企采购数字化:政企采购以非生产性物资及轻量服务为主,国企渗透高于政府。通过云平台采购,能更好地整合供求和监管资源,实现交易规范化、监管科学化和服务普惠化,帮助政企采购高效节资。随着采购平台的节资提效优势显露,政企采购主体会进一步扩大,品也将成为重点采购品类。同时政企采购平台正朝着移动化和智能化升级,并向外延伸丰富采购供应链,以及与第三方合作形成服务生态,共同服务政企客户。

艾瑞观点:2022年1月初起至5月末,SaaS赛道的投资笔数仍旧显著领先,此赛道5月新增3笔投资,累计87笔。其余5月新增分别是数据库1笔,云安全2笔,数据中台2笔。

艾瑞观点:2022年1月初至5月末累计各赛道投融资分布轮次比例如上,SaaS与云安全赛道仍旧在覆盖种类和笔数上较为领先。在5月新增投资事件中,SaaS赛道1笔为D1轮,1笔为战略投资,1笔为股权投资。云安全新增两笔分别为天使轮和股权投资。数据中台新增A、B各一轮,数据库新增一笔被事件。综上,SaaS赛道仍是投资热门赛道。

艾瑞观点:基础设施建设仍是当前国家发展新一代信息技术的重要底座,相对于传统数据中心,当前市场对于绿色化、智能化诉求增加。

随州5A级智算中心开建

近日,湖北首个5A级智算中心在随州高新区正式开建。该项目采用了曙光提供的“四位一体”建设模式,融合公共算力服务、数据开放共享、智能生态建设、产业创新聚集于一体。在涵盖规划、建设、运营在内一揽子服务的基础上,还保障了智算中心建成后的应用创新、算网接入以及产业孵化、生态汇聚等,为扎根区域持续发展打好基础。

国内首个“个人数据中心”主题论坛将于5月26日亮相2022数博会

由国家发展和改革委员会、工业和信息化部、国家互联网信息办公室和贵州省人民政府共同主办,世纪互联承办的“2022年首届个人数据中心发展论坛”将于5月26日下午通过云会议形式举办。作为2022数博会数谷论坛之一,本次论坛将以“重构数字基建,共创数据价值”为主题,邀请政、产、学、研、用等领域专家学者,齐聚云端、同屏论道。会议同期还将发布国内首个《个人数据中心白皮书》,全面呈现个人数据中心的发展现状及未来方向。

全省地市级首家智慧数据中心业务用房正式开工

5月17日,国网阳泉供电公司举行智慧能源数据中心业务用房项目奠基仪式。智慧能源数据中心位于阳泉供电公司110千伏驼岭头变电站附近,总建筑面积,我们将及时沟通与处理。

}

谁让我们使用的是云产品呢,哎~

图。但是,由于“年久失修”,在使用的时候遇到不少问题,再加上个人代码能力青铜三段,重写有点难,那就硬修吧。以下是在使用时遇到的问题。

现场拜访,线下实地,1天免费拜访

关注“爱可生开源社区”公众号,回复关键字“Mycat”,获取活动详情。

格式:[投稿]姓名+文章标题

以附件形式发送,正文需注明姓名、手机号、微信号,以便小编及时联系

}
  • 创建大数据开发套件项目空间

进入大数据开发套件,创建DataWorks项目空间

确保阿里云账号处于登录状态。

  • step1:大数据(数加)管理控制台>大数据开发套件tab页面下。
  • step2:点击右上角创建项目或者直接在项目列表-->创建项目,跳出创建项目对话框。

选择相应的服务器时如果没有购买是选择不了会提示您去开通购买。数据开发、运维中心、数据管理默认是被选择中。

  • step3:勾选相应的服务单击 确认,跳转到下面的界面,填写相应的信息单击确认,创建项目完成。

项目名需要字母或下划线开头,只能包含字母下划线和数字。
【注意】项目名称全局唯一,建议大家采用自己容易区分的名称来作为本次workshop的项目空间名称。

  • step4:单击进入项目跳转到下面的界面:

数据质量(DQC),是支持多种异构数据源的质量校验、通知、管理服务的一站式平台。数据质量以数据集(DataSet)为监控对象,目前支持MaxCompute数据表和DataHub实时数据流的监控,当离线MaxCompute数据发生变化时,数据质量会对数据进行校验,并阻塞生产链路,以避免问题数据污染扩散。同时,数据质量提供了历史校验结果的管理,以便您对数据质量分析和定级。在流式数据场景下,数据质量能够基于Datahub数据通道进行断流监控,第一时间告警给订阅用户,并且支持橙色、红色告警等级,以及告警频次设置,以最大限度的减少冗余报警。

数据质量的使用流程是,针对已有的表进行监控规则配置,配置完规则后可以进行试跑,验证此规则是否试用。当试跑成功后,可将此规则和调度任务进行关联。关联成功后,每次调度任务代码运行完毕,都会触发数据质量的校验规则,以提升任务准确性。在关联调度后,可根据业务情况,对重要的表进行订阅。订阅成功后,此表的数据质量一旦出问题,都会有邮件或者报警进行通知。

注:数据质量会产生额外的计算费用,在使用时请注意。

数据质量最重要的就是表规则的配置,那么如何配置表规则才是合理的呢?我们来看一下上面这几张表应该如何配置表规则。

在中可以看到该项目下的所有表信息,现在我们来给 ods_raw_log_d 表进行数据质量的监控规则配置。

选择ods_raw_log_d表,点击配置监控规则,将会进入如下页面。

对于这种每日的日志数据,我们可以配置一下表的分区表达式,分区表达式有如下几种,我们选择 dt=$[yyyymmdd-1] 这种表达式,有关调度表达式的详细解读,请参考文档。


注:若表中无分区列,可以配置无分区,请根据真实的分区值,来配置对应的分区表达式。

确认以后,可以见到如下界面,我们可以选择创建规则。

选择创建规则后,出现如下界面:

点击添加监控规则,会出现一个提示窗,来配置规则。

这张表里的数据来源于FTP上传的日志文件,作为源头表,我们需要尽早判断此表分区中是否有数据。如果这张表中没有数据,那么就需要阻止后面的任务运行,因为来源表没有数据,后面的任务运行是没有意义的。

注:只有强规则下红色报警会导致任务阻塞,阻塞会将任务的实例状态置为失败。

我们在配置规则的时候,选择模板类型为表行数,将规则的强度设置为强,比较方式设置为期望值不等于0,设置完毕后点击批量保存按钮即可。

此配置主要是为了避免分区中没有数据,导致下游任务的数据来源为空的问题。

右上角有一个节点试跑的按钮,可以在规则配置完毕后,进行规则校验,试跑按钮可立即触发数据质量的校验规则。

点击试跑按钮后,会提示一个弹窗,确认试跑日期。点击试跑后,下方会有一个提示信息,点击提示信息,可跳转至试跑结果中。

可根据试跑结果,来确认此次任务产出的数据是否符合预期。建议每个表规则配置完毕后,都进行一次试跑操作,以验证表规则的适用性。

在规则配置完毕,且试跑又都成功的情况下。我们需要将表和其产出任务进行关联,这样每次表的产出任务运行完毕后,都会触发数据质量规则的校验,以保证数据的准确性。

数据质量支持任务关联调度,在表规则和调度任务绑定后,每次任务运行完毕,都会触发数据质量的检查。可以在表规则配置界面,点击关联调度,配置规则与任务的绑定关系。

点击关联调度,可以与已提交到调度的节点任务进行绑定,我们会根据血缘关系给出推荐绑定的任务,也支持自定义绑定。

选中搜索结果后,点击添加,添加完毕后即可完成与调度节点任务的绑定。

关联调度后,表名后面的小图标会变成蓝色。

关联调度后,每次调度任务运行完毕,都会触发数据质量的校验,但是我们如何去跟进校验结果呢?数据质量支持设置规则订阅,可以针对重要的表及其规则设置订阅,设置订阅后会根据数据质量的校验结果,进行告警。若数据质量校验结果异常,则会根据配置的告警策略进行通知。

点击订阅管理,设置接收人以及订阅方式,目前支持邮件通知及邮件和短信通知。


订阅管理设置完毕后,可以在我的订阅中进行查看及修改。

建议将全部规则订阅,避免校验结果无法及时通知。

ods_user_info_d 表的数据来至于rds的数据库,为用户信息表。我们在配置规则的时候,需要配置表的行数校验;还需要配置主键唯一的校验,避免数据重复。

同样,我们还是需要先配置一个分区字段的监控规则,监控的时间表达式为:dt=$[yyyymmdd-1],配置成功后,在已添加的分区表达式中可以看到成功的分区配置记录。

分区表达式配置完毕后,点击右侧的创建规则,进行数据质量的校验规则配置。
添加表行数的监控规则,规则强度设置为强,比较方式设置为期望值不等于0。

添加列级规则,设置主键列(uid)为监控列,模板类型为:字段重复值个数校验,规则设置为弱,比较方式设置为字段重复值个数小于1,设置完毕后,点击批量保存按钮即可。

此配置主要是为了避免数据重复,导致下游数据被污染的情况。

请不要忘记试跑->关联调度->规则订阅。

ods_log_info_d 这张表的数据,主要是解析ods_raw_log_d 表里的数据,鉴于日志中的数据无法配置过多监控,只需配置表数据不为空的校验规则即可。

配置表数据不为空的校验规则,规则强度设置为强,比较方式设置为期望值不等于0,设置完毕后,点击批量保存按钮即可。

请不要忘记试跑->关联调度->规则订阅。

dw_user_info_all_d 这个表是针对ods_user_info_d 和 ods_log_info_d 表的数据汇总,由于此流程较为简单,ods层又都已配置了表行数不为空的规则,所以此表不进行数据质量监控规则的配置,以节省计算资源。

rpt_user_info_d 表是数据汇总后的结果表,根据此表的数据,我们可以进行表行数波动监测,针对主键进行唯一值校验等。

然后配置监控规则,单击右侧创建规则,点击添加监控规则。
添加列级规则,设置主键列(uid)为监控列,模板类型为:字段重复值个数校验,规则设置为弱,比较方式设置为字段重复值个数小于1。

继续添加监控规则,添加表级规则,模板类型为:SQL任务表行数,7天波动检测;规则强度设置为弱,橙色阈值设置成0%,红色阈值设置成50%(此处阈值范围根据业务逻辑进行设置),配置完毕后,点击批量保存即可。

注:此处我们监控表行数主要是为了查看每日uv的波动,好及时了解应用动态。

请不要忘记试跑->关联调度->规则订阅。

大家可能注意到了,我们在设置表规则强度的时候,数据仓库中越底层的表,设置强规则的次数越多。那是因为ods层的数据作为数仓中的原始数据,一定要保证其数据的准确性,避免因ods层的数据质量太差而影响其他层的数据,及时止损。

数据质量还提供了一个任务查询的界面,在此界面上,我们可以查看已配置规则的校验结果。

}

我要回帖

更多关于 阿里云监控app叫什么名字 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信