现在的位置: 首页 > 云计算 > 架构设计 > 正文

边缘流式计算典型应用场景

2020年01月07日 云计算, 架构设计 ⁄ 共 1093字 ⁄ 字号 评论关闭

  一直以来,对于边缘流式计算的需求就没有停止过,但是受限于边缘节点的计算能力,边缘流式计算一直面临内存压力、磁盘压力、作业管理压力等诸多挑战。

  2019年11月29日,在FlinkForwardAsia2019大会上,百度正式对外发布了“基于ApacheFlink的边缘流式计算Creek”。creek很好的解决资源受限的问题,它可以将流式作业内存消耗降低到10M左右,比传统的流式作业下降了2个数量级的资源消耗,使得边缘设备也可以轻松跑流式作业。这样,在不增加边缘节点成本的前提下,边缘节点增加流式计算的能力,使得边缘节点能够支撑更多、更复杂的业务场景。

  百度智能边缘BIE也同步实现了与Creek的产品化集成,Creek通过与BIE的集成,能够实现流式计算任务”云端统一定义,统一下发“,让流式计算能力真正延伸至各个边缘节点。

数据分析师的取数场景

  在数据分析场景下,数据分析师经常使用「10分钟平均值」或「15分钟平均值」作为样本数据进行分析,而不会直接使用原始采集数据。如果云平台当中只有原始采集数据,数据分析师通常使用以下几种方式获取「10分钟平均值」:

  导出原始数据,通过数据预处理工具获取10分钟平均值

  云平台增加流式计算任务,计算10分钟平均值并实时保存在数据库

  通过大数据平台对历史数据执行离线任务,计算历史数据的10分钟平均值并保存在数据库。

运维人员的实时监控场景

  在物联网场景下,设备测量数据因为各种因素(网络因素、设备自身精度因素)经常会出现抖动情况,如果对设备的实时采集值配置阈值告警,经常会出现误告警,导致用户需要处理大量无用告警,逐渐用户对告警的准确性失去信心,阈值告警形同虚设。

  针对这种场景,用户可以借助流式计算的能力来降低数据抖动带来的偏差,常见的方案有:

  按平均值告警:通过流式计算获取10分钟平均值、10分钟最大值、10分钟最小值、10分钟计算样本数,然后设定阈值规则,比如“10分钟平均值>阈值且10分钟计算样本数>100”

  按持续时间告警:通过流式计算找出实时采集值一直大于指定阈值且持续时间很长的设备,比如"设备温度>100℃且持续时长>5分钟"。

  在网络不稳定的场景下,上述两种方案如果通过云端流式计算来实现,最终得到的计算值准确度不高,比如当设备出现5分钟无连接的时候,云端再去计算10分钟平均值,计算的结果并不准确。而边缘侧是内网环境,网络异常的概率大大降低。在边缘侧将统计值计算好后再上报云端,可以提升流式计算统计结果的准确性。

  结束语:以上就是关于边缘流式计算典型应用场景的全部内容,更多内容请关注学步园。

抱歉!评论已关闭.