将云和物联网边缘分析与嵌入式分析结合

日期: 2017-10-25 作者:George Lawton翻译:陈晓诚 来源:TechTarget中国 英文

物联网面临的最大挑战之一,就是在从传感器收集高分辨率数据,和汇总云中最相关的异常或趋势之间找到平衡点。一个新兴趋势是在边缘,对这些数据进行处理,然后只将异常或摘要发送到云中进行存储和进一步处理。 Greenwave Systems的副总裁兼工程系统架构师John Crupi说:“传统上,物联网边缘分析意味着将物联网数据发送到云端,并将其转储到数据湖中进行大数据分析。我们都希望这对于实时分析,是足够的,实际上不是。

即使我们使用最快的计算机运行Spark。架构上,效率还是不够高。” Crupi说,将云和边缘分析相结合,对嵌入式分析,实时分析和时间关键见解特别重要。嵌入式分析允许网关和设备独立于云端……

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

物联网面临的最大挑战之一,就是在从传感器收集高分辨率数据,和汇总云中最相关的异常或趋势之间找到平衡点。一个新兴趋势是在边缘,对这些数据进行处理,然后只将异常或摘要发送到云中进行存储和进一步处理。 Greenwave Systems的副总裁兼工程系统架构师John Crupi说:“传统上,物联网边缘分析意味着将物联网数据发送到云端,并将其转储到数据湖中进行大数据分析。我们都希望这对于实时分析,是足够的,实际上不是。即使我们使用最快的计算机运行Spark。架构上,效率还是不够高。” Crupi说,将云和边缘分析相结合,对嵌入式分析,实时分析和时间关键见解特别重要。嵌入式分析允许网关和设备独立于云端做出自己的决策。实时分析可以在事件发生的同时,做出决策。时间关键见解对于响应大量设备中的实时事件,比如网络攻击,很重要。 WSO2的研究部副总裁Srinath Perera表示:“当数据太大而无法传输到云端,或传感器与分析服务器之间的带宽有限时,分布式分析非常有用。” 当传感器地理上分散时,这一点非常重要,分析太复杂,数据太大,无法在单机中进行分析。此外,当传输数据所花费的时间很长时,一些关键数据的有效性将会丢失。 分布式分析可以在传感器本身或通过放置在传感器附近的网关完成。构建这些分布式分析架构的工具包括WSO2 Siddhi,Apache Edgent和Apache MiNiFi。在设备上或附近运行的物联网边缘分析算法是流处理分析的子类。在云中运行的流处理系统包括Apache Kafka,Apache Flink,Apache Storm,Apache Spark Streaming和WSO2 Data Analytics Server。

将流处理引入边缘

Red Hat的物联网首席架构师James Kirkland表示,流处理和批量处理能够实现不同的分析处理速度。流处理在响应事件方面更为出色。批处理允许更深入的见解,也可以使用机器学习技术,从而改进分析算法。然后,这些可以推送到在现场网关或设备上运行的流分析应用上。 流分析技术可以查看已知的数据集,并通过机器学习算法的培训,发现情况。这对于发现在未来24小时内,将要发生故障的计算机是有用的。流分析可以从现场设备或设备附近,物联网网关中提供预测性维护算法。 批量分析需要大量相关的数据库,并进行广泛分析,查找数据中的规律或相关性。Kirkland说:“这是一个巨大的计算任务,需要很长时间,你需要对这些大量的数据集,进行整理和测试,然后再进行分析。然后,你可以获得之前无法预见的,全新的方法来优化你的业务。”

物联网边缘分析的挑战

WSO2的Perera表示,将分析推向边缘的挑战包括:
  • 解决系统复杂性,如处理故障,扩展和负载平衡
  • 管理查询的变更,并向节点发布更新
  • 安全性
  • 处理不确定事件,如事件定序,数据丢失和故障传感器等
企业架构师还需要考虑数据传输,保管成本以及如何利用公司收集的大量数据集。最近一项Cisco调查显示,高达60%的物联网项目由于企业未能充分获取数据的好处,以及收集的数据质量不足,而停滞或失败。 Red Hat的Kirkland说:“这意味着数据的数量和质量是一个大问题。这比大多数公司处理的数量级要大。问题不是数据量太小,而是数据量太大。大量的垃圾数据,比少量的有质量的,有见解的数据要糟糕。不是所有收集到的数据,都有价值。”

管理数据反馈循环

Greenwave的Crupi说,了解如何构建云与边缘分析之间的共生关系,是设置分布式分析基础设施的另一大难题。这是共生关系,不是在边缘完成分析后,再推送到云这样的单向关系。 Crupi解释说:“当我们讨论物联网边缘分析时,我们讨论的是极端分布式分析。它将智能化推向边缘,智能化完成分析。当讨论数十亿个连接设备的潜力时,我们也在讨论数十亿计算设备可以作为更大解决方案的一部分。” 例如,智能城市可能会使用智能摄像头来独立分析实时视频,也可以与云端和其他摄像头共享分析,以获得更大的实时图像。如果有特定问题,所有可用的摄像头都可以用于查看特定区域。在灾难发生后,这些摄像头可以寻找最佳的撤离和交通路线。Crupi说:“这可能听起来像是一个科幻的想法,但它正是分布式分析的作用。”

流数据的架构

企业架构师可以采取多种步骤来帮助应对这些挑战。一个好的方案是记录和管理数据流,因为随着时间的推移,会不断发生改变,WSO2的Perera说。 同样重要的是对于收集现场的哪些数据,要有不同方案,而不是哪些数据将传输到企业。每台设备,每小时,几百字节,超过几百万台设备,每小时六次就会累计数百万或数亿美元的电信费用。 Red Hat的Kirkland说:“我还建议使用示例数据来确定是否和试图解决的业务问题相关联。使用Python和R等工具手动分析这些数据,然后会更加清楚哪些软件工具是更好的选择。不要局限于一个特定的软件技术;只需选择解决问题的正确工具。” 通过可用的物联网边缘分析功能与云中的功能进行对比,也很重要。Greenwave的Crupi解释说:“分布式物联网计算包含两个完全不同的引擎架构。边缘需求小,云需求大。虽然‘小’是相对的,但我们讨论的是拥有微处理器的小型设备的计算。”

作者

George Lawton
George Lawton

TechTarget中国特约作者

翻译

陈晓诚
陈晓诚

TechTarget中国兼职翻译