物联网面临的最大挑战之一，就是在从传感器收集高分辨率数据，和汇总云中最相关的异常或趋势之间找到平衡点。一个新兴趋势是在边缘，对这些数据进行处理，然后只将异常或摘要发送到云中进行存储和进一步处理。 Greenwave Systems的副总裁兼工程系统架构师John Crupi说：“传统上，物联网边缘分析意味着将物联网数据发送到云端，并将其转储到数据湖中进行大数据分析。我们都希望这对于实时分析，是足够的，实际上不是。即使我们使用最快的计算机运行Spark。架构上，效率还是不够高。” Crupi说，将云和边缘分析相结合，对嵌入式分析，实时分析和时间关键见解特别重要。嵌入式分析允许网关和设备独立于云端做出自己的决策。实时分析可以在事件发生的同时，做出决策。时间关键见解对于响应大量设备中的实时事件，比如网络攻击，很重要。 WSO2的研究部副总裁Srinath Perera表示：“当数据太大而无法传输到云端，或传感器与分析服务器之间的带宽有限时，分布式分析非常有用。” 当传感器地理上分散时，这一点非常重要，分析太复杂，数据太大，无法在单机中进行分析。此外，当传输数据所花费的时间很长时，一些关键数据的有效性将会丢失。 分布式分析可以在传感器本身或通过放置在传感器附近的网关完成。构建这些分布式分析架构的工具包括WSO2 Siddhi，Apache Edgent和Apache MiNiFi。在设备上或附近运行的物联网边缘分析算法是流处理分析的子类。在云中运行的流处理系统包括Apache Kafka，Apache Flink，Apache Storm，Apache Spark Streaming和WSO2 Data Analytics Server。

将流处理引入边缘

Red Hat的物联网首席架构师James Kirkland表示，流处理和批量处理能够实现不同的分析处理速度。流处理在响应事件方面更为出色。批处理允许更深入的见解，也可以使用机器学习技术，从而改进分析算法。然后，这些可以推送到在现场网关或设备上运行的流分析应用上。 流分析技术可以查看已知的数据集，并通过机器学习算法的培训，发现情况。这对于发现在未来24小时内，将要发生故障的计算机是有用的。流分析可以从现场设备或设备附近，物联网网关中提供预测性维护算法。 批量分析需要大量相关的数据库，并进行广泛分析，查找数据中的规律或相关性。Kirkland说：“这是一个巨大的计算任务，需要很长时间，你需要对这些大量的数据集，进行整理和测试，然后再进行分析。然后，你可以获得之前无法预见的，全新的方法来优化你的业务。”

物联网边缘分析的挑战

WSO2的Perera表示，将分析推向边缘的挑战包括：

• 解决系统复杂性，如处理故障，扩展和负载平衡
• 管理查询的变更，并向节点发布更新
• 安全性
• 处理不确定事件，如事件定序，数据丢失和故障传感器等

企业架构师还需要考虑数据传输，保管成本以及如何利用公司收集的大量数据集。最近一项Cisco调查显示，高达60％的物联网项目由于企业未能充分获取数据的好处，以及收集的数据质量不足，而停滞或失败。 Red Hat的Kirkland说：“这意味着数据的数量和质量是一个大问题。这比大多数公司处理的数量级要大。问题不是数据量太小，而是数据量太大。大量的垃圾数据，比少量的有质量的，有见解的数据要糟糕。不是所有收集到的数据，都有价值。”

管理数据反馈循环

Greenwave的Crupi说，了解如何构建云与边缘分析之间的共生关系，是设置分布式分析基础设施的另一大难题。这是共生关系，不是在边缘完成分析后，再推送到云这样的单向关系。 Crupi解释说：“当我们讨论物联网边缘分析时，我们讨论的是极端分布式分析。它将智能化推向边缘，智能化完成分析。当讨论数十亿个连接设备的潜力时，我们也在讨论数十亿计算设备可以作为更大解决方案的一部分。” 例如，智能城市可能会使用智能摄像头来独立分析实时视频，也可以与云端和其他摄像头共享分析，以获得更大的实时图像。如果有特定问题，所有可用的摄像头都可以用于查看特定区域。在灾难发生后，这些摄像头可以寻找最佳的撤离和交通路线。Crupi说：“这可能听起来像是一个科幻的想法，但它正是分布式分析的作用。”

流数据的架构

企业架构师可以采取多种步骤来帮助应对这些挑战。一个好的方案是记录和管理数据流，因为随着时间的推移，会不断发生改变，WSO2的Perera说。 同样重要的是对于收集现场的哪些数据，要有不同方案，而不是哪些数据将传输到企业。每台设备，每小时，几百字节，超过几百万台设备，每小时六次就会累计数百万或数亿美元的电信费用。 Red Hat的Kirkland说：“我还建议使用示例数据来确定是否和试图解决的业务问题相关联。使用Python和R等工具手动分析这些数据，然后会更加清楚哪些软件工具是更好的选择。不要局限于一个特定的软件技术;只需选择解决问题的正确工具。” 通过可用的物联网边缘分析功能与云中的功能进行对比，也很重要。Greenwave的Crupi解释说：“分布式物联网计算包含两个完全不同的引擎架构。边缘需求小，云需求大。虽然‘小’是相对的，但我们讨论的是拥有微处理器的小型设备的计算。”