从边缘到云端，如何通过时序数据库 TDengine 实现数据的全局洞

在当今数字化转型加速的背景下，海量的数据生成和实时处理需求已成为企业面临的关键挑战。无论是物联网设备、工业自动化系统，还是智能城市的各类传感器，数据的采集、传输与分析效率，直接影响企业的决策与运营。为此，TDengine 推出的边云协同解决方案，通过将计算和存储分布在边缘和云端，提供高效的数据管理和实时处理能力，帮助企业在降低成本的同时，实现更灵活、更高效的业务运营。本篇文章将帮助大家深入了解这一解决方案的核心技术及其应用场景，以及它如何为企业带来创新和价值。

为什么需要边云协同？

在工业互联网中，边缘设备的作用是对本地生产数据进行实时监控和处理，但这只能为决策者提供局部视角，无法形成全局的认知。为了做出全面、准确的决策，边缘设备采集的数据需要上传至云端平台（无论是公有云还是私有云）。在云端，数据不仅可以被汇聚，还能通过更强大的计算资源进行融合和分析，从而为管理者提供对整个生产系统的宏观洞察。

边云协同架构由此应运而生，它成为工业互联网中不可或缺的支柱，尤其是在需要同时兼顾数据实时性和全局视角的复杂场景中。边缘设备通常负责监控生产线上某一项或某几项关键指标，如车间内的生产进度、设备运行状态等，并对异常情况进行及时告警。边缘设备在采集和处理这些数据后，会将其传输到云端的大数据平台。此时，边缘设备可以保证数据的实时性，云端则利用更强大的计算能力对这些分散的数据进行汇总、分析和深度挖掘。

然而，随着边缘设备的数量迅速增长，数据量也呈爆炸式增长。在这种情况下，要让系统高效运行，边云协同的数据库或数据存储系统需要具备选择性上报和数据降采样的功能。例如，边缘设备可能每秒钟采集一次数据，但为了减轻数据传输和存储的压力，可以选择只上传经过降采样的数据，将采集频率从一秒降为一分钟。这不仅减少了数据量，还保留了足够的信息，用于长期的趋势分析和预测模型。

此外，边云协同的需求还源于传统工业数据采集系统的局限性。传统的系统通常依赖于从 PLC（可编程逻辑控制器）采集数据，并通过工业实时数据库（Historian）进行处理。这类系统往往采用主备架构，扩展性差，且依赖于特定的操作系统和软硬件生态，导致整个系统的封闭性较高，灵活性和可扩展性有限。

相比之下，边云协同架构的优势在于它的高度灵活性和可扩展性，能够在边缘和云端实现数据的分层处理。边缘设备处理实时数据，快速响应现场需求，而云端则通过强大的计算能力进行数据整合和分析，为管理层提供全局的决策支持。这种架构不仅提高了数据处理的效率，还能根据实际需求进行灵活扩展，适应不同规模的企业和应用场景。因此，边云协同已经成为工业互联网实现智能化、数字化转型的关键技术，推动了整个行业的进步与创新。

TDengine 的边云协同解决方案

正如前文所说，在工业互联网和制造业场景中，实时、高效的数据同步是企业优化运营、提升决策能力的关键。在此背景下，TDengine Enterprise（企业版）凭借强大的边云协同功能，为工业企业提供了一个灵活且高效的数据处理解决方案。通过该方案，企业可以实现边缘侧与云端之间的数据无缝协作，满足各种复杂业务场景的需求。

TDengine Enterprise 的边云协同解决方案具备以下几大核心特性：

1. 高效数据同步 支持每秒数百万条数据的高速同步能力，确保在边缘设备和云端平台之间的数据传输既快速又稳定，无论是在工业物联网设备密集的现场，还是云端的分析平台，都能保持数据的实时同步。

2. 多数据源兼容性 TDengine Enterprise 提供了广泛的数据源对接能力，支持主流工业协议和标准如 AVEVA PI System、OPC-UA、OPC-DA、MQTT 等，实现对多种外部系统的数据接入。这种兼容性极大扩展了其应用场景，无论是传统的工业系统还是新兴的物联网平台，都能轻松接入。

3. 灵活的同步规则配置 用户可以根据实际业务需求配置数据同步规则，实现对数据同步策略的高度定制化。无论是降采样、按条件筛选，还是选择性同步不同级别的关键信息，TDengine Enterprise 都能通过配置满足企业对数据的不同要求，确保同步的数据不仅有效，而且最为相关。

4. 断线续传与重新订阅 在复杂的工业环境中，网络稳定性往往难以保障。TDengine Enterprise 支持断线续传和重新订阅功能，确保即使在网络中断时，数据的同步也不会丢失，系统能够在网络恢复后继续完成未完成的传输任务，保证数据完整性。

5. 历史数据迁移 当企业需要进行系统升级或更换时，TDengine Enterprise 提供了便捷的历史数据迁移功能。用户可以轻松将历史数据从旧系统无缝迁移到新系统，确保数据的持续性和一致性，避免因系统变更而造成的数据丢失或不兼容问题。

此外，TDengine Enterprise 的数据订阅功能赋予用户极大的灵活性。用户可以根据业务需求自由选择订阅的数据范围，无论是单个数据库、一张超级表，甚至是带有筛选条件的查询语句，均可实现选择性的同步。通过这种方式，用户可以将真正关心的数据，如离线数据或乱序数据，从边缘侧同步到云端或其他集群，最大限度地优化数据传输效率，减少带宽占用和资源浪费。

在实际的工业场景中，比如一个生产车间（以下图为例），TDengine Enterprise 可以高效地实现边云协同架构的应用。生产车间内的设备产生的实时数据存储在边缘侧的 TDengine 中。随后，部署在分厂的 TDengine 会订阅车间的生产数据，并根据业务需求灵活配置同步规则，如降采样或仅同步超出阈值的数据。同理，集团总部的 TDengine 会进一步订阅各个分厂的数据，完成集团维度的数据汇总和分析。这种多层次、分级的数据同步架构，保证了从生产车间到集团总部的数据流动高效、实时且具备业务相关性。

与传统的离线数据同步方式相比，TDengine Enterprise 提供了多项显著的优势：

• 零代码配置：无需编写复杂的代码，用户只需通过简单的配置即可实现边缘和云端的数据同步。

• 自动化程度高：跨区域的数据同步可以自动完成，减少了手动操作中的出错率，显著提高了运维效率。

• 无缓存需求：TDengine 通过优化传输机制，避免了大批量数据同步时带来的网络带宽阻塞问题，使数据传输更加平滑、高效。

• 灵活、实时的数据同步：通过数据订阅方式实现的同步支持规则配置，能够根据具体业务需求灵活调整数据的传输频率和内容。

• 统一的数据模型：边缘侧和云端均使用 TDengine，确保了数据模型的一致性，大大降低了数据治理的复杂度，提升了管理效率。

针对制造业企业普遍面临的数据同步挑战，TDengine Enterprise 提供了一个具备实时性、灵活性和高效性的解决方案，尤其是在大规模数据同步和网络环境复杂的情况下，极大优化了数据传输的效率和稳定性，避免了传统方式中定期传输大数据量所导致的资源浪费和带宽拥堵问题。

TDengine 边云协同方案在某大型油田项目中的应用

在某大型油田的生产管理项目中，用户需要集成多个系统，如自动化数据采集与控制、生产视频监控、工业物联网、生产数据服务和智能化生产管理等，同时也需要建设各环节的信息化采集标准。然而，随着时间推移，项目中原先使用的 Oracle 系统在应对大规模时序数据的存储和处理时，逐渐暴露出一些瓶颈问题：

1. 在面对复杂查询和大数据集的聚合时，写入和查询效率显著下降，系统性能逐渐衰减；

2. 随着数据量的不断增加，磁盘空间压力增大，运维成本日益增加；

3. 在分布式企业管理模式下，数据协同效率较低，难以满足企业快速增长的业务需求。

为了解决这些问题，该项目团队对多种技术方案进行了深入的验证，最终选择将 Oracle 系统中的时序数据存储切换至 TDengine，并借助其边云协同技术，实现了边缘侧数据到云端的实时汇聚与同步。

具体实施方案中，多个不同的 TDengine 服务将全量的历史数据及后续产生的数据实时同步至云端 TDengine。TDengine 的核心组件之一，taosX 工具，只需在数据接收方部署，并通过一条简单的命令，即可完成包括历史数据迁移、实时同步及两者混合的处理流程。

例如，使用以下命令可以将某台服务器的 db1 历史数据及实时数据同步到本地的 db2 数据库：

taosx run -f 'taos://192.168.1.101:6030/db1?mode=all' -t 'taos://localhost:6030/db2' -v

此外，taosX 还支持基于 TDengine 的 WAL 日志进行数据订阅，通过事件驱动顺序处理数据。无论是实时数据的插入，还是历史数据的补录，所有数据都能够实时同步到目标集群，确保数据完整性和时效性。

实施该方案后，多个 TDengine 服务实现了跨省数据实时同步，将边缘数据汇聚至云端总部集群。当前总部集群存储的数据量已经达到 36 TB，总数据量超过 1034 亿条，数据压缩率控制在 10% 以内。通过TDengine的高效压缩技术，大幅节省了存储资源。

自项目将 Oracle 切换为 TDengine 后，优化效果显著，主要体现在以下几方面：

1. 数据写入性能大幅提升，硬件资源占用减少，系统运行更加高效；

2. 集群支持在线水平扩展，能够轻松应对未来的扩展需求，提升了系统灵活性；

3. 灵活的数据生命周期管理，便于过期数据的自动清理和归档，简化了数据管理流程；

4. 秒级 500 万测点的同步速率，有效满足了该项目对边云协同场景的高实时性需求。

通过 TDengine 边云协同解决方案的应用，该油田项目实现了对海量时序数据的高效管理和实时处理，解决了原有系统性能瓶颈问题，为未来的扩展和智能化生产奠定了坚实基础。

结语

TDengine 边云协同解决方案凭借其高效的数据同步能力、灵活的配置机制和强大的实时处理性能，成为应对工业互联网场景下数据管理挑战的有力工具。通过统一的边云架构，TDengine 能够在满足边缘侧实时处理需求的同时，将大量数据高效汇聚至云端，帮助企业在数据分析和决策上实现全局视角。希望本文能够帮助企业更好地理解边云协同技术的优势，并为其未来的数字化转型和智能化生产提供有价值的参考。