Apache loTDB技术和架构-1

1 前言

Apache loTDB是一款应用于工业物联网领域的时序数据库，其创立于中华人民共和国清华大学软件学院，loTDB使用列式存储、数据编码、预计算以及索引技术提供大规模的、基于时序的数据存储服务与数据管理服务，loTDB也提供类SQL的接口支持每节点每秒写入的数据点可达到数百万级别、支持从TB级别的数据点中查询数据的耗时只需要几秒，loTDB提供能力轻易地支持与Apache Hadoop MapReduce、Apache Spark的集成并用于数据分析领域。

1.1   架构描述

Apache loTDB存储引擎的核心组件提供的一系列服务包括数据采集、数据写入、数据存储、数据查询、数据可视化以及数据分析，这些核心组件以及组件提供的服务构成loTDB的总体应用架构，loTDB的总体应用架构如下所示：

从以上的总体应用架构可知，用户可以使用JDBC协议直接连接本地或者远程的loTDB存储引擎导入来自传感器设备的时序数据。按照数据来源的分类，时序数据可以包括系统状态数据（例如服务器上软件或硬件的运行信息）、消息队列数据、应用层的时序数据、数据库中的时序数据，用户也可以直接写入时序数据到本地文件系统的tsFile或者HDFS的tsFile。

loTDB存储引擎的数据文件tsFile可以存储在HDFS中，因此，用户可以使用Hadoop的MapReduce以及Spark的计算技术对HDFS中的tsFile数据文件执行机器学习、预测分析、数据分析。

用户可以使用TsFile-Hadoop-Connector、TsFile-Spark-Connector连接器连接本地tsFile或者HDFS中的tsFile执行数据加载、数据计算与分析。

用户可以使用loTDB提供的不同客户端工具写入数据或者以SQL形式、脚本形式、图形式查询数据。

下表描述loTDB总体应用架构的不同组件提供的功能：

(未完待续)

这篇好文章是转载于：学新通技术网