26、构建传感器数据分析应用

构建传感器数据分析应用

1. 数据处理与准备

1.1 使用 mutate 过滤器插件处理数据

在数据处理过程中，我们需要对 JSON 数据进行一系列操作，以满足 Elasticsearch 存储和分析的需求。具体操作如下：
1.移动查找字段：lookupResult是一个仅包含一个元素的数组，我们要将该数组元素下的所有字段直接移到 JSON 负载下。这可以通过rename操作逐个字段完成。例如，将[lookupResult][0][sensorType]重命名为sensorType，代码如下：

rename => {"[lookupResult][0][sensorType]" => "sensorType"}

我们对 SQL 查询返回的所有查找字段都执行此操作。
2.合并经纬度字段：我们之前定义索引模板映射时，将location字段定义为geo_point类型，该类型接受以逗号分隔的经纬度字符串作为值。可以使用add_field操作来构建location字段，代码如下：

add_field => { "location" => "%{[lookupResult][0][latitude]},%