鹅厂分布式大气监测系统:以 Serverless 为核心的云端能力如何打造

本文主要是介绍鹅厂分布式大气监测系统:以 Serverless 为核心的云端能力如何打造,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前述

本系列前序文章,已经对硬件层进行了详细的说明,讲解了设备性能、开发、灌装等环节的过程。本篇将对数据上云后的相关流程,进行说明。

由于项目平台持续建设中,当前已开源信息为二期版本,所以本篇内容均基于此版本能力进行说明。此版本架构进一步优化了数据鉴权及数据库保护。

本文将分为两个部分:

  • 架构组成:技术角度,拆解设计逻辑
  • 模块实现:功能角度,讲解实现逻辑

【注1】二期版本首页效果

v2_yuntu_index.png

【注2】在建三期版本首页效果

v3_yuntu_index.png

【注3】在建三期版本中,加入了 日志服务 、对象存储、小程序功能。提供灵活的日志存储与高速检索能力、 低成本的数据库备份+恢复+迁移同步能力、移动端交互及其它能力。

架构组成

二期架构图

v2_架构图.png

注:浅蓝色标明的是相对一期的架构变更重点。

部署维度

  • 终端:部署在监测点的设备。相关设计在本系列前文中已说明。
  • 云端:部署在云上的平台。相关设计将在本文说明。

功能维度

以平台设计的基本组成部分,进行的逻辑拆分。并依架构层的设计需求,配套选型的具体产品。

具体功能与选型说明:

  • 监测节点:由软硬两部分组成。基于腾讯物联网终端操作系统 TencentOS tiny开发固件,将 兼容腾讯云的硬件设备 与 腾讯云IoT explorer进行了协议级的对接。
  • 本地网关:此部分以通信协议转换为主,不解析具体数据,仅需按前文指引配置即可。
  • 物联网接入层:基于腾讯云IoT explorer产品,提供了解密、接入、转发的相关功能。在获取数据后,进行了基于http协议的转推动作,传递给下游 API 网关。
  • 中间件层:基于API 网关提供了衔接及负载均衡等能力,基于鉴权、流控等能力,衔接云函数,提供可靠的数据输入输出服务。
  • 逻辑层:基于云函数,实现了接收数据入库(数据固化)、定时统计汇总(数据分析)、输出应用数据(数据输出,支撑展示)的能力。
  • 存储层:基于云数据库 TencentDB for MySQL,进行监测数据、汇总数据、平台配置的存储。
  • 展示层:基于腾讯云图,提供了地图展示、数据展示、折线图展示等能力。并配置提供联动处理,提高了响应速度,减少了资源文件的重复传输。

模块实现

整体系统,以数据为核心,进行了相关设计,所以本部分有两个组成部分:

  • 数据结构:讲解各环节的核心数据结构与关联模式。
  • 模块说明:讲解各功能模块的实现与对应源码。

数据结构

IoT explorer(物联网开发平台)推送数据结构

以API网关推送进来,由云函数在环境变量 event 中提取到的原始数据。

其中主要的部分:

  • 非'body' 部分,为api网关相关信息
  • 'body' = IoT explorer 原始数据
  • 'body' = 终端节点上报的原始数据,经base64编码
{"body": "{\"payload\":\"eyJtZXRob2QiOiJyZXBvcnQiLCJjbGllbnRUb2tlbiI6IjIwMjAtMDgtMThUMTE6MTc6NDkuNDAzWiIsInBhcmFtcyI6eyJQTTFfQ0YxIjo1LCJQTTJkNV9DRjEiOjYsIlBNMTBfQ0YxIjo3LCJQTTEiOjUsIlBNMmQ1Ijo2LCJQTTEwIjo3LCJwYXJ0aWNsZXNfMGQzIjo3OTIsInBhcnRpY2xlc18wZDUiOjI1NCwicGFydGljbGVzXzEiOjE1LCJwYXJ0aWNsZXNfMmQ1IjozLCJwYXJ0aWNsZXNfNSI6MywicGFydGljbGVzXzEwIjowLCJ2ZXJzaW9uIjoxNTEsIkVycm9yIjowfX0=\", \"seq\":18639, \"timestamp\":1597749469,\"topic\":\"$thing/up/property/?????/?????\", \"devicename\":\"?????\", \"productid\":\"?????\"}","headerParameters": {},"headers": {"accept-encoding": "gzip","content-length": "511","content-type": "application/json","endpoint-timeout": "15","host": "service-???-???.gz.apigw.tencentcs.com","user-agent": "Go-http-client/1.1","x-anonymous-consumer": "true","x-api-requestid": "???03a993936ae191f44651???","x-b3-traceid": "???03a993936ae191f44651???","x-qualifier": "$LATEST"},"httpMethod": "POST","path": "/??????","pathParameters": {},"queryString": {},"queryStringParameters": {},"requestContext": {"httpMethod": "POST","identity": {},"path": "/??????","serviceId": "service-?????","sourceIp": "?.?.?.?","stage": "release"}
}

'body' 解base64编码后:

{"clientToken": "2020-08-18T11:17:49.403Z","method": "report","params": {"Error": 0,"PM1": 5,"PM10": 7,"PM10_CF1": 7,"PM1_CF1": 5,"PM2d5": 6,"PM2d5_CF1": 6,"particles_0d3": 792,"particles_0d5": 254,"particles_1": 15,"particles_10": 0,"particles_2d5": 3,"particles_5": 3,"version": 151}
}
数据库表单结构

数据库详细格式,请参考 github-sql

各表用途:

  • config:系统配置表
  • space:地点表。记录节点部署地点。
  • client:节点表。记录节点信息及最新关键信息,关联space表。
  • base_data:日志表。记录每次上报的信息,关联space、client表。
  • aggregate_data:汇总信息表。记录按小时、天等时段汇总的数据信息。
  • temp_base_data:临时日志表。上报设备名如不在节点表内,则存入此表,主要用于调测。
API接口数据结构

模块说明

数据入库
  • 模块功能:接收IoT explorer推送数据,匹配并转换后,入数据库
  • 使用产品:API 网关、无服务器云函数
  • 关联源码:github-upload
  • 部署方式:请参考相关文章 在线甲醛监测 “4.2.2 无服务器云函数/4.2.3 云API网关” 章节
终端在线更新
  • 模块功能:按3分钟触发,更新终端信息,用于快速查询与展示
  • 使用产品:云函数
  • 关联源码:github-client_active_new
  • 部署方式:请参考相关文章 在线甲醛监测 “4.2.2 无服务器云函数/4.2.3 云API网关” 章节,但改为“定时触发”模式
数据统计
  • 模块功能:按小时及天触发,统计监测数据,用于快速查询与展示
  • 使用产品:云函数
  • 关联源码:github-aggregate
  • 部署方式:请参考相关文章 在线甲醛监测 “4.2.2 无服务器云函数/4.2.3 云API网关” 章节,但改为“定时触发”模式
数据接口-终端汇总信息表
  • 模块功能:通过API网关提供数据查询能力,响应云图调用,提供终端汇总信息表
  • 使用产品:API 网关、云函数
  • 关联源码:github-client_info
  • 部署方式:请参考相关文章 在线甲醛监测 “4.2.2 无服务器云函数/4.2.3 云API网关” 章节
数据接口-终端单点信息表
  • 模块功能:通过API网关提供数据查询能力,响应云图调用,提供终端单点信息表
  • 使用产品:API 网关、云函数
  • 关联源码:github-client_data
  • 部署方式:请参考相关文章 在线甲醛监测 “4.2.2 无服务器云函数/4.2.3 云API网关” 章节
数据展示
  • 模块功能:提供WEB端展示能力,含地图绘点、列表展示、折线展示等
  • 使用产品:腾讯云图
  • 关联源码:无,当前为手工配置
  • 部署方式:请参考相关文章 在线甲醛监测 “4.2.4 腾讯云图” 章节,但数据源选择时,改为使用“API”。其中“首页”地图使用“数据接口-终端汇总信息表”接口、“单点数据页”使用“数据接口-终端单点信息表”接口。具体调用的接口URL,请对应API网关提供的服务链接。

二期成本分析

v2_成本分析.png

上图表数为每节点每15秒上报一次的计算结果。

硬件部分由于厂商与采购量的差异,价格不同。此处以云服务成本计算,如果10000节点规模,每节点每分钟上报一次,单节点云服务年成本:

  • 二期架构 3.335元 (数据库/年+云图/年)/10000+(API网关+云函数)/4=(468+48)/10000+(9+2.1)/4

  • 三期架构 1.09元 (消息队列/年+数据库/年*2+云图/年)/10000+(云函数+日志服务+对象存储)/4=(3228+468*2+48)/10000+(2.1+2.24+0.02)/4

二期无对象存储及日志服务模块,但在当前在建三期中已使用数月,故有实际数据可列入统计。

后续计划

完成三期建设,计划内容涉及:

  • 交互优化(done): 启用space表,展示地点。
  • 交互建设(doing): 增加小程序能力,提供移动端查询能力,及告警推送能力。
  • 容灾优化1(done): 增加对象存储,提供低成本数据备份、恢复、异步迁移同步能力。
  • 容灾优化2(todo): 增加消息队列 CKafka,应对网络异常、数据库异常情况下的数据堆积与丢失风险。
  • 容灾优化3(doing): 增加日志服务,用于数据对账,应对多环节数据处理中,可能出现的数据丢失或错乱情况。

三期架构图预告

v3_架构图.png

注:浅蓝色说明的是相对二期的架构变更重点。

三期版本部分完成效果

WEB端展示

v3_yuntu_index.png

v3_yuntu_site.png

小程序端Demo

v3_yuntu_mapp.png

One More Thing

立即体验腾讯云 Serverless Demo,领取 Serverless 新用户礼包 👉 serverless/start

欢迎访问:Serverless 中文网!

这篇关于鹅厂分布式大气监测系统:以 Serverless 为核心的云端能力如何打造的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/442102

相关文章

Python结合PyWebView库打造跨平台桌面应用

《Python结合PyWebView库打造跨平台桌面应用》随着Web技术的发展,将HTML/CSS/JavaScript与Python结合构建桌面应用成为可能,本文将系统讲解如何使用PyWebView... 目录一、技术原理与优势分析1.1 架构原理1.2 核心优势二、开发环境搭建2.1 安装依赖2.2 验

Python列表去重的4种核心方法与实战指南详解

《Python列表去重的4种核心方法与实战指南详解》在Python开发中,处理列表数据时经常需要去除重复元素,本文将详细介绍4种最实用的列表去重方法,有需要的小伙伴可以根据自己的需要进行选择... 目录方法1:集合(set)去重法(最快速)方法2:顺序遍历法(保持顺序)方法3:副本删除法(原地修改)方法4:

深入理解Apache Kafka(分布式流处理平台)

《深入理解ApacheKafka(分布式流处理平台)》ApacheKafka作为现代分布式系统中的核心中间件,为构建高吞吐量、低延迟的数据管道提供了强大支持,本文将深入探讨Kafka的核心概念、架构... 目录引言一、Apache Kafka概述1.1 什么是Kafka?1.2 Kafka的核心概念二、Ka

基于Python打造一个全能文本处理工具

《基于Python打造一个全能文本处理工具》:本文主要介绍一个基于Python+Tkinter开发的全功能本地化文本处理工具,它不仅具备基础的格式转换功能,更集成了中文特色处理等实用功能,有需要的... 目录1. 概述:当文本处理遇上python图形界面2. 功能全景图:六大核心模块解析3.运行效果4. 相

SpringQuartz定时任务核心组件JobDetail与Trigger配置

《SpringQuartz定时任务核心组件JobDetail与Trigger配置》Spring框架与Quartz调度器的集成提供了强大而灵活的定时任务解决方案,本文主要介绍了SpringQuartz定... 目录引言一、Spring Quartz基础架构1.1 核心组件概述1.2 Spring集成优势二、J

利用Python快速搭建Markdown笔记发布系统

《利用Python快速搭建Markdown笔记发布系统》这篇文章主要为大家详细介绍了使用Python生态的成熟工具,在30分钟内搭建一个支持Markdown渲染、分类标签、全文搜索的私有化知识发布系统... 目录引言:为什么要自建知识博客一、技术选型:极简主义开发栈二、系统架构设计三、核心代码实现(分步解析

Python从零打造高安全密码管理器

《Python从零打造高安全密码管理器》在数字化时代,每人平均需要管理近百个账号密码,本文将带大家深入剖析一个基于Python的高安全性密码管理器实现方案,感兴趣的小伙伴可以参考一下... 目录一、前言:为什么我们需要专属密码管理器二、系统架构设计2.1 安全加密体系2.2 密码强度策略三、核心功能实现详解

基于Python打造一个可视化FTP服务器

《基于Python打造一个可视化FTP服务器》在日常办公和团队协作中,文件共享是一个不可或缺的需求,所以本文将使用Python+Tkinter+pyftpdlib开发一款可视化FTP服务器,有需要的小... 目录1. 概述2. 功能介绍3. 如何使用4. 代码解析5. 运行效果6.相关源码7. 总结与展望1

Python FastAPI+Celery+RabbitMQ实现分布式图片水印处理系统

《PythonFastAPI+Celery+RabbitMQ实现分布式图片水印处理系统》这篇文章主要为大家详细介绍了PythonFastAPI如何结合Celery以及RabbitMQ实现简单的分布式... 实现思路FastAPI 服务器Celery 任务队列RabbitMQ 作为消息代理定时任务处理完整

Linux系统中卸载与安装JDK的详细教程

《Linux系统中卸载与安装JDK的详细教程》本文详细介绍了如何在Linux系统中通过Xshell和Xftp工具连接与传输文件,然后进行JDK的安装与卸载,安装步骤包括连接Linux、传输JDK安装包... 目录1、卸载1.1 linux删除自带的JDK1.2 Linux上卸载自己安装的JDK2、安装2.1