SpringBoot,TDengine时序数据库,实现物联网,车联网大批量数据更新最佳实践。

本文主要是介绍SpringBoot,TDengine时序数据库,实现物联网,车联网大批量数据更新最佳实践。,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

简介

TDengine 是一款专为物联网、工业互联网等场景设计并优化的大数据平台,它能安全高效地将大量设备、数据采集器每天产生的高达 TB 甚至 PB 级的数据进行汇聚、存储、分析和分发,对业务运行状态进行实时监测、预警,提供实时的商业洞察。其核心模块是高性能、集群开源、云原生、极简的时序数据库 TDengine OSS

官网地址:https://www.taosdata.com/

文档地址:https://docs.taosdata.com/get-started/package/

注意事项

  1. 安装步骤及配置文件配置信息请参考官网,有详细说明
    1. 密码设定 alter user root pass ‘youpassword’
    2. 登录: taos 或者 taos -u root -p
  2. sql遵循sql规范,对于大部分mysql 语法有较好的兼容性,因为数据记录而生故不存在修改语法,如需修改可直接根据timestamp直接使用insert
  3. 数据迁移请参考datax 组件手册,地址:https://gitcode.com/alibaba/datax/tree/master,迁移方法请参考:https://blog.csdn.net/u013810234/article/details/130910778
  4. 链接方式分为两种,taosc远程链接及REST 连接链接(此连接方式需要启动taosAdapter服务),原生链接方式效率比rest方式 提升30%
  5. 数据建模方面,超级表与子表概念类似分表,语法参考官网,数据查询查询超级表即可,数据插入可用超级表语法或者子表语法都可
  6. TDengine无普通字段索引,索引都为标签索引(类型分表规则字段)
  7. 函数,mysql 切换为TDengine时,注意不可使用特定语法,或者需要自定义函数(仅支持python 和 c 语言)
  8. TDengine字段无默认值设定,自增键,事务等,请程序指定处理
  9. 建议:行数据可排除非必要字段,存关键性信息,可增加存储效率及查询效率
  10. mybatis中插入不可使用insert标签,报 api 不支持错误,需要使用update标签
  11. 分组查询最新数据时,不可使用主键(timestamp标签),作为最新标准
  12. 使用druid 数据源时 设置属性druid.stat.mergeSql = false,会mergeSql错误

项目中使用情况

  1. pom引入依赖

    <dependency><groupId>com.taosdata.jdbc</groupId><artifactId>taos-jdbcdriver</artifactId><version>3.2.4</version></dependency>
    
  2. 设置JDBC 数据源,例如

    slave:# 从数据源开关/默认关闭enabled: truedriverClassName: com.taosdata.jdbc.TSDBDriverurl: jdbc:TAOS://123.57.23.160:8630/digital_constr?charset=UTF-8&locale=en_US.UTF-8username: rootpassword: JoygisIot@2023validationQuery: select server_status()
    
  3. 添加DruidTaosDataProperties,详情见代码

image.png

image.png

  1. 不可使用 ifnull,ROUND等mysql函数变动请查看CompactionDataMapper.xml.back和CompactionDataMapper.xml,空判断或者小数位,请代码判断

客户端工具

  1. 安装TDengine客户端工具 ,地址: https://www.taosdata.com/assets-download/3.0/TDengine-client-3.2.2.0-Windows-x64.exe
  2. 安装dbeaver工具(字符串类型请以服务器类型做对比,**script查询可能存在字符集问题,**显示为16进制的ASCLL码,为工具问题
  3. 选择数据源为TDengine
    image.png
  4. 原生连接请选择url连接方式,方法如上
  5. 也可使用可视化工具TDengineGUI

数据迁移

利用阿里云开源项目 datax 进行数据迁移,需要用到python环境,请自行安装python3

注意: 原生包不支持 TDengine3 请参考上述”注意点“中文档

  1. 创建tag 中需要分片的所有表,例如:DataMigration.createTaosTables
  2. 将目标表名,添加到datax中
  3. 生成迁移数据查询sql,并添加到datax.json 源数据中
  4. 执行python datax.py …/job/datax.json

这篇关于SpringBoot,TDengine时序数据库,实现物联网,车联网大批量数据更新最佳实践。的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/642582

相关文章

C++对象布局及多态实现探索之内存布局(整理的很多链接)

本文通过观察对象的内存布局,跟踪函数调用的汇编代码。分析了C++对象内存的布局情况,虚函数的执行方式,以及虚继承,等等 文章链接:http://dev.yesky.com/254/2191254.shtml      论C/C++函数间动态内存的传递 (2005-07-30)   当你涉及到C/C++的核心编程的时候,你会无止境地与内存管理打交道。 文章链接:http://dev.yesky

Java五子棋之坐标校正

上篇针对了Java项目中的解构思维,在这篇内容中我们不妨从整体项目中拆解拿出一个非常重要的五子棋逻辑实现:坐标校正,我们如何使漫无目的鼠标点击变得有序化和可控化呢? 目录 一、从鼠标监听到获取坐标 1.MouseListener和MouseAdapter 2.mousePressed方法 二、坐标校正的具体实现方法 1.关于fillOval方法 2.坐标获取 3.坐标转换 4.坐

Spring Cloud:构建分布式系统的利器

引言 在当今的云计算和微服务架构时代,构建高效、可靠的分布式系统成为软件开发的重要任务。Spring Cloud 提供了一套完整的解决方案,帮助开发者快速构建分布式系统中的一些常见模式(例如配置管理、服务发现、断路器等)。本文将探讨 Spring Cloud 的定义、核心组件、应用场景以及未来的发展趋势。 什么是 Spring Cloud Spring Cloud 是一个基于 Spring

Javascript高级程序设计(第四版)--学习记录之变量、内存

原始值与引用值 原始值:简单的数据即基础数据类型,按值访问。 引用值:由多个值构成的对象即复杂数据类型,按引用访问。 动态属性 对于引用值而言,可以随时添加、修改和删除其属性和方法。 let person = new Object();person.name = 'Jason';person.age = 42;console.log(person.name,person.age);//'J

java8的新特性之一(Java Lambda表达式)

1:Java8的新特性 Lambda 表达式: 允许以更简洁的方式表示匿名函数(或称为闭包)。可以将Lambda表达式作为参数传递给方法或赋值给函数式接口类型的变量。 Stream API: 提供了一种处理集合数据的流式处理方式,支持函数式编程风格。 允许以声明性方式处理数据集合(如List、Set等)。提供了一系列操作,如map、filter、reduce等,以支持复杂的查询和转

C++必修:模版的入门到实践

✨✨ 欢迎大家来到贝蒂大讲堂✨✨ 🎈🎈养成好习惯,先赞后看哦~🎈🎈 所属专栏:C++学习 贝蒂的主页:Betty’s blog 1. 泛型编程 首先让我们来思考一个问题,如何实现一个交换函数? void swap(int& x, int& y){int tmp = x;x = y;y = tmp;} 相信大家很快就能写出上面这段代码,但是如果要求这个交换函数支持字符型

Java面试八股之怎么通过Java程序判断JVM是32位还是64位

怎么通过Java程序判断JVM是32位还是64位 可以通过Java程序内部检查系统属性来判断当前运行的JVM是32位还是64位。以下是一个简单的方法: public class JvmBitCheck {public static void main(String[] args) {String arch = System.getProperty("os.arch");String dataM

详细分析Springmvc中的@ModelAttribute基本知识(附Demo)

目录 前言1. 注解用法1.1 方法参数1.2 方法1.3 类 2. 注解场景2.1 表单参数2.2 AJAX请求2.3 文件上传 3. 实战4. 总结 前言 将请求参数绑定到模型对象上,或者在请求处理之前添加模型属性 可以在方法参数、方法或者类上使用 一般适用这几种场景: 表单处理:通过 @ModelAttribute 将表单数据绑定到模型对象上预处理逻辑:在请求处理之前

eclipse运行springboot项目,找不到主类

解决办法尝试了很多种,下载sts压缩包行不通。最后解决办法如图: help--->Eclipse Marketplace--->Popular--->找到Spring Tools 3---->Installed。

JAVA读取MongoDB中的二进制图片并显示在页面上

1:Jsp页面: <td><img src="${ctx}/mongoImg/show"></td> 2:xml配置: <?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans"xmlns:xsi="http://www.w3.org/2001