sqlite 内存数据库的attach

2024-02-07 16:32
文章标签 内存 数据库 sqlite attach

本文主要是介绍sqlite 内存数据库的attach,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

已经往内存数据库A插入了10W条数据,我现在想把A导入一个物理文件B(具有相同表结构),是不是应该用attach指令?有没有高人详细指点一下?

sqlite3_open(":memory:", &db);
...
ret = sqlite3_exec(db, "CREATE TABLE new_table1 (id integer primary key autoincrement,name vchar(32))", 0, 0, &zErrMsg);

ret = sqlite3_exec(db,"begin transaction",0,0,&zErrMsg);

ret = sqlite3_exec(db, "insert into new_table1 (name) values ('123');", 0, 0,&zErrMsg);

ret = sqlite3_exec(db,"commit transaction",0,0,&zErrMsg);

到上面,数据库已经插入内存数据库了,然后再怎么导入物理文件B?

sqlite3_open("c:\A.dat", &db);

ret = sqlite3_exec(db,"attach A.dat as new_db2",0,0,&zErrMsg);

ret = sqlite3_exec (db,"insert into new_db2.new_table2 (name) values('name')",0,0,&zErrMsg);

ret = sqlite3_exec(db,"detach new_db2",0,0,&zErrMsg);

if (ret!=SQLITE_OK)
MessageBox("附加数据库失败!");
这样会提示"附加数据库失败!",不知道是那里写错了...
----------------------------------------------------------------------------------------------------------------------------
sqlite_user:
搞反了,应该把文件数据库attach到内存数据库中。sqlite3_open("c:\A.dat", &db);
这一句是多余的,应该去掉。
ret = sqlite3_exec(db,"attach 'c:\A.dat' as new_db2",0,0,&zErrMsg);
这样就可以从内存数据库中复制数据到文件数据库中了,文件数据库中没有表时使用(注意新表没有索引):
create table new_db2.new_table1 as select * from new_table1;
有表时使用:
insert into new_db2.new_table1 select * from new_table1;
--------------------------------------------------------------------------------------------------------------------
已经搞定~
ret = sqlite3_exec(db,"attach 'c:\A.dat' as new_db",0,0,&zErrMsg);

ret = sqlite3_exec(db,"begin transaction",0,0,&zErrMsg);

ret = sqlite3_exec(db,"insert into new_db.new_table2 (name) select name from new_table1",0,0,&zErrMsg);

ret = sqlite3_exec(db,"commit transaction",0,0,&zErrMsg);

300万条内存数据,10个字段,大概写入了631MB物理文件
-----------------------------------------------------------------------------------------------------------
A线程:每20毫秒随机从50万条数据中读一条数据
B线程:每60秒随机写1万条数据进去,然后再随机修改2万条数据

B线程一启动,A线程就会提示上面的错误...
----------------------------------------------------------------------------------
以下是引用tamsyn在2007-10-11 18:00:55的发言:
你多线程同时进行写操作是肯定要出现问题的,SQLite从本质上就不支持写并发,所以只能是自己在程序里做外部的"写"互斥锁,从而保证同一时间只有一个线程在对数据库进行写操作.应该没有什么其他的好方法.


并没有多线程写操作,A线程是不停读,B线程是某一时候去写/修改!

A先启动,过段时间B才启动,但是由于A线程是每20毫秒随机从50万条数据中读一条数据,所以查询间隔很快(20ms);此时B线程写1万条数据,然后随机修改2万条数据,B始终是成功的,但是在B操作的同时,A几乎时候处于busy状态,大部分查询(20ms)都是返回busy状态,偶尔能查询出一个值(估计是在B线程写/修改某条数据成功,还未开始下条数据的写/修改的空隙时),B线程写/修改一完成,A线程马上就正常了。

得到三点结论:
1、任何数据库都有读/写互斥(锁),oracle/sqlserver/mysql/sqlite...
2、完全可以修改sqlite源代码,在thread读写有互斥的时候适当的sleep或者提示(新版的sqlite lib已经增加了sqlite3_busy_timeout、sqlite3_busy_handler功能)
3、当CPU运算能力超强时,一定会降低互斥的出现几率,但是互斥这种现象一定不会消失,因为互斥锁的出现就是为了保证数据的完整性,remember!

这篇关于sqlite 内存数据库的attach的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/688299

相关文章

Linux下MySQL数据库定时备份脚本与Crontab配置教学

《Linux下MySQL数据库定时备份脚本与Crontab配置教学》在生产环境中,数据库是核心资产之一,定期备份数据库可以有效防止意外数据丢失,本文将分享一份MySQL定时备份脚本,并讲解如何通过cr... 目录备份脚本详解脚本功能说明授权与可执行权限使用 Crontab 定时执行编辑 Crontab添加定

如何通过try-catch判断数据库唯一键字段是否重复

《如何通过try-catch判断数据库唯一键字段是否重复》在MyBatis+MySQL中,通过try-catch捕获唯一约束异常可避免重复数据查询,优点是减少数据库交互、提升并发安全,缺点是异常处理开... 目录1、原理2、怎么理解“异常走的是数据库错误路径,开销比普通逻辑分支稍高”?1. 普通逻辑分支 v

Python与MySQL实现数据库实时同步的详细步骤

《Python与MySQL实现数据库实时同步的详细步骤》在日常开发中,数据同步是一项常见的需求,本篇文章将使用Python和MySQL来实现数据库实时同步,我们将围绕数据变更捕获、数据处理和数据写入这... 目录前言摘要概述:数据同步方案1. 基本思路2. mysql Binlog 简介实现步骤与代码示例1

Redis实现高效内存管理的示例代码

《Redis实现高效内存管理的示例代码》Redis内存管理是其核心功能之一,为了高效地利用内存,Redis采用了多种技术和策略,如优化的数据结构、内存分配策略、内存回收、数据压缩等,下面就来详细的介绍... 目录1. 内存分配策略jemalloc 的使用2. 数据压缩和编码ziplist示例代码3. 优化的

使用shardingsphere实现mysql数据库分片方式

《使用shardingsphere实现mysql数据库分片方式》本文介绍如何使用ShardingSphere-JDBC在SpringBoot中实现MySQL水平分库,涵盖分片策略、路由算法及零侵入配置... 目录一、ShardingSphere 简介1.1 对比1.2 核心概念1.3 Sharding-Sp

深入解析C++ 中std::map内存管理

《深入解析C++中std::map内存管理》文章详解C++std::map内存管理,指出clear()仅删除元素可能不释放底层内存,建议用swap()与空map交换以彻底释放,针对指针类型需手动de... 目录1️、基本清空std::map2️、使用 swap 彻底释放内存3️、map 中存储指针类型的对象

Python内存优化的实战技巧分享

《Python内存优化的实战技巧分享》Python作为一门解释型语言,虽然在开发效率上有着显著优势,但在执行效率方面往往被诟病,然而,通过合理的内存优化策略,我们可以让Python程序的运行速度提升3... 目录前言python内存管理机制引用计数机制垃圾回收机制内存泄漏的常见原因1. 循环引用2. 全局变

Go语言连接MySQL数据库执行基本的增删改查

《Go语言连接MySQL数据库执行基本的增删改查》在后端开发中,MySQL是最常用的关系型数据库之一,本文主要为大家详细介绍了如何使用Go连接MySQL数据库并执行基本的增删改查吧... 目录Go语言连接mysql数据库准备工作安装 MySQL 驱动代码实现运行结果注意事项Go语言执行基本的增删改查准备工作

MySQL 数据库表操作完全指南:创建、读取、更新与删除实战

《MySQL数据库表操作完全指南:创建、读取、更新与删除实战》本文系统讲解MySQL表的增删查改(CURD)操作,涵盖创建、更新、查询、删除及插入查询结果,也是贯穿各类项目开发全流程的基础数据交互原... 目录mysql系列前言一、Create(创建)并插入数据1.1 单行数据 + 全列插入1.2 多行数据

MySQL 数据库表与查询操作实战案例

《MySQL数据库表与查询操作实战案例》本文将通过实际案例,详细介绍MySQL中数据库表的设计、数据插入以及常用的查询操作,帮助初学者快速上手,感兴趣的朋友跟随小编一起看看吧... 目录mysql 数据库表操作与查询实战案例项目一:产品相关数据库设计与创建一、数据库及表结构设计二、数据库与表的创建项目二:员