sqlite 内存数据库的attach

2024-02-07 16:32
文章标签 内存 数据库 sqlite attach

本文主要是介绍sqlite 内存数据库的attach,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

已经往内存数据库A插入了10W条数据,我现在想把A导入一个物理文件B(具有相同表结构),是不是应该用attach指令?有没有高人详细指点一下?

sqlite3_open(":memory:", &db);
...
ret = sqlite3_exec(db, "CREATE TABLE new_table1 (id integer primary key autoincrement,name vchar(32))", 0, 0, &zErrMsg);

ret = sqlite3_exec(db,"begin transaction",0,0,&zErrMsg);

ret = sqlite3_exec(db, "insert into new_table1 (name) values ('123');", 0, 0,&zErrMsg);

ret = sqlite3_exec(db,"commit transaction",0,0,&zErrMsg);

到上面,数据库已经插入内存数据库了,然后再怎么导入物理文件B?

sqlite3_open("c:\A.dat", &db);

ret = sqlite3_exec(db,"attach A.dat as new_db2",0,0,&zErrMsg);

ret = sqlite3_exec (db,"insert into new_db2.new_table2 (name) values('name')",0,0,&zErrMsg);

ret = sqlite3_exec(db,"detach new_db2",0,0,&zErrMsg);

if (ret!=SQLITE_OK)
MessageBox("附加数据库失败!");
这样会提示"附加数据库失败!",不知道是那里写错了...
----------------------------------------------------------------------------------------------------------------------------
sqlite_user:
搞反了,应该把文件数据库attach到内存数据库中。sqlite3_open("c:\A.dat", &db);
这一句是多余的,应该去掉。
ret = sqlite3_exec(db,"attach 'c:\A.dat' as new_db2",0,0,&zErrMsg);
这样就可以从内存数据库中复制数据到文件数据库中了,文件数据库中没有表时使用(注意新表没有索引):
create table new_db2.new_table1 as select * from new_table1;
有表时使用:
insert into new_db2.new_table1 select * from new_table1;
--------------------------------------------------------------------------------------------------------------------
已经搞定~
ret = sqlite3_exec(db,"attach 'c:\A.dat' as new_db",0,0,&zErrMsg);

ret = sqlite3_exec(db,"begin transaction",0,0,&zErrMsg);

ret = sqlite3_exec(db,"insert into new_db.new_table2 (name) select name from new_table1",0,0,&zErrMsg);

ret = sqlite3_exec(db,"commit transaction",0,0,&zErrMsg);

300万条内存数据,10个字段,大概写入了631MB物理文件
-----------------------------------------------------------------------------------------------------------
A线程:每20毫秒随机从50万条数据中读一条数据
B线程:每60秒随机写1万条数据进去,然后再随机修改2万条数据

B线程一启动,A线程就会提示上面的错误...
----------------------------------------------------------------------------------
以下是引用tamsyn在2007-10-11 18:00:55的发言:
你多线程同时进行写操作是肯定要出现问题的,SQLite从本质上就不支持写并发,所以只能是自己在程序里做外部的"写"互斥锁,从而保证同一时间只有一个线程在对数据库进行写操作.应该没有什么其他的好方法.


并没有多线程写操作,A线程是不停读,B线程是某一时候去写/修改!

A先启动,过段时间B才启动,但是由于A线程是每20毫秒随机从50万条数据中读一条数据,所以查询间隔很快(20ms);此时B线程写1万条数据,然后随机修改2万条数据,B始终是成功的,但是在B操作的同时,A几乎时候处于busy状态,大部分查询(20ms)都是返回busy状态,偶尔能查询出一个值(估计是在B线程写/修改某条数据成功,还未开始下条数据的写/修改的空隙时),B线程写/修改一完成,A线程马上就正常了。

得到三点结论:
1、任何数据库都有读/写互斥(锁),oracle/sqlserver/mysql/sqlite...
2、完全可以修改sqlite源代码,在thread读写有互斥的时候适当的sleep或者提示(新版的sqlite lib已经增加了sqlite3_busy_timeout、sqlite3_busy_handler功能)
3、当CPU运算能力超强时,一定会降低互斥的出现几率,但是互斥这种现象一定不会消失,因为互斥锁的出现就是为了保证数据的完整性,remember!

这篇关于sqlite 内存数据库的attach的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/688299

相关文章

大数据小内存排序问题如何巧妙解决

《大数据小内存排序问题如何巧妙解决》文章介绍了大数据小内存排序的三种方法:数据库排序、分治法和位图法,数据库排序简单但速度慢,对设备要求高;分治法高效但实现复杂;位图法可读性差,但存储空间受限... 目录三种方法:方法概要数据库排序(http://www.chinasem.cn对数据库设备要求较高)分治法(常

Redis多种内存淘汰策略及配置技巧分享

《Redis多种内存淘汰策略及配置技巧分享》本文介绍了Redis内存满时的淘汰机制,包括内存淘汰机制的概念,Redis提供的8种淘汰策略(如noeviction、volatile-lru等)及其适用场... 目录前言一、什么是 Redis 的内存淘汰机制?二、Redis 内存淘汰策略1. pythonnoe

数据库oracle用户密码过期查询及解决方案

《数据库oracle用户密码过期查询及解决方案》:本文主要介绍如何处理ORACLE数据库用户密码过期和修改密码期限的问题,包括创建用户、赋予权限、修改密码、解锁用户和设置密码期限,文中通过代码介绍... 目录前言一、创建用户、赋予权限、修改密码、解锁用户和设置期限二、查询用户密码期限和过期后的修改1.查询用

mysql数据库分区的使用

《mysql数据库分区的使用》MySQL分区技术通过将大表分割成多个较小片段,提高查询性能、管理效率和数据存储效率,本文就来介绍一下mysql数据库分区的使用,感兴趣的可以了解一下... 目录【一】分区的基本概念【1】物理存储与逻辑分割【2】查询性能提升【3】数据管理与维护【4】扩展性与并行处理【二】分区的

Java内存泄漏问题的排查、优化与最佳实践

《Java内存泄漏问题的排查、优化与最佳实践》在Java开发中,内存泄漏是一个常见且令人头疼的问题,内存泄漏指的是程序在运行过程中,已经不再使用的对象没有被及时释放,从而导致内存占用不断增加,最终... 目录引言1. 什么是内存泄漏?常见的内存泄漏情况2. 如何排查 Java 中的内存泄漏?2.1 使用 J

IDEA如何切换数据库版本mysql5或mysql8

《IDEA如何切换数据库版本mysql5或mysql8》本文介绍了如何将IntelliJIDEA从MySQL5切换到MySQL8的详细步骤,包括下载MySQL8、安装、配置、停止旧服务、启动新服务以及... 目录问题描述解决方案第一步第二步第三步第四步第五步总结问题描述最近想开发一个新应用,想使用mysq

Oracle数据库使用 listagg去重删除重复数据的方法汇总

《Oracle数据库使用listagg去重删除重复数据的方法汇总》文章介绍了在Oracle数据库中使用LISTAGG和XMLAGG函数进行字符串聚合并去重的方法,包括去重聚合、使用XML解析和CLO... 目录案例表第一种:使用wm_concat() + distinct去重聚合第二种:使用listagg,

Java读取InfluxDB数据库的方法详解

《Java读取InfluxDB数据库的方法详解》本文介绍基于Java语言,读取InfluxDB数据库的方法,包括读取InfluxDB的所有数据库,以及指定数据库中的measurement、field、... 首先,创建一个Java项目,用于撰写代码。接下来,配置所需要的依赖;这里我们就选择可用于与Infl

详谈redis跟数据库的数据同步问题

《详谈redis跟数据库的数据同步问题》文章讨论了在Redis和数据库数据一致性问题上的解决方案,主要比较了先更新Redis缓存再更新数据库和先更新数据库再更新Redis缓存两种方案,文章指出,删除R... 目录一、Redis 数据库数据一致性的解决方案1.1、更新Redis缓存、删除Redis缓存的区别二

oracle数据库索引失效的问题及解决

《oracle数据库索引失效的问题及解决》本文总结了在Oracle数据库中索引失效的一些常见场景,包括使用isnull、isnotnull、!=、、、函数处理、like前置%查询以及范围索引和等值索引... 目录oracle数据库索引失效问题场景环境索引失效情况及验证结论一结论二结论三结论四结论五总结ora