阅读笔记(四)NoSQL的选择指引《NoSQL database systems: a survey and decision guidance》

本文主要是介绍阅读笔记(四)NoSQL的选择指引《NoSQL database systems: a survey and decision guidance》,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一. 前言

  《NoSQL database systems: a survey and decision guidance》是一篇很好的综述类论文,详细的论述了NoSQL的特点和各种不同NoSQL数据库的选择依据。
  传统的关系型数据库(relational database management systems ,RDBMSs)可以在保证一致性、可靠性、稳定性的前提下提供强有力的数据存储、查询功能,这得益于他的设计模式:稳定可靠的数据结构。但是随着大数据时代的到来,RDBMSs难以驾驭越来越庞大的数据,这促使了非关系型数据库NoSQL的出现。NoSQL有很多不同的种类,但是基本都提供了很好的横向扩展性和高可用性,同时也牺牲了一定的查找能力和一致性保证。

二. NoSQL的常见种类

1. key-value键值存储数据库

  键值数据库由一系列的key-value组成,由于这种简单的结构,他们往往也只能提供get和put的操作,即CRUD(Create, Read, Update,Delete)。其优点在于简化抽象的数据结构使其易于分割和查询,因此该种数据库可以实现极低的延迟和极高的吞吐率。然而,如果需求更复杂的操作,如范围查找,这种数据库往往不是很给力。

2. 文件数据库

  文件数据库通常也是k-v的形式,区别在于这里的value不再是简简单单的数值而往往是json文件。这种存储方式使得相对于k-v数据库来说更为灵活,可以方便的查找数据,尤其是查找部分数据。

k-v数据库和文件数据库

3. 宽列数据库

  宽列数据库和以上两种数据库最大的不同在于存储方式上:按列存储数据而不是按行存储。这种做法对于存在很多稀疏列的数据集合的存储上有着极为显著的优势。其最大的优势在于高度的数据压缩和查询指定项数据或者数据分析时的极高效率。在实现层面上类似于多级分布式有序map。具体存储方式如下图所示:
宽列数据库

4. 其他数据库

  关于其他数据库如图数据库等不属于本文讨论重点,这里略过。

三. NoSQL的关键技术

1. 分片技术

  在关系型数据库中也有使用一些分布式存储,如Oracle的RAC,IBM的DB2 pureScale。它们依赖于共享磁盘架构,即所有数据库节点需要接入中央数据库进行同步(NAS或SAN)。因此他们可以保持良好的一致性,但是难以扩展。相反的,在NoSQL中,通常使用的技术称为无共享架构(Shared-Noting Architecture),即组成系统的各个服务器拥有私有内存和磁盘空间,并通过网络连接,由此实现了高扩展性。
  常用的基本分布式分片技术包括范围分片,哈希分片和实体组分片。
(1)范围分片是将数据排序,将连续的值切片存储,在BigTable, HBase, Hypertable等宽列数据库和部分文件数据库如MongoDB, RethinkDB, Espresso, DocumentDB中常见。
(2)哈希分片顾名思义是采取哈希散列均匀存储,这种方式最大的缺点在于查找较为困难,但是分片非常容易,在k-v数据库中常出现,在 一些宽列数据库如Cassandra和Azure Tables中有使用。
(3)实体组分片是为了方便在局部地区方便的进行数据交换,在G-Store, MegaStore , Relational Cloud , Cloud SQL Server中出现。

2. 数据复制

  就CAP理论而言,传统关系型数据库是不需要考虑的,一般均满足CA。而NoSQL则难以避免P的出现,因此需要根据需求在C和A中进行取舍。这其中数据的复制就是很重要的一项技术。根据不同的策略,这里主要的抉择在于何时更新以及在哪儿更新数据。
  “何时更新”通常有两种选择:主动的同步(Eager synchronous)复制以及采用消极的异步复制(lazy asynchronous)模式。采用eager模式的好处在于利于保持一致性,但是由于需要等待复制会带来较大的写延迟损耗并降低了可用性。采用lazy模式则会更快,但是难于实现一致性。
  “在哪儿更新”意为采用主从复制机制(master-slave primary copy scheme)还是多主机机制(multi-master approach)。主从机制最大的问题在于为了保证master崩溃之后如何建立新的Master,因此会有较为复杂的机制。而多主机则相反,主要是需要解决如何检测或者防止改变的冲突,常用解决方法有版本控制,向量钟,gossip和读修复。

3. 数据查询

  NoSQL数据库的查询能力取决于他们的分布式模型、一致性情况和数据模型。每个NoSQL都可以支持基本的key值查找,但是过滤查找或者说范围查找则通常对于范围分区系统较易实现。而对于数据的分析NoSQL则有一些不同,如MongoDB, Riak, CouchDB在内部实现了数据的分析,而对于 Cassandra 和 HBase,通常采用外部分析平台如Hadoop, Spark 和 Flink,另外批处理的分析工具MapReduce也有较好的表现。下图是NoSQL数据库的主要技术和函数及非函数系统特性的支持。

在这里插入图片描述

四. NoSQL的选择

  这里需要明确一点就是,之所以有这么多不同的NoSQL,是因为没有哪一种数据库是万能通用的,没有哪种数据库可以一劳永逸满足所有需求。因此,我们选用或者自己设计数据库的时候,需要根据需求谨慎的进行选择、构建。这里给出了三幅关于NoSQL的特性的图以及选择树,供于粗略的判断选取使用。
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

五. 总结

  本文大致总结了《NoSQL database systems: a survey and decision guidance》一文中的主要观点和提纲,用以记录和后续查阅使用。该文章中所有引用文献均是极好的分布式学习资料,都值得认真品读。同样的,该文也值得多次反复阅读和学习,一定会获益良多。

这篇关于阅读笔记(四)NoSQL的选择指引《NoSQL database systems: a survey and decision guidance》的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1138053

相关文章

SQL中的外键约束

外键约束用于表示两张表中的指标连接关系。外键约束的作用主要有以下三点: 1.确保子表中的某个字段(外键)只能引用父表中的有效记录2.主表中的列被删除时,子表中的关联列也会被删除3.主表中的列更新时,子表中的关联元素也会被更新 子表中的元素指向主表 以下是一个外键约束的实例展示

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

如何去写一手好SQL

MySQL性能 最大数据量 抛开数据量和并发数,谈性能都是耍流氓。MySQL没有限制单表最大记录数,它取决于操作系统对文件大小的限制。 《阿里巴巴Java开发手册》提出单表行数超过500万行或者单表容量超过2GB,才推荐分库分表。性能由综合因素决定,抛开业务复杂度,影响程度依次是硬件配置、MySQL配置、数据表设计、索引优化。500万这个值仅供参考,并非铁律。 博主曾经操作过超过4亿行数据

如何选择适合孤独症兄妹的学校?

在探索适合孤独症儿童教育的道路上,每一位家长都面临着前所未有的挑战与抉择。当这份责任落在拥有孤独症兄妹的家庭肩上时,选择一所能够同时满足两个孩子特殊需求的学校,更显得尤为关键。本文将探讨如何为这样的家庭做出明智的选择,并介绍星贝育园自闭症儿童寄宿制学校作为一个值得考虑的选项。 理解孤独症儿童的独特性 孤独症,这一复杂的神经发育障碍,影响着儿童的社交互动、沟通能力以及行为模式。对于拥有孤独症兄

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题,本文将一起从代码层去分析为什么没有建立索引? 开源ERP项目地址:https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置

MySQL数据库宕机,启动不起来,教你一招搞定!

作者介绍:老苏,10余年DBA工作运维经验,擅长Oracle、MySQL、PG、Mongodb数据库运维(如安装迁移,性能优化、故障应急处理等)公众号:老苏畅谈运维欢迎关注本人公众号,更多精彩与您分享。 MySQL数据库宕机,数据页损坏问题,启动不起来,该如何排查和解决,本文将为你说明具体的排查过程。 查看MySQL error日志 查看 MySQL error日志,排查哪个表(表空间

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来,一站式有声阅读平台听书系统 🌟 开篇:遇见未来,从“智听”开始 在这个快节奏的时代,你是否渴望在忙碌的间隙,找到一片属于自己的宁静角落?是否梦想着能随时随地,沉浸在知识的海洋,或是故事的奇幻世界里?今天,就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统,它正悄悄改变着我们的阅读方式,让未来触手可及! 📚 第一站:海量资源,应有尽有 走进“智听

C#实战|大乐透选号器[6]:实现实时显示已选择的红蓝球数量

哈喽,你好啊,我是雷工。 关于大乐透选号器在前面已经记录了5篇笔记,这是第6篇; 接下来实现实时显示当前选中红球数量,蓝球数量; 以下为练习笔记。 01 效果演示 当选择和取消选择红球或蓝球时,在对应的位置显示实时已选择的红球、蓝球的数量; 02 标签名称 分别设置Label标签名称为:lblRedCount、lblBlueCount

MySQL高性能优化规范

前言:      笔者最近上班途中突然想丰富下自己的数据库优化技能。于是在查阅了多篇文章后,总结出了这篇! 数据库命令规范 所有数据库对象名称必须使用小写字母并用下划线分割 所有数据库对象名称禁止使用mysql保留关键字(如果表名中包含关键字查询时,需要将其用单引号括起来) 数据库对象的命名要能做到见名识意,并且最后不要超过32个字符 临时库表必须以tmp_为前缀并以日期为后缀,备份

透彻!驯服大型语言模型(LLMs)的五种方法,及具体方法选择思路

引言 随着时间的发展,大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用,随着人们期望的不断增加,目标也发生了巨大的变化。在短短的几个月的时间里,人们对大模型的认识已经从对其zero-shot能力感到惊讶,转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构(例如Transformer)对海量的、多种多样的数据分布进行建模得到,它包含了大量的先验