【MongoDB】4、MongoDB的两个小东东:GridFS和mapreduce

2024-02-02 20:58

本文主要是介绍【MongoDB】4、MongoDB的两个小东东:GridFS和mapreduce,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

早上继续看mongodb文档,利用早餐、交电话费、逛超市的碎片时间看了两个小东东:GridFS和mapreduce。


1、GridFS

GridFS是mongodb的分布式文件系统,可以充分利用分片和副本集的优势,善设shard key,还是不错的。

我想的shard key 是文件名,或者{类别,文件名},没细想,有了经验再细考量。对于创建日期有些犹豫,细节还不了解,应该是有价值的,还不知道怎么用。


以下凭记忆乱写,未必正确。

GridFS用两类集合保存文件,一个是db.files,保存文件元信息,和普通的集合没关系。一类是db.chunks,保存文件本身,每个chunk 20G。

对于大文件,驱动程序负责分割(需要自己写代码干预吗?看Java API文档时记着这个事情),每个文档受4M限制(新版本会扩大吧,反正再大也是不太大)。

客户端,比如Java可以建立连接,直接保存文件到mongodb,和保存普通文档从语法上区别不大。

常规操作包括:put、get、list、search。

有md5字段,可以验证文件完整性。


大概这些,感觉存小图片啥的还可以,正经存文件还是hdfs吧。当然,存海量小文件也功德无量。再想想shard和replset,也非常高大上。

2、MapReduce in MongoDB

这个也是个太监版,初步具备了象征意义。

输入方面,需要将BSON转换为JavaScript对象,额滴神啊,想想都觉得慢。

在map之前可以order by ,limit,query过滤,然后map ,emit,reduce,最后finalize。

结果集依托Connection是暂时的,可以持久保存。

JavaScript语法清晰简单。


继续看的话,找找Job、Task调度的内容。分片机制按照shard key将数据分片存储,计算的输入如果在某个分片上,map是不是也运行在那个分片上呢?


接下来还有几块内容没看:

管理角度:监控、备份;

开发角度:索引、查询。


这篇关于【MongoDB】4、MongoDB的两个小东东:GridFS和mapreduce的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/671929

相关文章

C语言实现两个变量值交换的三种方式

《C语言实现两个变量值交换的三种方式》两个变量值的交换是编程中最常见的问题之一,以下将介绍三种变量的交换方式,其中第一种方式是最常用也是最实用的,后两种方式一般只在特殊限制下使用,需要的朋友可以参考下... 目录1.使用临时变量(推荐)2.相加和相减的方式(值较大时可能丢失数据)3.按位异或运算1.使用临时

java两个List的交集,并集方式

《java两个List的交集,并集方式》文章主要介绍了Java中两个List的交集和并集的处理方法,推荐使用Apache的CollectionUtils工具类,因为它简单且不会改变原有集合,同时,文章... 目录Java两个List的交集,并集方法一方法二方法三总结java两个List的交集,并集方法一

Python如何计算两个不同类型列表的相似度

《Python如何计算两个不同类型列表的相似度》在编程中,经常需要比较两个列表的相似度,尤其是当这两个列表包含不同类型的元素时,下面小编就来讲讲如何使用Python计算两个不同类型列表的相似度吧... 目录摘要引言数字类型相似度欧几里得距离曼哈顿距离字符串类型相似度Levenshtein距离Jaccard相

使用Navicat工具比对两个数据库所有表结构的差异案例详解

《使用Navicat工具比对两个数据库所有表结构的差异案例详解》:本文主要介绍如何使用Navicat工具对比两个数据库test_old和test_new,并生成相应的DDLSQL语句,以便将te... 目录概要案例一、如图两个数据库test_old和test_new进行比较:二、开始比较总结概要公司存在多

Go Mongox轻松实现MongoDB的时间字段自动填充

《GoMongox轻松实现MongoDB的时间字段自动填充》这篇文章主要为大家详细介绍了Go语言如何使用mongox库,在插入和更新数据时自动填充时间字段,从而提升开发效率并减少重复代码,需要的可以... 目录前言时间字段填充规则Mongox 的安装使用 Mongox 进行插入操作使用 Mongox 进行更

C#比较两个List集合内容是否相同的几种方法

《C#比较两个List集合内容是否相同的几种方法》本文详细介绍了在C#中比较两个List集合内容是否相同的方法,包括非自定义类和自定义类的元素比较,对于非自定义类,可以使用SequenceEqual、... 目录 一、非自定义类的元素比较1. 使用 SequenceEqual 方法(顺序和内容都相等)2.

使用Python实现操作mongodb详解

《使用Python实现操作mongodb详解》这篇文章主要为大家详细介绍了使用Python实现操作mongodb的相关知识,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、示例二、常用指令三、遇到的问题一、示例from pymongo import MongoClientf

使用MongoDB进行数据存储的操作流程

《使用MongoDB进行数据存储的操作流程》在现代应用开发中,数据存储是一个至关重要的部分,随着数据量的增大和复杂性的增加,传统的关系型数据库有时难以应对高并发和大数据量的处理需求,MongoDB作为... 目录什么是MongoDB?MongoDB的优势使用MongoDB进行数据存储1. 安装MongoDB

锐捷和腾达哪个好? 两个品牌路由器对比分析

《锐捷和腾达哪个好?两个品牌路由器对比分析》在选择路由器时,Tenda和锐捷都是备受关注的品牌,各自有独特的产品特点和市场定位,选择哪个品牌的路由器更合适,实际上取决于你的具体需求和使用场景,我们从... 在选购路由器时,锐捷和腾达都是市场上备受关注的品牌,但它们的定位和特点却有所不同。锐捷更偏向企业级和专

两个月冲刺软考——访问位与修改位的题型(淘汰哪一页);内聚的类型;关于码制的知识点;地址映射的相关内容

1.访问位与修改位的题型(淘汰哪一页) 访问位:为1时表示在内存期间被访问过,为0时表示未被访问;修改位:为1时表示该页面自从被装入内存后被修改过,为0时表示未修改过。 置换页面时,最先置换访问位和修改位为00的,其次是01(没被访问但被修改过)的,之后是10(被访问了但没被修改过),最后是11。 2.内聚的类型 功能内聚:完成一个单一功能,各个部分协同工作,缺一不可。 顺序内聚: