mongodb列存储
Ⅰ mongodb 是列存数据库吗
Mongodb使用的是文件存储系统。只是在文件系统的基础之上增加了文件地址的索引以提高查询速度。
Ⅱ mongodb数据库排名第一吗
答案：A
1.文档型数据库
作为最受欢迎的Nosql产品，文档型数据库MongoDB当仁不让地占据了第一的位置，同时它也是所有NoSQL数据库中排名最靠前的产品(总排行榜第七名)。Apache基金会的CouchDB排在第二，基于.Net的数据库RavenDB排在第三，Couchbase排在第四。
2.键值(Key-value)数据库
键值(Key-value)数据库是NoSQL领域中应用范围最广的，也是涉及产品最多的一种模型。从最简单的BerkeleyDB到功能丰富的分布式数据库Riak再到Amazon托管的DynamoDB不一而足。
在键值数据库流行度排行中，Redis不出意外地排名第一，它是一款由Vmware支持的内存数据库，总体排名第十一。排在第二位的是Memcached，它在缓存系统中应用十分广泛。排在之后的是Riak、BerkeleyDB、SimpleDB、DynamoDB以及甲骨文的Oracle NoSQL数据库。值得注意的是，Oracle NoSQL数据库上榜不久，得分已经翻番，上升势头非常迅猛。
3.列式存储
列式存储被视为NoSQL数据库中非常重要的一种模式，其中Cassandra流行度最高，它已经由Facebook转交给到Apache进行管理，同时Cassandra在全体数据库排名中排在第十位，紧随MongoDB成为第二受欢迎的NoSQL数据库。基于Hadoop的Hbase排在第二位，Hypertable排在第三。而Google的BigTable并未列入排名，原因是它并未正式公开。
Ⅲ 老去的MongoDB，未来在哪里
大概六年前，在为ZDNet撰写文章时，我们曾经认真思考过一个问题：MongoDB未来要走向何方？随着时间推移，答案已经逐渐浮出水面：要让数据库更具可扩展性，支持开发者编写好的各种应用程序。为此，MongoDB增加了原生搜索功能，以支持内容管理；物联网用例也获得了时序数据支持；另外还有变更流，可帮助电商应用快速预测出下一最佳行动。
顺带一说，MongoDB的客户还需要一种能够与开发工具良好匹配、易于上手的云解决方案。 结果就是Atlas，这项托管云服务目前占MongoDB整体业务的60%。
但平心而论，与大多数其他操作型数据库一样，MongoDB直到最近才刚刚得到重视。毕竟大家可能很难想象要在一套操作型数据库中，执行涵盖多个表（或文档集合）的复杂查询。
— 1 —
为什么要引入分析？
大多数操作型应用程序的共同之处是一旦添加了分析功能，其实用性将马上飞升。例如，分析可以帮助 汽车 制造商增强预防性维护，医疗保健服务商能够确定最佳护理方案，电子商务或 游戏 厂商则可以改善客户交互、防止客户流失。这些出于决策优化而设计出的分析功能，是对操作型数据库的良好补充。
把分析跟交易型数据库联系起来绝不是什么新鲜想法，HTAP、translytical或增强型交易数据库都是分析厂商们拿出的相应成果。
云原生提出的计算与存储彼此分离的理念，则让我们有了另一个在不影响性能或吞吐量的情况下、将操作数据处理与分析加以结合的好机会。 最近亮相的Oracle MySQL HeatWaev和谷歌AlloyDB，正是大厂在这个方向上的积极尝试。
大多数此类混合数据库都会使用专为分析而设计的柱状表，对传统行存储进行补充。顺带一提，它们也都使用相同的常见关系数据结构，确保转换更加简便易行。与之对应，如果引入包含分层和嵌套数据结构的文档模型，那么转译过程往往会更加困难。
那么，MongoDB是不是也该拥有自己的分析功能？这还是要看我们如何定义“分析”。如前所述，如果我们向交易中引入智能化操作分析，那么应用程序的实用性将大大增强。所以只要把范围设定在快速决策分析，而非复杂的分析建模，那么答案就是肯定的。
— 2 —
无法一蹴而就的事业
MongoDB已经开始尝试支持分析功能。它从可视化开始，着手提供自己的图表功能与商务智能（BI）连接器，现在的MongoDB在Tableaus与Qliks端看来已经几乎与MySQL无异。虽然一图胜万言，但对于分析来说，可视化还只是万里长征第一步。MongoDB尽管能提供趋势快照，但还无法进一步实现数据关联（往往涉及更复杂的查询），也无法完全回答“为什么”会出现哪些状况。
MongoDB决心已定，开始通过分析提升自身竞争力。但在这个分析复杂度愈发高企的时代，它显然无法取代Snowflake、Redshift、Databricks或者其他专业分析方案。 但MongoDB分析面向的也并非数据分析师，而是应用程序开发者。 回到操作型数据库的首要原则——尽量别把它，跟需要高度复杂的连接及/或高并发查询扯在一起。只要能让开发者构建起更好的应用程序，MongoDB就算是成功了。
Atlas能够灵活预留专门的分析节点。MongoDB也将在不久后，全面允许客户在更适合分析的节点上选择不同的计算实例。这些节点将提供在线数据复制功能，借此实现近实时分析。
但这还只是第一步：由于Atlas可运行在多种云环境上，因此客户还可以选择更多其他实例。不过大家无需担心，MongoDB未来将推出规范性指南，同时提供机器学习方案帮助大家自动选择最适应工作负载的实例类型。
对分析的尝试当然不可能止步于此，去年预览发布的Atlas Serverless将于本周推出正式版。刚刚起步的分析自然也将成为受益者，因为分析类工作负载一般与交易事务不同、突发峰值往往更多。
— 3 —
有没有可能对接SQL？
其实引入SQL的想法在MongoDB发展早期一直备受反对，当时有声音认为MongoDB永远不该成为关系数据库。但是，理性终将战胜情绪。
本周，MongoDB引入了新的Atlas SQL接口，可用于读取Atlas数据。这是一种全新结构，采用不同于BI连接器的通道。Atlas SQL将是MongoDB为数据提供SQL接口的第一次真正尝试，其思路绝不是简单把JSON扁平化以使其在Tableau中看起来像MySQL，而是提供更加精细的视图、反映JSON文档架构的丰富性。
但SQL接口编写工作不可能一蹴而就，所以预计Atlas SQL将在未来几年内逐渐发展完善。 毕竟要想与各类SQL工具（不止是可视化）实现全面集成，MongoDB还得在丰富的数据仓库选项上多下工夫。 我们还希望看到对upserts等操作的支持，分析平台没有了这些核心功能，就相当于分析表中失去了行插入功能。
与Atlas SQL接口一同推出预览版的全新列存储索引，则意在提高分析查询的性能水平。同样的，这还仅仅只是开始。例如，MongoDB用户目前仍需要手动设置列存储索引、指定字段。但从长远来看，我们可以通过分析访问模式来实现自动化。设想一下：后续我们可以丰富元数据以分析字段基数，添加Bloom过滤器以进一步优化扫描功能，也可以继续完善查询计划器。
接下来是Atlas Data Lake，负责为云对象存储中的JSON文档提供联合视图。Atlas Data Lake在改造完成后，将针对多个Atlas集群和云对象存储提供更多的通用联合查询功能。新的存储层会自动将Atlas集群数据集提取到云对象存储和内部技术目录 （并非Alation）组合当中，借此加快分析查询。
— 4 —
以人为本
长期以来，MongoDB一直是开发者们最喜欢的数据库之一。 这是因为开发者热爱javaScript和JSON，目前JS在Tiobe人气指数中排名第七。而JavaScript、JSON和文档模型将是MongoDB的永恒主题。但很遗憾，由于MongoDB此前一直刻意回避SQL，所以也就失去了相应的庞大人才库——SQL开发者同样体量庞大，让这一查询语言在人气指数中位列第九。现在，是时候做出改变了。
虽然MongoDB仍然认为文档模型优于、并有望取代关系模型（只是一家之言），但相信大家都认同一点：为了进一步扩大影响范围，MongoDB必须接纳那些以往被忽略的受众群体。要想双赢，两大阵营应该团结一致、实现简化；对于某些操作用例，我们不必将数据移动并转移至独立的数据仓库目标，而是简化为在统一平台内操作，最终将数据提取转化为更简单的数据复制。
— 5 —
意不在取代数据仓库、数据湖或智能湖仓
MongoDB绝不是要取代独立的数据仓库、数据湖或智能湖仓。目前复杂建模与发现已经成为分析工作中的重要组成部分，所以必须与操作型系统分别执行。 更重要的是，在操作型数据库中支持分析，最大的意义其实是实现流程内联并尽可能实时化。
换言之，MongoDB将由此实现与Snowflakes或者Databricks的全面协同。大家可以在数据仓库、数据湖或智能湖仓中开发用于识别异常值的模型，再将结果整理为一个相对简单、易于处理的分类、预测或规范模型。这样只要交易中出现异常，该模型就会被自动触发。
如今，在MongoDB中实现这样的闭环流程已经颇具可行性，但具体方法仍然非常复杂。大家需要将MongoDB中的变更流、触发器和函数拼凑起来，共同组织成某种封闭式的分析反馈循环。 相信在不久的将来，MongoDB将把这些复杂性要素隐藏在后台，直接提供简单易用的闭环与近实时分析选项。 这绝不是凭空想象，而是技术发展趋势的必然结果。如今，MongoDB已经踏上了这段分析 探索 之旅，我们也期待着它能早传捷报。
Ⅳ Mongodb和mysql的区别
Mongodb和mysql的区别
1.Mongodb简介及优缺点分析
Mongodb是非关系型数据库(nosql ),属于文档型数据库。文档是mongoDB中数据的基本单元，类似关系数据库的行，多个键值对有序地放置在一起便是文档，语法有点类似javascript面向对象的查询语言，它是一个面向集合的，模式自由的文档型数据库。
存储方式：虚拟内存+持久化。
查询语句：是独特的Mongodb的查询方式。
适合场景：事件的记录，内容管理或者博客平台等等。
架构特点：可以通过副本集，以及分片来实现高可用。
数据处理：数据是存储在硬盘上的，只不过需要经常读取的数据会被加载到内存中，将数据存储在物理内存中，从而达到高速读写。
成熟度与广泛度：新兴数据库，成熟度较低，Nosql数据库中最为接近关系型数据库，比较完善的DB之一，适用人群不断在增长。
优点：
快速！在适量级的内存的Mongodb的性能是非常迅速的，它将热数据存储在物理内存中，使得热数据的读写变得十分快。高扩展性，存储的数据格式是json格式！
缺点：
① mongodb不支持事务操作。
② mongodb占用空间过大。
③ 开发文档不是很完全，完善。
2.MySQL优缺点分析
优点：
在不同的引擎上有不同 的存储方式。
查询语句是使用传统的sql语句，拥有较为成熟的体系，成熟度很高。
开源数据库的份额在不断增加，mysql的份额页在持续增长。
缺点：
在海量数据处理的时候效率会显着变慢。
3.Mongodb和MySQL数据库的对比
传统的关系数据库一般由数据库（database）、表（table）、记录（record）三个层次概念组成，MongoDB是由数据库（database）、集合（collection）、文档对象（document）三个层次组成。
MongoDB对于关系型数据库里的表，但是集合中没有列、行和关系概念，这体现了模式自由的特点。
4.MongoDB常用语句
# 连接Mongo数据库，并设置数据存储地址
mongod.exe --dbpath "d:softwareMongoDBServer3.0data"
#-----------------------#1# 数据库
# 查看所有的数据库
show dbs
# 删除当前使用的数据库
db.dropDatabase()
# 使用这个数据库（只有插入数据后完成创建数据库）
use dbt
# 查看当前使用的数据库
db
db.getName()
# 查看当前数据库状态
db.stats()
# 修复当前数据库
db.repairDatabase()
# 从一个数据库复制到另一个数据库
db.Database("mydb", "temp", "127.0.0.1");
#-----------------------#2# 集合
# 查看当前数据库下所有的集合
show collections
show tables
# 创建名称为coll集合
db.createCollection('coll')
db.createCollection("coll2", {capped:true, autoIndexId:true, size:6142800, max:10000}) # 可选参数
# 查看当前集合状态
db.coll.stats()
# 删除名称为coll集合
db.coll.drop()
#-----------------------#3# 集合数据
# 插入空数据并且直接创建名称为coll集合
db.coll.insert({})
# 插入一个或多个数据
db.coll.insert({name:'tom', age:22})
db.coll.insert([{name:'adam', age:10},{name:'john', age:23}])
# 添加数据（save方法可以修改相同id的数据）
db.coll.save({name:'allen'})
# 删除一个或所有的数据
db.coll.remove({name:'tom'})
db.coll.remove({})
# 删除符合条件的数据中的第一条
db.coll.remove({name:'tom'}, 1)
# 更改数据
db.coll.update({name:'tom', age:22}, {$set:{name:'tom', age:222}})
# 查看数据
db.coll.find()
# 查看一条数据
db.coll.findOne()
db.coll.find({}, {name:1, '_id':0}) # 1表示显示，0表示不显示（find默认显示_id）
# 格式化显示数据，使数据更加清晰明了
db.coll.find().pretty()
# 使用and，or查看数据
db.coll.find({name:'tom', age:22}) # 等同and使用
db.coll.find({$or:[{name:'tom'}, {age:21}]}) # or使用
# 操作符大于，小于，等于，不等于，大于不等于，小于不等于
db.coll.find({age: {$gt: 22}}) # 大于
db.coll.find({age: {$lt: 22}}) # 大于
db.coll.find({age: 22}) # 等于
db.coll.find({age: {$ne: 22}}) # 不等于
db.coll.find({age: {$gte: 22}}) # 大于等于
db.coll.find({age: {$lte: 22}}) # 小于等于
# 显示从skip之后limit个
db.coll.find().limit(2).skip(1)
#-----------------------# # 用户
# 3.x之后版本添加用户
use admin
db.createUser({user:'nu', pwd:'nu', roles:[{role:'readWrite',db:'admin'}]})
# 用户认证
db.auth("nu", "nu");
# 显示当前所有用户
show users;
db.system.users.find()
3.x版本删除用户
db.removeUser('nu') # 不推荐使用，已经废弃
db.dropUser("nu");
# 当前db版本
db.version();
# 当前db的链接机器地址和端口
db.getMongo();
# 备份到备份目录
mongomp
# 从备份目录恢复备份语句。
mongorestore
咱们下期见。
Ⅳ 北大青鸟java培训：Hbase知识点总结
hbase概念:非结构化的分布式的面向列存储非关系型的开源的数据库，根据谷歌的三大论文之一的bigtable高宽厚表作用:为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。
能干什么:存储大量结果集数据，低延迟的随机查询。
sql:结构化查询语言nosql:非关系型数据库，列存储和文档存储(查询低延迟),hbase是nosql的一个种类，其特点是列式存储。
非关系型数据库--列存储(hbase)非关系型数据库--文档存储(MongoDB)非关系型数据库--内存式存储(redis)非关系型数据库--图形模型(graph)hive和hbase区别?Hive的定位是数据仓库，虽然也有增删改查，但其删改查对应的是整张表而不是单行数据，查询的延迟较高。
其本质是更加方便的使用mr的威力来进行离线分析的一个数据分析工具。
HBase的定位是hadoop的数据库，电脑培训http://www.kmbdqn.cn/发现是一个典型的Nosql，所以HBase是用来在大量数据中进行低延迟的随机查询的。
hbase运行方式:standalonedistrubited单节点和伪分布式?单节点:单独的进程运行在同一台机器上hbase应用场景:存储海量数据低延迟查询数据hbase表由多行组成hbase行一行在hbase中由行健和一个或多个列的值组成，按行健字母顺序排序的存储。
Ⅵ mongodb数据导出和数据备份的区别
MongoDB是文档型的行存储，行存储的读写过程是一致的，都是从第一列开始，到最后一列结束。行存储的写入是一次性完成，消耗的时间比列存储少，并且能够保证数据的完整性，缺点是数据读取过程中会产生冗余数据，如果只有少量数据，此影响可以忽略...
Ⅶ MongoDB是什么，怎么用看完你就知道了
MongoDB是一款为web应用程序和互联网基础设施设计的数据库管理系统。没错MongoDB就是数据库，是NoSQL类型的数据库。
（1）MongoDB提出的是文档、集合的概念，使用BSON（类JSON）作为其数据模型结构，其结构是面向对象的而不是二维表，存储一个用户在MongoDB中是这样子的。
使用这样的数据模型，使得MongoDB能在生产环境中提供高读写的能力，吞吐量较于mysql等SQL数据库大大增强。
（2）易伸缩，自动故障转移。易伸缩指的是提供了分片能力，能对数据集进行分片，数据的存储压力分摊给多台服务器。自动故障转移是副本集的概念，MongoDB能检测主节点是否存活，当失活时能自动提升从节点为主节点，达到故障转移。
（3）数据模型因为是面向对象的，所以可以表示丰富的、有层级的数据结构，比如博客系统中能把“评论”直接怼到“文章“的文档中，而不必像myqsl一样创建三张表来描述这样的关系。
（1）文档数据类型
SQL类型的数据库是正规化的，可以通过主键或者外键的约束保证数据的完整性与唯一性，所以SQL类型的数据库常用于对数据完整性较高的系统。MongoDB在这一方面是不如SQL类型的数据库，且MongoDB没有固定的Schema，正因为MongoDB少了一些这样的约束条件，可以让数据的存储数据结构更灵活，存储速度更加快。
（2）即时查询能力
MongoDB保留了关系型数据库即时查询的能力，保留了索引（底层是基于B tree）的能力。这一点汲取了关系型数据库的优点，相比于同类型的NoSQL redis 并没有上述的能力。
（3）复制能力
MongoDB自身提供了副本集能将数据分布在多台机器上实现冗余，目的是可以提供自动故障转移、扩展读能力。
（4）速度与持久性
MongoDB的驱动实现一个写入语义 fire and forget ，即通过驱动调用写入时，可以立即得到返回得到成功的结果（即使是报错），这样让写入的速度更加快，当然会有一定的不安全性，完全依赖网络。
MongoDB提供了Journaling日志的概念，实际上像mysql的bin-log日志，当需要插入的时候会先往日志里面写入记录，再完成实际的数据操作，这样如果出现停电，进程突然中断的情况，可以保障数据不会错误，可以通过修复功能读取Journaling日志进行修复。
（5）数据扩展
MongoDB使用分片技术对数据进行扩展，MongoDB能自动分片、自动转移分片里面的数据块，让每一个服务器里面存储的数据都是一样大小。
MongoDB核心服务器主要是通过mongod程序启动的，而且在启动时不需对MongoDB使用的内存进行配置，因为其设计哲学是内存管理最好是交给操作系统，缺少内存配置是MongoDB的设计亮点，另外，还可通过mongos路由服务器使用分片功能。
MongoDB的主要客户端是可以交互的js shell 通过mongo启动，使用js shell能使用js直接与MongoDB进行交流，像使用sql语句查询mysql数据一样使用js语法查询MongoDB的数据，另外还提供了各种语言的驱动包，方便各种语言的接入。
mongomp和mongorestore,备份和恢复数据库的标准工具。输出BSON格式，迁移数据库。
mongoexport和mongoimport，用来导入导出JSON、CSV和TSV数据，数据需要支持多格式时有用。mongoimport还能用与大数据集的初始导入，但是在导入前顺便还要注意一下，为了能充分利用好mongoDB通常需要对数据模型做一些调整。
mongosniff,网络嗅探工具，用来观察发送到数据库的操作。基本就是把网络上传输的BSON转换为易于人们阅读的shell语句。
因此，可以总结得到，MongoDB结合键值存储和关系数据库的最好特性。因为简单，所以数据极快，而且相对容易伸缩还提供复杂查询机制的数据库。MongoDB需要跑在64位的服务器上面，且最好单独部署，因为是数据库，所以也需要对其进行热备、冷备处理。
因为本篇文章不是API手册，所有这里对shell的使用也是基础的介绍什么功能可以用什么语句，主要是为了展示使用MongoDB shell的方便性，如果需要知道具体的MongoDB shell语法可以查阅官方文档。
创建数据库并不是必须的操作，数据库与集合只有在第一次插入文档时才会被创建，与对数据的动态处理方式是一致的。简化并加速开发过程，而且有利于动态分配命名空间。如果担心数据库或集合被意外创建，可以开启严格模式。
以上的命令只是简单实例，假设如果你之前没有学习过任何数据库语法，同时开始学sql查询语法和MongoDB 查询语法，你会发现哪一个更简单呢？如果你使用的是java驱动去操作MongoDB，你会发现任何的查询都像Hibernate提供出来的查询方式一样，只要构建好一个查询条件对象，便能轻松查询（接下来会给出示例），博主之前熟悉ES6，所以入手MongoDB js shell完成没问题，也正因为这样简洁，完善的查询机制，深深的爱上了MongoDB。
使用java驱动链接MongoDB是一件非常简单的事情，简单的引用，简单的做增删改查。在使用完java驱动后我才发现spring 对MongoDB 的封装还不如官方自身提供出来的东西好用，下面简单的展示一下使用。
这里只举例了简单的链接与简单的MongoDB操作，可见其操作的容易性。使用驱动时是基于TCP套接字与MongoDB进行通信的，如果查询结果较多，恰好无法全部放进第一服务器中，将会向服务器发送一个getmore指令获取下一批查询结果。
插入数据到服务器时间，不会等待服务器的响应，驱动会假设写入是成功的，实际是使用客户端生成对象id，但是该行为可以通过配置配置，可以通过安全模式开启，安全模式可以校验服务器端插入的错误。
要清楚了解MongoDB的基本数据单元。在关系型数据库中有带列和行的数据表。而MongoDB数据的基本单元是BSON文档，在键值中有指向不定类型值的键，MongoDB拥有即时查询，但不支持联结操作，简单的键值存储只能根据单个键来获取值，不支持事务，但支持多种原子更新操作。
如读写比是怎样的，需要何种查询，数据是如何更新的，会不会存在什么并发问题，数据结构化的程度是要求高还是低。系统本身的需求决定mysql还是MongoDB。
在关于schema 的设计中要注意一些原则，比如：
数据库是集合的逻辑与物理分组，MongoDB没有提供创建数据库的语法，只有在插入集合时，数据库才开始建立。创建数据库后会在磁盘分配一组数据文件，所有集合、索引和数据库的其他元数据都保存在这些文件中，查阅数据库使用磁盘状态可通过。
集合是结构上或概念上相似得文档的容器，集合的名称可以包含数字、字母或 . 符号，但必须以字母或数字开头，完全。
限定集合名不能超过128个字符，实际上 . 符号在集合中很有用，能提供某种虚拟命名空间，这是一种组织上的原则，和其他集合是一视同仁的。在集合中可以使用。
其次是键值，在MongoDB里面所有的字符串都是UTF-8类型。数字类型包括double、int、long。日期类型都是UTC格式，所以在MongoDB里面看到的时间会比北京时间慢8小时。整个文档大小会限制在16m以内，因为这样可以防止创建难看的数据类型，且小文档可以提升性能，批量插入文档理想数字范围是10~200，大小不能超过16MB。
（1）索引能显着减少获取文档的所需工作量，具体的对比可以通过 .explain()方法进行对比
（2）解析查询时MongoDB通过最优计划选择一个索引进行查询，当没有最适合索引时，会先不同的使用各个索引进行查询，最终选出一个最优索引做查询
（3）如果有一个a-b的复合索引，那么仅针对a的索引是冗余的
（4）复合索引里的键的顺序是很重要的
（1）单键索引
（2）复合索引
（3）唯一性索引
（4）稀疏索引
如索引的字段会出现null的值，或是大量文档都不包含被索引的键。
如果数据集很大时，构建索引将会花费很长的时间，且会影响程序性能，可通过
当使用 mongorestore 时会重新构建索引。当曾经执行过大规模的删除时，可使用
对索引进行压缩，重建。
（1）查阅慢查询日志
（2）分析慢查询
注意新版本的MongoDB 的explain方法是需要参数的，不然只显示普通的信息。
本节同样主要简单呈现MongoDB副本集搭建的简易性，与副本集的强壮性，监控容易性
提供主从复制能力，热备能力，故障转移能力
实际上MongoDB对副本集的操作跟mysql主从操作是差不多的，先看一下mysql的主从数据流动过程
而MongoDB主要依赖的日志文件是oplog
写操作先被记录下来，添加到主节点的oplog里。与此同时，所有从结点复制oplog。首先，查看自己oplog里最后一条的时间戳；其次，查询主节点oplog里所有大于此时间戳的条目;最后，把那些条目添加到自己的oplog里并应用到自己的库里。从节点使用长轮询立即应用来自主结点oplog的新条目。
当遇到以下情况，从节点会停止复制
local数据库保存了所有副本集元素据和oplog日志
可以使用以下命令查看复制情况
每个副本集成员每秒钟ping一次其他所有成员，可以通过rs.status()看到节点上次的心跳检测时间戳和 健康 状况。
这个点没必要过多描述，但是有一个特殊场景，如果从节点和仲裁节点都被杀了，只剩下主节点，他会把自己降级成为从节点。
如果主节点的数据还没有写到从库，那么数据不能算提交，当该主节点变成从节点时，便会触发回滚，那些没写到从库的数据将会被删除，可以通过rollback子目录中的BSON文件恢复回滚的内容。
（1）使用单节点链接
只能链接到主节点，如果链接到从节点的话，会被拒绝写入操作，但是如果没有使用安全模式，因为mongo的fire and forget 特性，会把拒绝写入的异常给吃掉。
（2）使用副本集方式链接
能根据写入的情况自动进行故障转移，但是当副本集进行新的选举时，还是会出现故障，如果不使用安全模式，依旧会出现写不进去，但现实成功的情况。
分片是数据库切分的一个概念实现，这里也是简单总结为什么要使用分片以及分片的原理，操作。
当数据量过大，索引和工作数据集占用的内存就会越来越多，所以需要通过分片负载来解决这个问题
（1）分片组件
（2）分片的核心操作
分片一个集合：分片是根据一个属性的范围进行划分的，MongoDB使用所谓的分片键让每个文档在这些范围里找到自己的位置
块：是位于一个分片中的一段连续的分片键范围，可以理解为若干个块组成分片，分片组成MongoDB的全部数据
（3）拆分与迁移
块的拆分：初始化时只有一个块，达到最大块尺寸64MB或100000个文档就会触发块的拆分。把原来的范围一分为二，这样就有了两个块，每个块都有相同数量的文档。
迁移：当分片中的数据大小不一时会产生迁移的动作，比如分片A的数据比较多，会将分片A里面的一些块转移到分片B里面去。分片集群通过在分片中移动块来实现均衡，是由名为均衡器的软件进程管理的，任务是确保数据在各个分片中保持均匀分布，当集群中拥有块最多的分片与拥有块最少分片的块差大于8时，均衡器就会发起一次均衡处理。
启动两个副本集、三个配置服务器、一个mongos进程
配置分片
（1）分片查询类型
（2）索引
分片集合只允许在_id字段和分片键上添加唯一性索引，其他地方不行，因为这需要在分片间进行通信，实施起来很复杂。
当创建分片时，会根据分片键创建一个索引。
（1）分片键是不可修改的、分片键的选择非常重要
（2）低效的分片键
（3）理想的分片键
（1）部署拓扑
根据不同的数据中心划分
这里写图片描述
（2）最低要求
（3）配置的注意事项
需要估计集群大小，可使用以下命令对现有集合进行分片处理
（4）备份分片集群
备份分片时需要停止均衡器
（1）部署架构
使用64位机器、32位机器会制约mongodb的内存，使其最大值为1.5GB
（2）cpu
mongodb 只有当索引和工作集都可放入内存时，才会遇到CPU瓶颈，CPU在mongodb使用中的作用是用来检索数据，如果看到CPU使用饱和的情况，可以通过查询慢查询日志，排查是不是查询的问题导致的，如果是可以通过添加索引来解决问题
mongodb写入数据时会使用到CPU，但是mongodb写入时间一次只用到一个核，如果有频繁的写入行为，可以通过分片来解决这个问题
（3）内存
大内存是mongodb的保障，如果工作集大小超过内存，将会导致性能下降，因为这将会增加数据加载入内存的动作
（4）硬盘
mongodb默认每60s会与磁盘强制同步一次，称为后台刷新，会产生I/O操作。在重启时mongodb会将磁盘里面的数据加载至内存，高速磁盘将会减少同步的时间
（5）文件系统
使用ext4 和 xfs 文件系统
禁用最后访问时间
（6）文件描述符
linux 默认文件描述符是1024，需要大额度的提升这个额度
（7）时钟
mongodb各个节点服务器之间使用ntp服务器
（1）绑定IP
启动时使用 - -bind_ip 命令
（2）身份验证
启动时使用 - -auth 命令
（3）副本集身份认证
使用keyFile，注意keyFile文件的权限必须是600，不然会启动不起来
（1）拓扑结构
搭建副本集至少需要两个节点，其中仲裁结点不需要有自己的服务器
（2）Journaling日志
写数据时会先写入日志，而此时的数据也不是直接写入硬盘，而是写入内存
但是Journaling日志会消耗内存，所以可以在主库上面关闭，在从库上面启动
可以单独为Journaling日志使用一块固态硬盘
在插入时，可以通过驱动确保Journaling插入后再反馈，但是会非常影响性能。
logpath 选项指定日志存储地址
-vvvvv 选项（v越多，输出越详细）
db.runCommand({logrotare:1}) 开启滚动日志
（1）serverStatus
这里写图片描述
（2）top
（3）db.currentOp()
动态展示mongodb活动数据
占用当前mongodb监听端口往上1000号的端口
（1）mongomp
把数据库内容导出成BSON文件，而mongorestore能读取并还原这些文件
（2）mongorestore
把导出的BSON文件还原到数据库
（3）备份原始数据文件
可以这么做，但是，操作之前需要进行锁库处理 db.runCommand({fsync:1,lock:true})
db.$cmd.sys.unlock.findOne() 请求解锁操作，但是数据库不会立刻解锁，需要使用db.currentOp()验证。
（1）修复
mongd --repair 修复所有数据库
db.runCommand({repairDatabase:1}) 修复单个数据库
修复就是根据Jourling文件读取和重写所有数据文件并重建各个索引
（2）压紧
压紧，会重写数据文件，并重建集合的全部索引，需要停机或者在从库上面运行,如果需要在主库上面运行，需要添加force参数 保证加写锁。
（1）监控磁盘状态
（2）为提升性能检查索引和查询
总的来说，扫描尽可能少的文档。
保证没有冗余的索引，冗余的索引会占用磁盘空间、消耗更多的内存，在每次写入时还需做更多工作
（3）添加内存
dataSize 数据大小 和 indexSize 索引大小，如果两者的和大于内存，那么将会影响性能。
storageSize超过dataSize 数据大小 两倍以上，就会因磁盘碎片而影响性能，需要压缩。
Ⅷ 常见的基于列存储的大数据数据库有哪些
目前大数据存储有两种方案可供选择：行存储和列存储。业界对两种存储方案有很多争持，集中焦点是:谁能够更有效地处理海量数据，且兼顾安全、可靠、完整性。从目前发展情况看，关系数据库已经不适应这种巨大的存储量和计算要求，基本是淘汰出局。在已知的几种大数据处理软件中，Hadoop的HBase采用列存储，MongoDB是文档型的行存储，Lexst是二进制型的行存储。在这里，我不讨论这些软件的技术和优缺点，只围绕机械磁盘的物理特质，分析行存储和列存储的存储特点，以及由此产生的一些问题和解决办法。
Ⅸ mongodb 是列存数据库吗
Mongodb使用的是文件存储系统。只是在文件系统的基础之上增加了文件地址的索引以提高查询速度。
如果你还不是很熟悉，可以看看慕课网。
Ⅹ MongoDB 是什么看完你就知道了
点击上方 蓝色字体 ，选择“置顶公众号”
优质文章，第一时间送达
链接 | blog.csdn.net/hayre/article/details/80628431
1.MongoDB是什么？用一句话总结
MongoDB是一款为web应用程序和互联网基础设施设计的数据库管理系统。没错MongoDB就是数据库，是NoSQL类型的数据库。
（1）MongoDB提出的是文档、集合的概念，使用BSON（类JSON）作为其数据模型结构，其结构是面向对象的而不是二维表，存储一个用户在MongoDB中是这样子的。
使用这样的数据模型，使得MongoDB能在生产环境中提供高读写的能力，吞吐量较于mysql等SQL数据库大大增强。
（2）易伸缩，自动故障转移。易伸缩指的是提供了分片能力，能对数据集进行分片，数据的存储压力分摊给多台服务器。自动故障转移是副本集的概念，MongoDB能检测主节点是否存活，当失活时能自动提升从节点为主节点，达到故障转移。
（3）数据模型因为是面向对象的，所以可以表示丰富的、有层级的数据结构，比如博客系统中能把“评论”直接怼到“文章“的文档中，而不必像myqsl一样创建三张表来描述这样的关系。
3.主要特性
（1）文档数据类型
SQL类型的数据库是正规化的，可以通过主键或者外键的约束保证数据的完整性与唯一性，所以SQL类型的数据库常用于对数据完整性较高的系统。MongoDB在这一方面是不如SQL类型的数据库，且MongoDB没有固定的Schema，正因为MongoDB少了一些这样的约束条件，可以让数据的存储数据结构更灵活，存储速度更加快。 （2）即时查询能力
MongoDB保留了关系型数据库即时查询的能力，保留了索引（底层是基于B tree）的能力。这一点汲取了关系型数据库的优点，相比于同类型的NoSQL redis 并没有上述的能力。 （3）复制能力
MongoDB自身提供了副本集能将数据分布在多台机器上实现冗余，目的是可以提供自动故障转移、扩展读能力。 （4）速度与持久性
MongoDB的驱动实现一个写入语义 fire and forget ，即通过驱动调用写入时，可以立即得到返回得到成功的结果（即使是报错），这样让写入的速度更加快，当然会有一定的不安全性，完全依赖网络。
MongoDB提供了Journaling日志的概念，实际上像mysql的bin-log日志，当需要插入的时候会先往日志里面写入记录，再完成实际的数据操作，这样如果出现停电，进程突然中断的情况，可以保障数据不会错误，可以通过修复功能读取Journaling日志进行修复。
（5）数据扩展
MongoDB使用分片技术对数据进行扩展，MongoDB能自动分片、自动转移分片里面的数据块，让每一个服务器里面存储的数据都是一样大小。
MongoDB核心服务器主要是通过mongod程序启动的，而且在启动时不需对MongoDB使用的内存进行配置，因为其设计哲学是内存管理最好是交给操作系统，缺少内存配置是MongoDB的设计亮点，另外，还可通过mongos路由服务器使用分片功能。
MongoDB的主要客户端是可以交互的js shell 通过mongo启动，使用js shell能使用js直接与MongoDB进行交流，像使用sql语句查询mysql数据一样使用js语法查询MongoDB的数据，另外还提供了各种语言的驱动包，方便各种语言的接入。
mongomp和mongorestore,备份和恢复数据库的标准工具。输出BSON格式，迁移数据库。
mongoexport和mongoimport，用来导入导出JSON、CSV和TSV数据，数据需要支持多格式时有用。mongoimport还能用与大数据集的初始导入，但是在导入前顺便还要注意一下，为了能充分利用好mongoDB通常需要对数据模型做一些调整。
mongosniff,网络嗅探工具，用来观察发送到数据库的操作。基本就是把网络上传输的BSON转换为易于人们阅读的shell语句。
因此，可以总结得到，MongoDB结合键值存储和关系数据库的最好特性。因为简单，所以数据极快，而且相对容易伸缩还提供复杂查询机制的数据库。MongoDB需要跑在64位的服务器上面，且最好单独部署，因为是数据库，所以也需要对其进行热备、冷备处理。
因为本篇文章不是API手册，所有这里对shell的使用也是基础的介绍什么功能可以用什么语句，主要是为了展示使用MongoDB shell的方便性，如果需要知道具体的MongoDB shell语法可以查阅官方文档。
创建数据库并不是必须的操作，数据库与集合只有在第一次插入文档时才会被创建，与对数据的动态处理方式是一致的。简化并加速开发过程，而且有利于动态分配命名空间。如果担心数据库或集合被意外创建，可以开启严格模式。
以上的命令只是简单实例，假设如果你之前没有学习过任何数据库语法，同时开始学sql查询语法和MongoDB 查询语法，你会发现哪一个更简单呢？如果你使用的是java驱动去操作MongoDB，你会发现任何的查询都像Hibernate提供出来的查询方式一样，只要构建好一个查询条件对象，便能轻松查询（接下来会给出示例），博主之前熟悉ES6，所以入手MongoDB js shell完成没问题，也正因为这样简洁，完善的查询机制，深深的爱上了MongoDB。
使用java驱动链接MongoDB是一件非常简单的事情，简单的引用，简单的做增删改查。在使用完java驱动后我才发现spring 对MongoDB 的封装还不如官方自身提供出来的东西好用，下面简单的展示一下使用。
这里只举例了简单的链接与简单的MongoDB操作，可见其操作的容易性。使用驱动时是基于TCP套接字与MongoDB进行通信的，如果查询结果较多，恰好无法全部放进第一服务器中，将会向服务器发送一个getmore指令获取下一批查询结果。
插入数据到服务器时间，不会等待服务器的响应，驱动会假设写入是成功的，实际是使用客户端生成对象id，但是该行为可以通过配置配置，可以通过安全模式开启，安全模式可以校验服务器端插入的错误。
要清楚了解MongoDB的基本数据单元。在关系型数据库中有带列和行的数据表。而MongoDB数据的基本单元是BSON文档，在键值中有指向不定类型值的键，MongoDB拥有即时查询，但不支持联结操作，简单的键值存储只能根据单个键来获取值，不支持事务，但支持多种原子更新操作。
如读写比是怎样的，需要何种查询，数据是如何更新的，会不会存在什么并发问题，数据结构化的程度是要求高还是低。系统本身的需求决定mysql还是MongoDB。
在关于schema 的设计中要注意一些原则，比如：
数据库是集合的逻辑与物理分组，MongoDB没有提供创建数据库的语法，只有在插入集合时，数据库才开始建立。创建数据库后会在磁盘分配一组数据文件，所有集合、索引和数据库的其他元数据都保存在这些文件中，查阅数据库使用磁盘状态可通过。
集合是结构上或概念上相似得文档的容器，集合的名称可以包含数字、字母或 . 符号，但必须以字母或数字开头，完全。
限定集合名不能超过128个字符，实际上 . 符号在集合中很有用，能提供某种虚拟命名空间，这是一种组织上的原则，和其他集合是一视同仁的。在集合中可以使用。
其次是键值，在MongoDB里面所有的字符串都是UTF-8类型。数字类型包括double、int、long。日期类型都是UTC格式，所以在MongoDB里面看到的时间会比北京时间慢8小时。整个文档大小会限制在16m以内，因为这样可以防止创建难看的数据类型，且小文档可以提升性能，批量插入文档理想数字范围是10~200，大小不能超过16MB。
（2）解析查询时MongoDB通过最优计划选择一个索引进行查询，当没有最适合索引时，会先不同的使用各个索引进行查询，最终选出一个最优索引做查询
（3）如果有一个a-b的复合索引，那么仅针对a的索引是冗余的
（4）复合索引里的键的顺序是很重要的
（2）复合索引
（3）唯一性索引
（4）稀疏索引
如索引的字段会出现的值，或是大量文档都不包含被索引的键。
如果数据集很大时，构建索引将会花费很长的时间，且会影响程序性能，可通过
当使用 mongorestore 时会重新构建索引。当曾经执行过大规模的删除时，可使用
对索引进行压缩，重建。
（1）查阅慢查询日志
（2）分析慢查询
注意新版本的MongoDB 的explain方法是需要参数的，不然只显示普通的信息。
本节同样主要简单呈现MongoDB副本集搭建的简易性，与副本集的强壮性，监控容易性
提供主从复制能力，热备能力，故障转移能力
实际上MongoDB对副本集的操作跟mysql主从操作是差不多的，先看一下mysql的主从数据流动过程
而MongoDB主要依赖的日志文件是oplog
写操作先被记录下来，添加到主节点的oplog里。与此同时，所有从结点复制oplog。首先，查看自己oplog里最后一条的时间戳；其次，查询主节点oplog里所有大于此时间戳的条目;最后，把那些条目添加到自己的oplog里并应用到自己的库里。从节点使用长轮询立即应用来自主结点oplog的新条目。
当遇到以下情况，从节点会停止复制
local数据库保存了所有副本集元素据和oplog日志
可以使用以下命令查看复制情况
每个副本集成员每秒钟ping一次其他所有成员，可以通过rs.status看到节点上次的心跳检测时间戳和 健康 状况。
这个点没必要过多描述，但是有一个特殊场景，如果从节点和仲裁节点都被杀了，只剩下主节点，他会把自己降级成为从节点。
如果主节点的数据还没有写到从库，那么数据不能算提交，当该主节点变成从节点时，便会触发回滚，那些没写到从库的数据将会被删除，可以通过rollback子目录中的BSON文件恢复回滚的内容。
只能链接到主节点，如果链接到从节点的话，会被拒绝写入操作，但是如果没有使用安全模式，因为mongo的fire and forget 特性，会把拒绝写入的异常给吃掉。
（2）使用副本集方式链接
能根据写入的情况自动进行故障转移，但是当副本集进行新的选举时，还是会出现故障，如果不使用安全模式，依旧会出现写不进去，但现实成功的情况。
分片是数据库切分的一个概念实现，这里也是简单总结为什么要使用分片以及分片的原理，操作。
当数据量过大，索引和工作数据集占用的内存就会越来越多，所以需要通过分片负载来解决这个问题
（2）分片的核心操作
分片一个集合：分片是根据一个属性的范围进行划分的，MongoDB使用所谓的分片键让每个文档在这些范围里找到自己的位置
块：是位于一个分片中的一段连续的分片键范围，可以理解为若干个块组成分片，分片组成MongoDB的全部数据
（3）拆分与迁移
块的拆分：初始化时只有一个块，达到最大块尺寸64MB或100000个文档就会触发块的拆分。把原来的范围一分为二，这样就有了两个块，每个块都有相同数量的文档。
迁移：当分片中的数据大小不一时会产生迁移的动作，比如分片A的数据比较多，会将分片A里面的一些块转移到分片B里面去。分片集群通过在分片中移动块来实现均衡，是由名为均衡器的软件进程管理的，任务是确保数据在各个分片中保持均匀分布，当集群中拥有块最多的分片与拥有块最少分片的块差大于8时，均衡器就会发起一次均衡处理。
启动两个副本集、三个配置服务器、一个mongos进程
配置分片
（2）索引
分片集合只允许在_id字段和分片键上添加唯一性索引，其他地方不行，因为这需要在分片间进行通信，实施起来很复杂。
当创建分片时，会根据分片键创建一个索引。
（2）低效的分片键
（3）理想的分片键
根据不同的数据中心划分
（2）最低要求
（3）配置的注意事项
需要估计集群大小，可使用以下命令对现有集合进行分片处理
（4）备份分片集群
备份分片时需要停止均衡器
使用64位机器、32位机器会制约mongodb的内存，使其最大值为1.5GB
（2）cpu mongodb 只有当索引和工作集都可放入内存时，才会遇到CPU瓶颈，CPU在mongodb使用中的作用是用来检索数据，如果看到CPU使用饱和的情况，可以通过查询慢查询日志，排查是不是查询的问题导致的，如果是可以通过添加索引来解决问题
mongodb写入数据时会使用到CPU，但是mongodb写入时间一次只用到一个核，如果有频繁的写入行为，可以通过分片来解决这个问题 （3）内存
大内存是mongodb的保障，如果工作集大小超过内存，将会导致性能下降，因为这将会增加数据加载入内存的动作
（4）硬盘
mongodb默认每60s会与磁盘强制同步一次，称为后台刷新，会产生I/O操作。在重启时mongodb会将磁盘里面的数据加载至内存，高速磁盘将会减少同步的时间
（5）文件系统
使用ext4 和 xfs 文件系统
禁用最后访问时间
（6）文件描述符
linux 默认文件描述符是1024，需要大额度的提升这个额度
（7）时钟
mongodb各个节点服务器之间使用ntp服务器
启动时使用 - -bind_ip 命令
（2）身份验证
启动时使用 - -auth 命令
（3）副本集身份认证
使用keyFile，注意keyFile文件的权限必须是600，不然会启动不起来
搭建副本集至少需要两个节点，其中仲裁结点不需要有自己的服务器
（2）Journaling日志 写数据时会先写入日志，而此时的数据也不是直接写入硬盘，而是写入内存
但是Journaling日志会消耗内存，所以可以在主库上面关闭，在从库上面启动
可以单独为Journaling日志使用一块固态硬盘
在插入时，可以通过驱动确保Journaling插入后再反馈，但是会非常影响性能。
-vvvvv 选项（v越多，输出越详细）
db.runCommand({logrotare:1}) 开启滚动日志
（2）top
（3）db.currentOp
动态展示mongodb活动数据
占用当前mongodb监听端口往上1000号的端口
把数据库内容导出成BSON文件，而mongorestore能读取并还原这些文件
（2）mongorestore
把导出的BSON文件还原到数据库
（3）备份原始数据文件 可以这么做，但是，操作之前需要进行锁库处理 db.runCommand({fsync:1,lock:true}) db.$cmd.sys.unlock.findOne 请求解锁操作，但是数据库不会立刻解锁，需要使用 db.currentOp 验证。
db.runCommand({repairDatabase:1}) 修复单个数据库
修复就是根据Jourling文件读取和重写所有数据文件并重建各个索引 （2）压紧
压紧，会重写数据文件，并重建集合的全部索引，需要停机或者在从库上面运行,如果需要在主库上面运行，需要添加force参数 保证加写锁。
（2）为提升性能检查索引和查询
总的来说，扫描尽可能少的文档。
保证没有冗余的索引，冗余的索引会占用磁盘空间、消耗更多的内存，在每次写入时还需做更多工作
（3）添加内存
dataSize 数据大小 和 indexSize 索引大小，如果两者的和大于内存，那么将会影响性能。
storageSize超过dataSize 数据大小 两倍以上，就会因磁盘碎片而影响性能，需要压缩。