nosql存储技术

‘壹’ 大数据存储管理系统主要包括

分布式文件存储，Nosql数据库，NewSQL数据库。
分布式文件存储是一种数据存储技术，通过网络使用企业中的每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散存储在企业的各个角落。分布式文件存储采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。
NoSQL泛指非关系型的数据库，NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。关系型数据库已经无法满足Web2.0的需求，主要表现为：无法满足海量数据的管理需求、无法满足数据高并发的需求、高可扩展性和高可用性的功能太低。
NewSQL是各种新的可扩展/高性能数据库的简称，这类数据库不仅具有NoSQL对海量数据的存储管理能力，还保持了传统数据库支持ACID和SQL等特性。

‘贰’ 什么是nosql

nosql是not only sql的意思。是近今年新发展起来的存储系统。当前使用最多的是key-value模型，用于处理超大规模的数据。
以下是摘自网络中的一部分

NoSQL 是非关系型数据存储的广义定义。它打破了长久以来关系型数据库与ACID理论大一统的局面。NoSQL 数据存储不需要固定的表结构，通常也不存在连接操作。在大数据存取上具备关系型数据库无法比拟的性能优势。该术语在 2009 年初得到了广泛认同。
当今的应用体系结构需要数据存储在横向伸缩性上能够满足需求。而 NoSQL 存储就是为了实现这个需求。Google 的BigTable与Amazon的Dynamo是非常成功的商业 NoSQL 实现。一些开源的 NoSQL 体系，如Facebook 的Cassandra， Apache 的HBase，也得到了广泛认同。从这些NoSQL项目的名字上看不出什么相同之处：Hadoop、Voldemort、Dynomite，还有其它很多。
NoSQL与关系型数据库设计理念比较
关系型数据库中的表都是存储一些格式化的数据结构，每个元组字段的组成都一样，即使不是每个元组都需要所有的字段，但数据库会为每个元组分配所有的字段，这样的结构可以便于表与表之间进行连接等操作，但从另一个角度来说它也是关系型数据库性能瓶颈的一个因素。而非关系型数据库以键值对存储，它的结构不固定，每一个元组可以有不一样的字段，每个元组可以根据需要增加一些自己的键值对，这样就不会局限于固定的结构，可以减少一些时间和空间的开销。

‘叁’ 互联网如何海量存储数据

目前存储海量数据的技术主要包括NoSQL、分布式文件系统、和传统关系型数据库。随着互联网行业不断的发展，产生的数据量越来越多，并且这些数据的特点是半结构化和非结构化，数据很可能是不精确的，易变的。这样传统关系型数据库就无法发挥它的优势。因此，目前互联网大正蔽拦行业偏向于使用NoSQL和分布式文件系统来存储海量数据。

下面介绍下常用的NoSQL和分布式文件系统。

NoSQL

互联网行业常用的NoSQL有：HBase、MongoDB、Couchbase、LevelDB。

HBase是ApacheHadoop的子项目,理论依据为Google论文Bigtable:开发的。HBase适合存储半结构化或非结构化的数据。HBase的数据模型是稀疏的、分布式的、持久稳固的多维map。HBase也有行和列的概念，这是与RDBMS相同的地方，但却又不同。HBase底层采用HDFS作为文件系统，具有高可靠性、高性能。

MongoDB是一种支持高性能数据存储的开源文档型数据库。支持嵌入式数据模型以减少对数据库系统的I/O、利用索引实现快速查询，并且嵌入式文档和集合也支持索引，它复制能力被称作复制集（replicaset），提供了自动的故障迁移和数据冗余。MongoDB的分片策略将数据分布在服务器集群上。

Couchbase这种NoSQL有三个重滚并悔要的组件：Couchbase服务器、CouchbaseGateway、CouchbaseLite。Couchbase服务器，支持横向扩展，面向文档的数据库，支持键值操作，类似于SQL查询和内置的全文搜索;CouchbaseGateway提供了用于RESTful和流式访问数据的应用层API。CouchbaseLite是一款面向移动设备和“边缘”系统的嵌入式数据库。Couchbase支持千万级海量数据存储

分布式文件系统

如果针对单个大文件，譬如超过100MB的文件，使用NoSQL存储就不适当了。使用分布式文件系统的优势在于，分布式文件系统隔离底层数据存储和分布的细节，展示给用户的是一个统一的逻辑视图。常用的分布式文件系统有GoogleFileSystem、HDFS、MooseFS、Ceph、GlusterFS、Lustre等。

‘肆’ 大数据的存储

⼤数据的存储⽅式是结构化、半结构化和⾮结构化海量数据的存储和管理，轻型数据库⽆法满⾜对其存储以及复杂的数据挖掘和分析操作，通常使⽤分布式⽂件系统、No SQL 数据库、云数据库等。

结构化、半结构化和⾮结构化海量数据的存储和管理，轻型数据库⽆法满⾜对其存储以及复杂的数据挖掘和分析操作，通常使⽤分布式⽂件系统、No SQL 数据库、云数据库等。

1 分布式系统：分布式系统包含多个⾃主的处理单元，通过计算机⽹络互连来协作完成分配的任务，其分⽽治之的策略能够更好的处理⼤规模数据分析问题。

主要包含以下两类：

1）分布式⽂件系统：存储管理需要多种技术的协同⼯作，其中⽂件系统为其提供最底层存储能⼒的⽀持。分布式⽂件系统 HDFS 是⼀个⾼度容错性系统，被设计成适⽤于批量处理，能够提供⾼吞吐量的的数据访问。

2）分布式键值系统：分布式键值系统⽤于存储关系简单的半结构化数据。典型的分布式键值系统有 Amazon Dynamo，以及获得⼴泛应⽤和关注的对象存储技术(Object Storage)也可以视为键值系统，其存储和管理的是对象⽽不是数据块。

2 Nosql 数据库：关系数据库已经⽆法满⾜ Web2.0 的需求。主要表现为：⽆法满⾜海量数据的管理需求、⽆法满⾜数据⾼并发的需求、⾼可扩展性和⾼可⽤性的功能太低。No SQL 数据库的优势：可以⽀持超⼤规模数据存储，灵活的数据模型可以很好地⽀持 Web2.0 应⽤，具有强⼤的横向扩展能⼒等，典型的 No SQL 数据库包含以下⼏种：

3 云数据库：云数据库是基于云计算技术发展的⼀种共享基础架构的⽅法，是部署和虚拟化在云计算环境中的数据库。

‘伍’ nosql是什么意思

NoSQL,指的是非关系型的数据库。

NoSQL(NoSQL = Not Only SQL )，意即"不仅仅是SQL"。

在现代的计算系统上每天网络上都会产生庞大的数据量。

这些数据有很大一部分是由关系数据库管理系统（RDBMS）来处理。 1970年 E.F.Codd's提出的关系模型的论文 "A relational model of data for large shared data banks"，这使得数据建模和应用程序编程更加简单。

通过应用实践证明，关系模型是非常适合于客户服务器编程，远远超出预期的利益，今天它是结构化数据存储在网络和商务应用的主导技术。

NoSQL 是一项全新的数据库革命性运动，早期就有人提出，发展至2009年趋势越发高涨。NoSQL的拥护者们提倡运用非关系型的数据存储，相对于铺天盖地的关系型数据库运用，这一概念无疑是一种全新的思维的注入。

分布式系统

分布式系统（distributed system）由多台计算机和通信的软件组件通过计算机网络连接（本地网络或广掘散域网）组成。

分布式系统是建立在网络之上的软件系统。正是因为软件的特性，所以分布式系统具有高度的内聚性和透明性。

因此，网络和分布式系统之间的区别更多的在于高层软件（特别是操作系统），而不是硬件。

分布式系统可以应用在不同的平台上如：判饥氏Pc、工作站、局域网和广域网上等。肢吵