nosql資料庫實戰
『壹』 Nosql是什麼意思
什麼是NoSQL資料庫？從名稱「非SQL」或「非關系型」衍生而來，這些資料庫不使用類似SQL的查詢語言，通常稱為結構化存儲。這些資料庫自1960年就已經存在，但是直到現在一些大公司（例如Google和Facebook）開始使用它們時，這些資料庫才流行起來。該資料庫最明顯的優勢是擺脫了一組固定的列、連接和類似SQL的查詢語言的限制。有時，NoSQL這個名稱也可能表示「不僅僅SQL」，來確保它們可能支持SQL。 NoSQL資料庫使用諸如鍵值、寬列、圖形或文檔之類的數據結構，並且可以如JSON之類的不同格式存儲。
『貳』 NoSQL資料庫探討之一為什麼要用非關系資料庫
而傳統的關系資料庫在應付web2.0網站，特別是超大規模和高並發的SNS類型的web2.0純動態網站已經顯得力不從心，暴露了很多難以克服的問題，例如：
1、High performance - 對資料庫高並發讀寫的需求
web2.0網站要根據用戶個性化信息來實時生成動態頁面和提供動態信息，所以基本上無法使用動態頁面靜態化技術，因此資料庫並發負載非常高，往往要達到每秒上萬次讀寫請求。關系資料庫應付上萬次SQL查詢還勉強頂得住，但是應付上萬次SQL寫數據請求，硬碟IO就已經無法承受了。其實對於普通的BBS網站，往往也存在對高並發寫請求的需求。
2、Huge Storage - 對海量數據的高效率存儲和訪問的需求
對於大型的SNS網站，每天用戶產生海量的用戶動態，以國外的Friendfeed為例，一個月就達到了2.5億條用戶動態，對於關系資料庫來說，在一張2.5億條記錄的表裡面進行SQL查詢，效率是極其低下乃至不可忍受的。再例如大型web網站的用戶登錄系統，例如騰訊，盛大，動輒數以億計的帳號，關系資料庫也很難應付。
3、High Scalability && High Availability- 對資料庫的高可擴展性和高可用性的需求
在基於web的架構當中，資料庫是最難進行橫向擴展的，當一個應用系統的用戶量和訪問量與日俱增的時候，你的資料庫卻沒有辦法像web server和app server那樣簡單的通過添加更多的硬體和服務節點來擴展性能和負載能力。對於很多需要提供24小時不間斷服務的網站來說，對資料庫系統進行升級和擴展是非常痛苦的事情，往往需要停機維護和數據遷移，為什麼資料庫不能通過不斷的添加伺服器節點來實現擴展呢？
在上面提到的「三高」需求面前，關系資料庫遇到了難以克服的障礙，而對於web2.0網站來說，關系資料庫的很多主要特性卻往往無用武之地，例如：
1、資料庫事務一致性需求
很多web實時系統並不要求嚴格的資料庫事務，對讀一致性的要求很低，有些場合對寫一致性要求也不高。因此資料庫事務管理成了資料庫高負載下一個沉重的負擔。
2、資料庫的寫實時性和讀實時性需求
對關系資料庫來說，插入一條數據之後立刻查詢，是肯定可以讀出來這條數據的，但是對於很多web應用來說，並不要求這么高的實時性。
3、對復雜的SQL查詢，特別是多表關聯查詢的需求
任何大數據量的web系統，都非常忌諱多個大表的關聯查詢，以及復雜的數據分析類型的復雜SQL報表查詢，特別是SNS類型的網站，從需求以及產品設計角度，就避免了這種情況的產生。往往更多的只是單表的主鍵查詢，以及單表的簡單條件分頁查詢，SQL的功能被極大的弱化了。
因此，關系資料庫在這些越來越多的應用場景下顯得不那麼合適了，為了解決這類問題的非關系資料庫應運而生。
NoSQL 是非關系型數據存儲的廣義定義。它打破了長久以來關系型資料庫與ACID理論大一統的局面。NoSQL 數據存儲不需要固定的表結構，通常也不存在連接操作。在大數據存取上具備關系型資料庫無法比擬的性能優勢。該術語在 2009 年初得到了廣泛認同。
當今的應用體系結構需要數據存儲在橫向伸縮性上能夠滿足需求。而 NoSQL 存儲就是為了實現這個需求。Google 的BigTable與Amazon的Dynamo是非常成功的商業 NoSQL 實現。一些開源的 NoSQL 體系，如Facebook 的Cassandra， Apache 的HBase，也得到了廣泛認同。
『叄』 如何用好NoSQL
No SQL DB是一種和關系型資料庫相對應的對象資料庫。按照數據模型保存性質將當前NoSQL分為四種：
1.Key-value stores鍵值存儲, 保存keys+BLOBs
2.Table-oriented 面向表, 主要有Google的BigTable和Cassandra.
3.Document-oriented面向文本, 文本是一種類似XML文檔，MongoDB 和 CouchDB
4.Graph-oriented 面向圖論. 如Neo4J.
關系型資料庫的弊端：
關系型資料庫的歷史已經有30餘年了，因此，在某些情況下，關系型資料庫的弱點就會暴露出來：
1. 「對象-關系 阻抗不匹配」。關系模型和面向對象模型在概念上存在天然的不匹配的地方，比如對象模型當中特有的「繼承」，「組合」，「聚合」，「依賴」的概念在關系模型當中是不存在的。
2. 「模式演進」。即隨著時間的推移，需要對資料庫模式進行調整以便適應新的需求，然而，對資料庫模式的調整是的成本很高的動作，因此很多設計師在系統設計之初會設計一個兼容性很強的資料庫模式，以應對將來可能出現的需求，然而在現在的web系統開發過程中，系統的變更更加頻繁，幾乎無法預先設計出一種「萬能」的資料庫模式以滿足所有的需求，因此 模式演進的弊端就愈發凸顯。
3. 關系型資料庫處理 稀疏表時的性能非常差。
4. networkoriented data 很適合處理 人工智慧、社交網路中的一些需求。
所以，各種各樣的No SQL DB 出現了，這里只簡單介紹下Neo4J 的基本知識。
Neo 數據模型
Neo4J 是一個基於圖實現的No SQL DB, 其基本的數據類型有如下幾種：
Node, Relationship, Property.
Node 對應於圖中的 節點，Relationship 對應圖中的邊，Node 和 Relationship 都可以擁有Property，
Property 的數據結構為。
數據遍歷
『肆』 互聯網背景下，為什麼用NoSql
本文將從單機MySQL的場景出發，簡述一下隨著網站的訪問量越來越大，資料庫部署的演進過程，到為什麼要用MySQL的必要性。
大數據時代的數據有3V的特點：海量Volume、多樣Variety、實時Velocity。
互聯網網站需求的3高的特點：高並發、高可擴、高性能。
一、單機MySql
當一個網站的訪問量不大時，用單個資料庫完全可以輕松應付。
在那個時候，更多的都是靜態網頁，動態交互類型的網站不多。
七、Nosql是什麼
NoSQL(NoSQL = Not Only SQL )，意即「不僅僅是SQL」，
泛指非關系型的資料庫。隨著互聯網web2.0網站的興起，傳統的關系資料庫在應付web2.0網站，特別是超大規模和高並發的SNS類型的web2.0純動態網站已經顯得力不從心，暴露了很多難以克服的問題，而非關系型的資料庫則由於其本身的特點得到了非常迅速的發展。NoSQL資料庫的產生就是為了解決大規模數據集合多重數據種類帶來的挑戰，尤其是大數據應用難題，包括超大規模數據的存儲。
（例如谷歌或Facebook每天為他們的用戶收集萬億比特的數據）。這些類型的數據存儲不需要固定的模式，無需多餘操作就可以橫向擴展。
八、Nosql的優勢
1.易擴展
NoSQL資料庫種類繁多，但是一個共同的特點都是去掉關系資料庫的關系型特性。
數據之間無關系，這樣就非常容易擴展。也無形之間，在架構的層面上帶來了可擴展的能力。
2.大數據量，高性能
NoSQL資料庫都具有非常高的讀寫性能，尤其在大數據量下，同樣表現優秀。
這得益於它的無關系性，資料庫的結構簡單。一般MySQL使用Query Cache，每次表的更新Cache就失效，是一種大粒度的Cache，在針對web2.0的交互頻繁的應用，Cache性能不高。而NoSQL的Cache是記錄級的，是一種細粒度的Cache，所以NoSQL在這個層面上來說就要性能高很多了。
3.多樣靈活的數據模型
NoSQL無需事先為要存儲的數據建立欄位，隨時可以存儲自定義的數據格式。而在關系資料庫里，增刪欄位是一件非常麻煩的事情。如果是非常大數據量的表，增加欄位簡直就是一個噩夢。
九、Nosql資料庫的四大分類
鍵值(Key-Value)存儲
列存儲
文檔存儲
圖形存儲
常見的有：Redis、Memcache、MongoDB，這里就不一 一 介紹了。
『伍』 常見NoSQL資料庫的應用場景是怎麼樣的
文檔資料庫
源起：受Lotus Notes啟發。
數據模型：包含了key-value的文檔集合
例子：CouchDB, MongoDB
優點：數據模型自然，編程友好，快速開發，web友好，CRUD。
圖資料庫
源起： 歐拉和圖理論。
數據模型：節點和關系，也可處理鍵值對。
例子：AllegroGraph, InfoGrid, Neo4j
優點：解決復雜的圖問題。
關系資料庫
源起： E. F. Codd 在A Relational Model of Data for Large Shared Data Banks提出的
數據模型：各種關系
例子：VoltDB, Clustrix, MySQL
優點：高性能、可擴展的OLTP，支持SQL，物化視圖，支持事務，編程友好。
對象資料庫
源起：圖資料庫研究
數據模型：對象
例子：Objectivity, Gemstone
優點：復雜對象模型，快速鍵值訪問，鍵功能訪問，以及圖資料庫的優點。
Key-Value資料庫
源起：Amazon的論文 Dynamo 和 Distributed HashTables。
數據模型：鍵值對
例子：Membase, Riak
優點：處理大量數據，快速處理大量讀寫請求。編程友好。
BigTable類型資料庫
源起：Google的論文 BigTable。
數據模型：列簇，每一行在理論上都是不同的
例子：HBase, Hypertable, Cassandra
優點：處理大量數據，應對極高寫負載，高可用，支持跨數據中心， MapRece。
數據結構服務
源起： ?
數據模型：字典操作，lists, sets和字元串值
例子：Redis
優點：不同於以前的任何資料庫
網格資料庫
源起：數據網格和元組空間研究。
數據模型：基於空間的架構
例子：GigaSpaces, Coherence
優點：適於事務處理的高性能和高擴展性
『陸』 java軟體工程師主要學習哪些課程
很多新手在學習java的時候都比較迷茫，不知道從哪裡開始學起，這里就給大家整理了一份java開發學習路線，比較系統全面，可參考這份大綱來安排學習計劃，希望可以幫到你~
最新java學習路線：第一階段：java業基礎課程
階段目標：
1、熟練掌握java的開發環境與編程核心知識；
2、熟練運用java面向對象知識進行程序開發；
3、對java的核心對象和組件有深入理解；
4、熟練運用javaAPI相關知識；
5、熟練應用java多線程技術；
6、能綜合運用所學知識完成一個項目。
知識點：
1、基本數據類型，運算符，數組，掌握基本數據類型轉換，運算符，流程式控制制；
2、數組，排序演算法，java常用API，類和對象，了解類與對象，熟悉常用API；
3、面向對象特徵，集合框架，熟悉面向對象三大特徵，熟練使用集合框架；
4、IO流，多線程；
5、網路協議，線程運用。
第二階段：javaWEB核心課程
階段目標：
1、熟練掌握資料庫和MySQL核心技術；
2、深入理解JDBC與DAO資料庫操作；
3、熟練運用JSP及Servlet技術完成網站後台開發；
4、深入理解緩存、連繼池、註解、反射、泛型等知識；
5、能夠運用所學知識完成自定義框架。
知識點：
1、資料庫知識，範式，MySQL配置，命令，建庫建表，數據的增刪改查，約束，視圖，存儲過程，函數，觸發器，事務，游標，建模工具。
2、深入理解資料庫管理系統通用知識及MySQL資料庫的使用與管理。為Java後台開發打下堅實基礎。Web頁面元素，布局，CSS樣式，盒模型，JavaScript，jQuery。
3、掌握前端開發技術，掌握jQuery。
4、Servlet，EL表達式，會話跟蹤技術，過濾器，FreeMarker。
5、掌握Servlet相關技術，利用Servlet，JSP相關應用技術和DAO完成B/S架構下的應用開發。
6、泛型，反射，註解。
7、掌握JAVA高級應用，利用泛型，註解，枚舉完成自己的CRUD框架開發為後續框架學習做鋪墊。
8、單點登錄，支付功能，項目整合，分頁封裝熟練運用JSP及Servlet核心知識完成項目實戰。
第三階段：JavaEE框架課程
階段目標：
1. 熟練運用Linux操作系統常見命令及完成環境部署和Nginx伺服器的配置
2. 熟練運用JavaEE三大核心框架：Spring,SpringMVC,MyBatis
3. 熟練運用Maven,並使用SpringBoot進行快速框架搭建
4. 深入理解框架的實現原理，Java底層技術，企業級應用等
5. 使用Shiro,Ztree和Spring,SpringMVC,Myts完成企業項目
知識點：
1、Linux安裝配置，文件目錄操作，VI命令，管理，用戶與許可權，環境部署，Struts2概述，hiberante概述。
2、Linux作為一個主流的伺服器操作系統，是每一個開發工程師必須掌握的重點技術，並且能夠熟練運用。
3、SSH的整合,MyBatis,SpringMVC,Maven的使用。
4、了解AOP原理，了解中央控制器原理，掌握MyBatis框架，掌握SSM框架的整合。
5、Shiro,Ztree，項目文檔，項目規范，需求分析，原型圖設計，資料庫設計，工程構建，需求評審，配置管理，BUG修復，項目管理等。
6、獨立自主完成一個中小型的企業級綜合項目的設計和整體架構的原型和建模。獨立自主完成一個大型的企業級綜合項目，並具備商業價值。
第四階段：分布式與微服務課程
階段目標：
1.掌握前端框架VUE及Bootstrap的應用開發
2.基於SpringCloud完成微服務架構項目的開發
3.掌握NoSQL資料庫Redis的使用
4.掌握消息隊列RabbitMQ的使用
5.掌握Mycat資料庫中間件的使用
知識點：
1、Bootstrap前端框架、VUE前端框架、RabbitMQ消息隊列。
2、掌握Bootstrap前端框架開發、掌握VUE前端框架開發、掌握RabbitMQ消息隊列的應用、掌握SpringBoot集成RabbitMQ。
3、Redis緩存資料庫的應用、Java基於Redis的應用開發、基於SpringCloud微服務架構開發實戰。
4、掌握NOSQL資料庫Redis的安裝、使用，Redis客戶端的安裝使用，Java訪問操作Redis資料庫，Redis的持久化方案、主從復制、高可用。
5、掌握SpringCloud微服務架構的開發，注冊中心，網關配置，配置中心，微服務間通信及容器化部署。
6、項目文檔，項目規范，需求分析，資料庫設計，工程構建，需求評審，配置管理，BUG修復，項目管理等。
7、掌握資料庫中間件Mycat的應用，基於Mycat實現數據讀寫分離，高可用集群。
8、掌握項目開發的流程，按照項目開發流程完成基於微服務架構項目的需求分析，編碼開發。
PS：溫馨提示，光看不練假把式，跟著視頻教程練項目也是必不可少的！相關教程指路B站尚學堂官方號！都是免費滴！