當前位置:首頁 » 操作系統 » cassandra資料庫

cassandra資料庫

發布時間: 2023-01-12 09:25:34

① cassandra資料庫,某個欄位text類型,18位數字時可以正確判斷,19位失敗。

可能原因:
1、一個是文本格式,一個是數值格式
2、可能數據前後有不可見的字元(如空格)
3、可能你的某個數據因為設置顯示幾位小數,但真實值並不一定就是這樣的。

② 有哪些輕型的非關系型資料庫

常見的非關系型資料庫有:1、mongodb;2、cassandra;3、redis;4、hbase;5、neo4j。其中mongodb是非常著名的Nosql資料庫,它是一個面向文檔的開源資料庫。
常見的幾種非關系型資料庫:
1、MongoDB
MongoDB是最著名的NoSQL資料庫。它是一個面向文檔的開源資料庫。MongoDB是一個可伸縮和可訪問的資料庫。它在c++中。MongoDB同樣可以用作文件系統。在MongoDB中,JavaScript可以作為查詢語言使用。通過使用sharding MongoDB水平伸縮。它在流行的JavaScript框架中非常有用。
人們真的很享受分片、高級文本搜索、gridFS和map-rece功能。驚人的性能和新特性使這個NoSQL資料庫在我們的列表中名列第一。
特點:提供高性能;自動分片;運行在多個伺服器上;支持主從復制;數據以JSON樣式文檔的形式存儲;索引文檔中的任何欄位;由於數據被放置在碎片中,所以它具有自動負載平衡配置;支持正則表達式搜索;在失敗的情況下易於管理。
優點:易於安裝MongoDB;MongoDB Inc.為客戶提供專業支持;支持臨時查詢;高速資料庫;無模式資料庫;橫向擴展資料庫;性能非常高。
缺點:不支持連接;數據量大;嵌套文檔是有限的;增加不必要的內存使用。
2、Cassandra
Cassandra是Facebook為收件箱搜索開發的。Cassandra是一個用於處理大量結構化數據的分布式數據存儲系統。通常,這些數據分布在許多普通伺服器上。您還可以添加數據存儲容量,使您的服務保持在線,您可以輕松地完成這項任務。由於集群中的所有節點都是相同的,因此不需要處理復雜的配置。
Cassandra是用Java編寫的。Cassandra查詢語言(CQL)是查詢Cassandra資料庫的一種類似sql的語言。因此,Cassandra在最佳開源資料庫中排名第二。Facebook、Twitter、思科(Cisco)、Rackspace、eBay、Twitter、Netflix等一些最大的公司都在使用Cassandra。
特點:線性可伸縮;;保持快速響應時間;支持原子性、一致性、隔離性和耐久性(ACID)等屬性;使用Apache Hadoop支持MapRece;分配數據的最大靈活性;高度可伸縮;點對點架構。
優點:高度可伸縮;無單點故障;Multi-DC復制;與其他基於JVM的應用程序緊密集成;更適合多數據中心部署、冗餘、故障轉移和災難恢復。
缺點:對聚合的有限支持;不可預知的性能;不支持特別查詢。
3、Redis
Redis是一個鍵值存儲。此外,它是最著名的鍵值存儲。Redis支持一些c++、PHP、Ruby、Python、Perl、Scala等等。Redis是用C語言編寫的。此外,它是根據BSD授權的。
特點:自動故障轉移;將其資料庫完全保存在內存中;事務;Lua腳本;將數據復制到任意數量的從屬伺服器;鑰匙的壽命有限;LRU驅逐鑰匙;支持發布/訂閱。
優點:支持多種數據類型;很容易安裝;非常快(每秒執行約11萬組,每秒執行約81000次);操作都是原子的;多用途工具(在許多用例中使用)。
缺點:不支持連接;存儲過程所需的Lua知識;數據集必須很好地適應內存。
4、HBase
HBase是一個分布式的、面向列的開源資料庫,該技術來源於 Fay Chang 所撰寫的Google論文「Bigtable:一個結構化數據的分布式存儲系統」。就像Bigtable利用了Google文件系統(File System)所提供的分布式數據存儲一樣,HBase在Hadoop之上提供了類似於Bigtable的能力。
HBase是Apache的Hadoop項目的子項目。HBase不同於一般的關系資料庫,它是一個適合於非結構化數據存儲的資料庫。另一個不同的是HBase基於列的而不是基於行的模式。
5、neo4j
Neo4j被稱為原生圖資料庫,因為它有效地實現了屬性圖模型,一直到存儲層。這意味著數據完全按照白板的方式存儲,資料庫使用指針導航和遍歷圖。Neo4j有資料庫的社區版和企業版。企業版包括Community Edition必須提供的所有功能,以及額外的企業需求,如備份、集群和故障轉移功能。
特點:它支持唯一的約束;Neo4j支持完整的ACID(原子性、一致性、隔離性和持久性)規則;Java API: Cypher API和本機Java API;使用Apache Lucence索引;簡單查詢語言Neo4j CQL;包含用於執行CQL命令的UI: Neo4j Data Browser。
優點:容易檢索其相鄰節點或關系細節,無需連接或索引;易於學習Neo4j CQL查詢語言命令;不需要復雜的連接來檢索數據;非常容易地表示半結構化數據;大型企業實時應用程序的高可用性;簡化的調優。
缺點:不支持分片

③ Apache Cassandra資料庫的優缺點有哪些

Apache Cassandra資料庫的優缺點有哪些?本文將超越眾所周知的一些細節,探討與 Cassandra 相關的不太明顯的細節。您將檢查 Cassandra 數據模型、存儲模式設計、架構,以及與 Cassandra 相關的潛在驚喜。在資料庫歷史文章 「What Goes Around Comes Around」中,Michal Stonebraker 詳細描述了存儲技術是如何隨著時間的推移而發展的。實現關系模型之前,開發人員曾嘗試過其他模型,比如層次圖和有向圖。值得注意的是,基於 SQL 的關系模型(即使到現在也仍然是事實上的標准)已經盛行了大約 30 年。鑒於計算機科學的短暫歷史及其快速發展的步伐,這是一項非凡的成就。關系模型建立已久,以至於許多年來,解決方案架構師很容易為應用程序選擇數據存儲。他們的選擇總是關系資料庫。諸如增加系統、移動設備、擴展的用戶在線狀態、雲計算和多核系統的用戶群之類的開發已經導致產生越來越多的大型系統。Google 和 Amazon 之類的高科技公司都是首批觸及規模問題的公司。他們很快就發現關系資料庫並不足以支持大型系統。為了避免這些挑戰,Google 和 Amazon 提出了兩個可供選擇的解決方案:Big Table 和 Dynamo,他們可以由此放鬆關系數據模型提供的保證,從而實現更高的可擴展性。Eric Brewer 的 「CAP Theorem」後來官方化了這些觀察結果。它宣稱,對於可擴展性系統,一致性、可用性和分區容錯性都是權衡因素,因為根本不可能構建包含所有這些屬性的系統。不久之後,根據 Google 和 Amazon 早期的工作,以及所獲得的對可擴展性系統的理解,計劃創建一種新的存儲系統。這些系統被命名為 「NoSQL」 系統。該名稱最初的意思是 「如果想縮放就不要使用 SQL」,後來被重新定義為 「不只是 SQL」,意思是說,除了基於 SQL 的解決方案外,還有其他的解決方案。有許多 NoSQL 系統,而且每一個系統都緩和或改變了關系模型的某些方面。值得注意的是,沒有一個 NoSQL 解決方案適用於所有的場景。每一個解決方案都優於關系模型,且針對一些用例子集進行了縮放。我的早期文章 「在 Data Storage Haystack 中為您的應用程序尋找正確的數據解決方案」 討論了如何使應用程序需求和 NoSQL 解決方案相匹配。Apache Cassandra是其中一個最早也是最廣泛使用的 NoSQL 解決方案。本文詳細介紹了 Cassandra,並指出了一些首次使用 Cassandra 時不容易發現的細節和復雜之處。Apache CassandraCassandra 是一個 NoSQL 列族 (column family) 實現,使用由 Amazon Dynamo 引入的架構方面的特性來支持 Big Table 數據模型。Cassandra 的一些優勢如下所示:高度可擴展性和高度可用性,沒有單點故障NoSQL 列族實現非常高的寫入吞吐量和良好的讀取吞吐量類似 SQL 的查詢語言(從 0.8 起),並通過二級索引支持搜索可調節的一致性和對復制的支持靈活的模式這些優點很容易讓人們推薦使用 Cassandra,但是,對於開發人員來說,至關重要的一點是要深入探究 Cassandra 的細節和復雜之處,從而掌握該程序的復雜性。 什麼是列?列 有點用詞不當,使用名稱單元格 很可能更容易理解一些。我會堅持使用列,因為這是一種習慣用法。Cassandra 數據模型包括列、行、列族和密鑰空間 (keyspace)。讓我們逐一進行詳細介紹它們。•列:Cassandra 數據模型中最基本的單元,每一個列包括一個名稱、一個值和一個時間戳。在本文的討論中,我們忽略了時間戳,您可以將一個列表示為一個名稱值對(例如 author="Asimov")。•行:用一個名稱標記的列的集合。例如,清單 1 顯示了如何表示一個行: 清單 1. 行的示例"Second Foundation"-> { author="Asimov", publishedDate="..", tag1="sci-fi", tag2="Asimov" }Cassandra 包括許多存儲節點,並且在單個存儲節點內存儲每一個行。在每一行內,Cassandra 總是存儲按照列名稱排序的列。使用這種排序順序,Cassandra 支持切片查詢,在該查詢中,給定了一個行,用戶可以檢索屬於給定的列名稱范圍內的列的子集。例如,范圍 tag0 到 tag9999 內的切片查詢會獲得所有名稱范圍在 tag0 和 tag9999 內的列。•列族:用一個名稱標記的行的集合。清單 2 顯示了樣例數據的可能形式: 清單 2. 列族示例Books->{ "Foundation"->{author="Asimov", publishedDate=".."}, "Second Foundation"->{author="Asimov", publishedDate=".."}, … }人們常說列族就像是關系模型中的一個表格。如下例所示,相似點將不復存在。•密鑰空間:許多列族共同形成的一個組。它只是列族的一個邏輯組合,並為名稱提供獨立的范圍。最後,超級列位於一個列族中,該列族對一個密鑰下的多個列進行分組。正如開發人員不贊成使用超級列一樣,在此,我對此也不作任何討論。Cassandra 與 RDBMS 數據模型根據以上對 Cassandra 數據模型的描述,數據被放入每一個列族的二維 (2D) 空間中。要想在列族中檢索數據,用戶需要兩個密鑰:行名稱和列名稱。從這個意義上來說,盡管還存在多處至關重要的差異,關系模型和 Cassandra 仍然非常相似。•關系列均勻分布在表中的所有行之間。數據項之間通常有明顯的縱向關系,但這種情況並不適用於 Cassandra 列。這就是 Cassandra 使用各個數據項(列)來存儲列名稱的原因。•有了關系模型,2D 數據空間就完整了。2D 空間內的每一個點至少應當擁有存儲在此處的 null 值。另外,這種情況不適用於 Cassandra,Cassandra 可以擁有隻包括少數項的行,而其他行可以擁有數百萬個項。•有了關系模型,就可以對模式進行預定義,而且在運行時不可以更改模式,而 Cassandra 允許用戶在運行時更改模式。•Cassandra 始終存儲數據,這樣就可以根據其名稱對列進行排序。這使得使用切片查詢在列中搜索數據變得很容易,但在行中搜索數據變得很困難,除非您使用的是保序分區程序。•另一個重要差異是,RDMBS 中的列名稱表示與數據有關的元數據,但絕不是數據。而在 Cassandra 中,列名稱可以包括數據。因此,Cassandra 行可以擁有數百萬個列,而關系模型通常只有數十個列。•關系模型使用定義良好的不可變模式來支持復雜的查詢,這些查詢中包括 JOIN 和聚合等。使用關系模型,用戶無需擔心查詢就可定義數據模式。Cassandra 不支持 JOIN 和大多數 SQL 搜索方法。因此,模式必須滿足應用程序的查詢要求。

④ 開源資料庫有哪些

MongoDB——是一個基於分布式文件存儲的資料庫,由C++語言編寫,其目的是為WEB應用提供可擴展的高性能數據存儲解決方案,最大的特點在於它支持的查詢語言非常強大,局域高性能、易部署、存儲數據方便、模式自由等特點。

Cassandra——是一套開源分布式NoSQL資料庫系統。它最初由Facebook開發,用於儲存收件箱等簡單格式數據,具有模式靈活、多數據中心識別,可擴展性強等特點 。

Hadoop HBASE——採用了Google BigTable的稀疏的,面向列的資料庫實現方式的理論,建立在hadoop的hdfs上。

Couchbase——是一個集群化的、基於文檔的資料庫系統,它使用一個緩存層來提供非常快的數據訪問,將大部分數據都存儲在 RAM 中。

Neo4j——是面向網路的資料庫。也就是一個嵌入式的、基於磁碟的、具備完全的事務特性的Java持久化引擎,但它將結構化數據存儲在網路上而不是在表中。

⑤ 怎麼用jdbc連接cassandra資料庫

Cassandra的文件包中,bin下有自帶的資料庫操作命令行工具cassandra-cli,lib中有可供Java編程訪問的Driver.我們先介紹命令行工具的基本資料庫操作:
$ bin/cassandra-cli
>> Connected to: "Test Cluster" on 127.0.0.1/9160 Welcome to Cassandra CLI version 2.0.3 The CLI is deprecated and will be removed in Cassandra 3.0. Consider migrating to cqlsh. CQL is fully backwards compatible with Thrif
>> [default@unknown]

Key space類似於資料庫的概念,首先需要創建一個Key space.

⑥ 為什麼 Cassandra 的寫速度比 MySQL 快

Cassandra 的寫速度比 MySQL 快的兩大根本原因
1、cassandra沒有sql解析層,這是個大塊
2、cassandra採用memstable+sstable的模型,最大化的提高數據的寫入性能,磁碟操作只有順序寫。

nosql產品的數據寫入buffer非常大, nosql用數據安全換取高性能, 其實沒有絕對的優勢,看你的產品具體需求

⑦ 北大青鳥設計培訓:Java語言中有哪些必備的開發工具

想要成為Java技術大牛並不容易,技術大牛不僅需要具備扎實的開發技能,還需要掌握開發工具和框架的使用,在開發中,工具的選擇和使用是非常重要的,工具的功能不同使用的情況也不同。
下面電腦培訓為大傢具體介紹Java軟體開發必備的開發工具。
1、MongoDBMongoDB是使用非常廣泛的工具,具有跨平台和面向文檔資料庫等優勢,是現在使用最多的一種資料庫。
在使用過程中,有靈活的文檔模型、高可用復制集、可擴展分片集群,還能進行實時監控等相關操作。
IT培訓認為內存使用和頁面錯誤,復制集等與MongoDB的陰影是密不可分。
2、ElasticsearchElasticsearch主要是雲構建分布式RESTful的搜索引擎,但是Elasticsearch不僅僅是一個全文本的搜索引擎,還是一個具有分布式實時文檔存儲,裡面的每個數據都可以被搜索。
在使用過程中,還具有分布式搜索引擎、分析引擎等實時分析功能。
3、CassandraCassandra屬於開源分布式資料庫管理系統,Cassandra主要是使用Java編程語言進行編寫的,所以在JDK6以上的版本都是可以進行使用的,使用的操作命令和平時使用的一些資料庫相似。
昌平北大青鳥認為只要是熟悉其他資料庫的知識,使用Cassandra是非常容易的。
4、RedisRedis可以進行內存數據結構存儲,Redis有很多其他工具所不具備的優勢,不僅可以在內存中保存資料庫內容,並且所使用的磁碟具有持久性。
Redis的數據類型比許多鍵值數據存儲系統更豐富,另一個優點是Redis可以將數據復制到任何數字。
5、HadoopHadoop是進行Java編寫的軟體框架,主要使用在分布式存儲。
對於非常大的數據,用戶可以在不知道分布式基礎的情況下進行開發分布式程序,並且能夠使用集群實現高速計算和存儲。
在使用過程中,北大青鳥昌平計算機學院認為Hadoop還能實現分布式文件系統,能夠對大量的數據進行存儲。

⑧ 2019數據架構選型必讀:1月資料庫產品技術解析

本期目錄

DB-Engines資料庫排行榜

新聞快訊

一、RDBMS家族

二、NoSQL家族

三、NewSQL家族

四、時間序列

五、大數據生態圈

六、國產資料庫概覽

七、雲資料庫

八、推出dbaplus Newsletter的想法

九、感謝名單

為方便閱讀、重點呈現,本期Newsletter(2019年1月)將對各個板塊的內容進行精簡。需要閱讀全文的同學可點擊文末 【閱讀原文】 或登錄https://pan..com/s/13BgipbaHeMfvm0YPtiYviA

進行下載。

DB-Engines資料庫排行榜

以下取自2019年1月的數據,具體信息可以參考http://db-engines.com/en/ranking/,數據僅供參考。

DB-Engines排名的數據依據5個不同的因素:

新聞快訊

1、2018年9月24日,微軟公布了SQL Server2019預覽版,SQL Server 2019將結合Spark創建統一數據平台。

2、2018年10月5日,ElasticSearch在美國紐約證券交易所上市。

3、亞馬遜放棄甲骨文資料庫軟體,導致最大倉庫之一在黃金時段宕機。受此消息影響,亞馬遜盤前股價小幅跳水,跌超2%。

4、2018年10月31日,Percona發布了Percona Server 8.0 RC版本,發布對MongoDB 4.0的支持,發布對XtraBackup測試第二個版本。

5、2018年10月31日,Gartner陸續發布了2018年的資料庫系列報告,包括《資料庫魔力象限》、《資料庫核心能力》以及《資料庫推薦報告》。

今年的總上榜資料庫產品達到了5家,分別來自:阿里雲,華為,巨杉資料庫,騰訊雲,星環 科技 。其中阿里雲和巨杉資料庫已經連續兩年入選。

6、2018年11月初,Neo4j宣布完成E輪8000萬美元融資。11月15日,Neo4j宣布企業版徹底閉源:

7、2019年1月8日,阿里巴巴以1.033億美元(9000萬歐元)的價格收購了Apache Flink商業公司DataArtisans。

8、2019年1月11日早間消息,亞馬遜宣布推出雲資料庫軟體,亞馬遜和MongoDB將會直接競爭。

RDBMS家族

Oracle 發布18.3版本

2018年7月,Oracle Database 18.3通用版開始提供下載。我們可以將Oracle Database 18c視為採用之前發布模式的Oracle Database 12c第2版的第一個補丁集。未來,客戶將不再需要等待多年才能用上最新版Oracle資料庫,而是每年都可以期待新資料庫特性和增強。Database 19c將於2019年Q1率先在Oracle cloud上發布雲版本。

Oracle Database 18c及19c部分關鍵功能:

1、性能

2、多租戶,大量功能增強及改進,大幅節省成本和提高敏捷性

3、高可用

4、數據倉庫和大數據

MySQL發布8.0.13版本

1、賬戶管理

經過配置,修改密碼時,必須帶上原密碼。在之前的版本,用戶登錄之後,就可以修改自己的密碼。這種方式存在一定安全風險。比如用戶登錄上資料庫後,中途離開一段時間,那麼非法用戶可能會修改密碼。由參數password_require_current控制。

2、配置

Innodb表必須有主鍵。在用戶沒有指定主鍵時,系統會生成一個默認的主鍵。但是在主從復制的場景下,默認的主鍵,會對叢庫應用速度帶來致命的影響。如果設置sql_require_primary_key,那麼資料庫會強制用戶在創建表、修改表時,加上主鍵。

3、欄位默認值

BLOB、TEXT、GEOMETRY和JSON欄位可以指定默認值了。

4、優化器

1)Skip Scan

非前綴索引也可以用了。

之前的版本,任何沒有帶上f1欄位的查詢,都沒法使用索引。在新的版本中,它可以忽略前面的欄位,讓這個查詢使用到索引。其實現原理就是把(f1 = 1 AND f2 > 40) 和(f1 = 2 AND f2 > 40)的查詢結果合並。

2)函數索引

之前版本只能基於某個列或者多個列加索引,但是不允許在上面做計算,如今這個限制消除了。

5、SQL語法

GROUP BY ASC和GROUP BY DESC語法已經被廢棄,要想達到類似的效果,請使用GROUP BY ORDER BY ASC和GROUP BY ORDER BY DESC。

6、功能變化

1)設置用戶變數,請使用SET語句

如下類型語句將要被廢棄SELECT @var, @var:=@var+1。

2)新增innodb_fsync_threshold

該變數是控制文件刷新到磁碟的速率,防止磁碟在短時間內飽和。

3)新增會話級臨時表空間

在以往的版本中,當執行SQL時,產生的臨時表都在全局表空間ibtmp1中,及時執行結束,臨時表被釋放,空間不會被回收。新版本中,會為session從臨時表空間池中分配一個臨時表空間,當連接斷開時,臨時表空間的磁碟空間被回收。

4)在線切換Group Replication的狀態

5)新增了group_replication_member_expel_timeout

之前,如果某個節點被懷疑有問題,在5秒檢測期結束之後,那麼就直接被驅逐出這個集群。即使該節點恢復正常時,也不會再被加入集群。那麼,瞬時的故障,會把某些節點驅逐出集群。

group_replication_member_expel_timeout讓管理員能更好的依據自身的場景,做出最合適的配置(建議配置時間小於一個小時)。

MariaDB 10.3版本功能展示

1、MariaDB 10.3支持update多表ORDER BY and LIMIT

1)update連表更新,limit語句

update t1 join t2 on t1.id=t2.id set t1.name='hechunyang' limit 3;

MySQL 8.0直接報錯

MariaDB 10.3更新成功

2)update連表更新,ORDER BY and LIMIT語句

update t1 join t2 on t1.id=t2.id set t1.name='HEchunyang' order by t1.id DESC limit 3;

MySQL 8.0直接報錯

MariaDB 10.3更新成功

參考:

https://jira.mariadb.org/browse/MDEV-13911

2、MariaDB10.3增補AliSQL補丁——安全執行Online DDL

Online DDL從名字上看很容易誤導新手,以為不論什麼情況,修改表結構都不會鎖表,理想很豐滿,現實很骨感,注意這個坑!

有以下兩種情況執行DDL操作會鎖表的,Waiting for table metadata lock(元數據表鎖):

針對第二種情況,MariaDB10.3增補AliSQL補丁-DDL FAST FAIL,讓其DDL操作快速失敗。

例:

如果線上有某個慢SQL對該表進行操作,可以使用WAIT n(以秒為單位設置等待)或NOWAIT在語句中顯式設置鎖等待超時,在這種情況下,如果無法獲取鎖,語句將立即失敗。 WAIT 0相當於NOWAIT。

參考:

https://jira.mariadb.org/browse/MDEV-11388

3、MariaDB Window Functions窗口函數分組取TOP N記錄

窗口函數在MariaDB10.2版本里實現,其簡化了復雜SQL的撰寫,提高了可讀性。

參考:

https://mariadb.com/kb/en/library/window-functions-overview/

Percona Server發布8.0 GA版本

2018年12月21日,Percona發布了Percona Server 8.0 GA版本。

在支持MySQL8.0社區的基礎版上,Percona Server for MySQL 8.0版本中帶來了許多新功能:

1、安全性和合規性

2、性能和可擴展性

3、可觀察性和可用性

Percona Server for MySQL 8.0中將要被廢用功能:

Percona Server for MySQL 8.0中刪除的功能:

RocksDB發布V5.17.2版本

2018年10月24日,RocksDB發布V5.17.2版本。

RocksDB是Facebook在LevelDB基礎上用C++寫的高效內嵌式K/V存儲引擎。相比LevelDB,RocksDB提供了Column-Family,TTL,Transaction,Merge等方面的支持。目前MyRocks,TiKV等底層的存儲都是基於RocksDB來構建。

PostgreSQL發布11版本

2018年10月18日,PostgreSQL 11發布。

1、PostgreSQL 11的重大增強

2、PostgreSQL 插件動態

1)分布式插件citus發布 8.1

citus是PostgreSQL的一款sharding插件,目前國內蘇寧、鐵總、探探有較大量使用案例。

https://github.com/citusdata/citus

2)地理信息插件postgis發布2.5.1

PostGIS是專業的時空資料庫插件,在測繪、航天、氣象、地震、國土資源、地圖等時空專業領域應用廣泛。同時在互聯網行業也得到了對GIS有性能、功能深度要求的客戶青睞,比如共享出行、外賣等客戶。

http://postgis.net/

3)時序插件timescale發布1.1.1

timescale是PostgreSQL的一款時序資料庫插件,在IoT行業中有非常好的應用。github star數目前有5000多,是一個非常火爆的插件。

https://github.com/timescale/timescaledb

4)流計算插件 pipelinedb 正式插件化

Pipelinedb是PostgreSQL的一款流計算插件,使用這個創建可以對高速寫入的數據進行實時根據定義的聚合規則進行聚合(支持概率計算),實時根據定義的規則觸發事件(支持事件處理函數的自定義)。可用於IoT,監控,FEED實時計算等場景。

https://github.com/pipelinedb/pipelinedb

3、PostgreSQL衍生開源產品動態

1)agensgraph發布 2.0.0版本

agensgraph是兼容PostgreSQL、opencypher的專業圖資料庫,適合圖式關系的管理。

https://github.com/bitnine-oss/agensgraph

2)gpdb發布5.15

gpdb是兼容PostgreSQL的mpp資料庫,適合OLAP場景。近兩年,gpdb一直在追趕PostgreSQL的社區版本,預計很快會追上10的PostgreSQL,在TP方面的性能也會得到顯著提升。

https://github.com/greenplum-db/gpdb

3)antdb發布3.2

antdb是以Postgres-XC為基礎開發的一款PostgreSQL sharding資料庫,亞信主導開發,開源,目前主要服務於亞信自有客戶。

https://github.com/ADBSQL/AntDB

4)遷移工具MTK發布52版本

MTK是EDB提供的可以將Oracle、PostgreSQL、MySQL、MSSQL、Sybase資料庫遷移到PostgreSQL, PPAS的產品,遷移速度可以達到100萬行/s以上。

https://github.com/digoal/blog/blob/master/201812/20181226_01.md

DB2發布 11.1.4.4版本

DB2最新發布Mod Pack 4 and Fix Pack 4,包含以下幾方面的改動及增強:

1、性能

2、高可用

3、管理視圖

4、應用開發方面

5、聯邦功能

6、pureScale

NoSQL家族

Redis發布5.0.3版本

MongoDB升級更新MongoDB Mobile和MongoDB Stitch

2018年11月21日,MongoDB升級更新MongoDB Mobile和MongoDB Stitch,助力開發人員提升工作效率。

MongoDB 公司日前發布了多項新產品功能,旨在更好地幫助開發人員在世界各地管理數據。通過利用存儲在移動設備和後台資料庫的數據之間的實時、自動的同步特性,MongoDB Mobile通用版本助力開發人員構建更快捷、反應更迅速的應用程序。此前,這只能通過在移動應用內部安裝一個可供選擇或限定功能的資料庫來實現。

MongoDB Mobile在為客戶提供隨處運行的自由度方面更進了一步。用戶在iOS和安卓終端設備上可擁有MongoDB所有功能,將網路邊界擴展到其物聯網資產范疇。應用系統還可以使用MongoDB Stitch的軟體開發包訪問移動客戶端或後台數據,幫助開發人員通過他們希望的任意方式查詢移動終端數據和物聯網數據,包括本地讀寫、本地JSON存儲、索引和聚合。通過Stitch移動同步功能(現可提供beta版),用戶可以自動對保存在本地的數據以及後台資料庫的數據進行同步。

本期新秀:Cassandra發布3.11.3版本

2018年8月11日,Cassandra發布正式版3.11.3。

Apache Cassandra是一款開源分布式NoSQL資料庫系統,使用了基於Google BigTable的數據模型,與面向行(row)的傳統關系型資料庫或鍵值存儲key-value資料庫不同,Cassandra使用的是寬列存儲模型(Wide Column Stores)。與BigTable和其模仿者HBase不同,數據並不存儲在分布式文件系統如GFS或HDFS中,而是直接存於本地。

Cassandra的系統架構與Amazon DynamoDB類似,是基於一致性哈希的完全P2P架構,每行數據通過哈希來決定應該存在哪個或哪些節點中。集群沒有master的概念,所有節點都是同樣的角色,徹底避免了整個系統的單點問題導致的不穩定性,集群間的狀態同步通過Gossip協議來進行P2P的通信。

3.11.3版本的一些bug fix和改進:

NewSQL家族

TiDB 發布2.1.2版本

2018 年 12 月 22 日,TiDB 發布 2.1.2 版,TiDB-Ansible 相應發布 2.1.2 版本。該版本在 2.1.1 版的基礎上,對系統兼容性、穩定性做出了改進。

TiDB 是一款定位於在線事務處理/在線分析處理( HTAP: Hybrid Transactional/Analytical Processing)的融合型資料庫產品。除了底層的 RocksDB 存儲引擎之外,分布式SQL層、分布式KV存儲引擎(TiKV)完全自主設計和研發。

TiDB 完全開源,兼容MySQL協議和語法,可以簡單理解為一個可以無限水平擴展的MySQL,並且提供分布式事務、跨節點 JOIN、吞吐和存儲容量水平擴展、故障自恢復、高可用等優異的特性;對業務沒有任何侵入性,簡化開發,利於維護和平滑遷移。

TiDB:

PD:

TiKV:

Tools:

1)TiDB-Lightning

2)TiDB-Binlog

EsgynDB發布R2.5版本

2018年12月22日,EsgynDB R2.5版本正式發布。

作為企業級產品,EsgynDB 2.5向前邁進了一大步,它擁有以下功能和改進:

CockroachDB發布2.1版本

2018年10月30日,CockroachDB正式發布2.1版本,其新增特性如下:

新增企業級特性:

新增SQL特性:

新增內核特性:

Admin UI增強:

時間序列

本期新秀:TimescaleDB發布1.0版本

10月底,TimescaleDB 1.0宣布正式推出,官方表示該版本已可用於生產環境,支持完整SQL和擴展。

TimescaleDB是基於PostgreSQL資料庫開發的一款時序資料庫,以插件化的形式打包提供,隨著PostgreSQL的版本升級而升級,不會因為另立分支帶來麻煩。

TimescaleDB架構:

數據自動按時間和空間分片(chunk)

更新亮點:

https://github.com/timescale/timescaledb/releases/tag/1.0.0

大數據生態圈

Hadoop發布2.9.2版本

2018年11月中旬,Hadoop在2.9分支上發布了新的2.9.2版本,該版本進行了204個大大小小的變更,主要變更如下:

Greenplum 發布5.15版本

Greenplum最新的5.15版本中發布了流式數據載入工具。

該版本中的Greenplum Streem Server組件已經集成了Kafka流式載入功能,並通過了Confluent官方的集成認證,其支持的主要功能如下:

國產資料庫概覽

K-DB發布資料庫一體機版

2018年11月7日,K-DB發布了資料庫一體機版。該版本更新情況如下:

OceanBase遷移服務發布1.0版本

1月4日,OceanBase 正式發布OMS遷移服務1.0版本。

以下內容包含 OceanBase 遷移服務的重要特性和功能:

SequoiaDB發布3.0.1新版本

1、架構

1)完整計算存儲分離架構,兼容MySQL協議、語法

計算存儲分離體系以松耦合的方式將計算與存儲層分別部署,通過標准介面或插件對各個模塊和組件進行無縫替換,在計算層與存儲層均可實現自由的彈性伸縮。

SequoiaDB巨杉資料庫「計算-存儲分離」架構詳細示意

用戶可以根據自身業務特徵選擇面向交易的SQL解析器(例如MySQL或PGSQL)或面向統計分析的執行引擎(例如SparkSQL)。眾所周知,使用不同的SQL優化與執行方式,資料庫的訪問性能可能會存在上千上萬倍的差距。計算存儲分離的核心思想便是在數據存儲層面進行一體化存儲,在計算層面則利用每種執行引擎的特點針對不同業務場景進行選擇和優化,用戶可以在存儲層進行邏輯與物理的隔離,將面向高頻交易的前端業務與面向高吞吐量的統計分析使用不同的硬體進行存儲,確保在多類型數據訪問時互不幹擾,以真正達到生產環境可用的多租戶與HTAP能力。

2、其他更新信息

1)介面變更:

2)主要特性:

雲資料庫

本期新秀:騰訊發布資料庫CynosDB,開啟公測

1、News

1)騰訊雲資料庫MySQL2018年重大更新:

2)騰訊雲資料庫MongoDB2018年重大更新:

3)騰訊雲資料庫Redis/CKV+2018年重大更新:

4)騰訊雲資料庫CTSDB2018年重大更新:

2、Redis 4.0集群版商業化上線

2018年10月,騰訊雲資料庫Redis 4.0集群版完成邀測、公測、商業化三個迭代,在廣州、上海、北京正式全量商業化上線。

產品特性:

使用場景:

官網文檔:

https://cloud.tencent.com/document/proct/239/18336

3、騰訊自研資料庫CynosDB發布,開啟公測

2018年11月22日,騰訊雲召開新一代自研資料庫CynosDB發布會,業界第一款全面兼容市面上兩大最主流的開源資料庫MySQL和PostgreSQL的高性能企業級分布式雲資料庫。

本期新秀:京東雲DRDS發布1.0版本

12月24日,京東雲分布式關系型資料庫DRDS正式發布1.0版本。

DRDS是京東雲精心自研的資料庫中間件產品,獲得了2018年 」可信雲技術創新獎」。DRDS可實現海量數據下的自動分庫分表,具有高性能,分布式,彈性升級,兼容MySQL等優點,適用於高並發、大規模數據的在線交易, 歷史 數據查詢,自動數據分片等業務場景,歷經多次618,雙十一的考驗,已經在京東集團內大規模使用。

京東雲DRDS產品有以下主要特性

1)自動分庫分表

通過簡單的定義即可自動實現分庫分表,將數據實際存放在多個MySQL實例的資料庫中,但呈現給應用程序的依舊是一張表,對業務透明,應用程序幾乎無需改動,實現了對資料庫存儲和處理能力的水平擴展。

2)分布式架構

基於分布式架構的集群方案,多個對等節點同時對外提供服務,不但可有效規避服務的單點故障,而且更加容易擴展。

3)超強性能

具有極高的處理能力,雙節點即可支持數萬QPS,滿足用戶超大規模處理能力的需求。

4)兼容MySQL

兼容絕大部分MySQL語法,包括MySQL語法、數據類型、索引、常用函數、排序、關聯等DDL,DML語句,使用成本低。

參考鏈接:

https://www.jdcloud.com/cn/procts/drds

RadonDB發布1.0.3版本

2018年12月26日,MyNewSQL領域的RadonDB雲資料庫發布1.0.3版本。

推出dbaplus Newsletter的想法

dbaplus Newsletter旨在向廣大技術愛好者提供資料庫行業的最新技術發展趨勢,為社區的技術發展提供一個統一的發聲平台。為此,我們策劃了RDBMS、NoSQL、NewSQL、時間序列、大數據生態圈、國產資料庫、雲資料庫等幾個版塊。

我們不以商業宣傳為目的,不接受任何商業廣告宣傳,嚴格審查信息源的可信度和准確性,力爭為大家提供一個純凈的技術學習環境,歡迎大家監督指正。

至於Newsletter發布的周期,目前計劃是每三個月左右會做一次跟進, 下期計劃時間是2019年4月14日~4月25日, 如果有相關的信息提供請發送至郵箱:[email protected]

感謝名單

最後要感謝那些提供寶貴信息和建議的專家朋友,排名不分先後。

往期回顧:

↓↓別忘了點這里下載 2019年1月 完整版Newsletter 哦~

⑨ 國內哪些互聯網公司使用了 Cassandra 資料庫

國內生產環境使用Cassandra比較多的大公司有360
請採納!

熱點內容
萬能解壓縮王 發布:2025-07-05 06:51:56 瀏覽:540
手機怎麼修改wifi密碼名稱 發布:2025-07-05 06:46:13 瀏覽:380
阿里雲伺服器bt安裝 發布:2025-07-05 06:36:46 瀏覽:370
資料庫組別 發布:2025-07-05 06:15:53 瀏覽:711
我的世界伺服器怎樣設置新手裝備只能拿一次 發布:2025-07-05 06:15:53 瀏覽:985
緩存40集電視劇需要多少流量 發布:2025-07-05 05:56:44 瀏覽:64
iso怎麼解壓到u盤 發布:2025-07-05 05:49:02 瀏覽:890
php參數設置 發布:2025-07-05 05:49:00 瀏覽:995
javacharacter 發布:2025-07-05 05:38:36 瀏覽:735
伺服器pcid地址怎麼看 發布:2025-07-05 05:35:40 瀏覽:384