当前位置:首页 » 存储配置 » elasticsearch存储数据

elasticsearch存储数据

发布时间: 2025-03-07 04:24:52

㈠ 可否完全使用ElasticSearch代替数据库存储

我们使用Elasticsearch存储的文档数量接近50亿(算上1份复制,接近
100亿文档),总共10个数据节点和2个元数据节点(48GB内存,8核心CPU,ES使用内存达到70%),每天的文档增量大概是3000W条(速度
持续增加中)。目前来看,单个文档的查询效率基本处于实时状态;对于1到2周的数据的聚合统计操作也可以在10秒之内返回结果。

但是,还有提升的空间:
1. 对于查询单条数据的应用场景来说,我们可以使用ES的路由机制,将同一索引内的具有相同特征(比如具有相同的userid)的文档全部存储于一个节点上,这样我们之后的查询都可以直接定位到这个节点上,而不用将查询广播道所有的节点上;

2. 随着数据节点的增加,适当增加分片数量,提升系统的分布水平,也可以通过分而治之的方式优化查询性能;


个人以为Elasticsearch作为内部存储来说还是不错的,效率也基本能够满足,在某些方面替代传统DB也是可以的,前提是你的业务不对操作的事
性务有特殊要求;而权限管理也不用那么细,因为ES的权限这块还不完善。由于我们对ES的应用场景仅仅是在于对某段时间内的数据聚合操作,没有大量的单文
档请求(比如通过userid来找到一个用户的文档,类似于NoSQL的应用场景),所以能否替代NoSQL还需要各位自己的测试。如果让我选择的话,我
会尝试使用ES来替代传统的NoSQL,因为它的横向扩展机制太方便了。

热点内容
python读取ini 发布:2025-09-20 10:06:46 浏览:485
仿联盟啦源码 发布:2025-09-20 09:49:25 浏览:658
在我的世界里如何找服务器 发布:2025-09-20 09:46:55 浏览:266
linux当交换机 发布:2025-09-20 09:40:29 浏览:448
ts文件加密 发布:2025-09-20 09:27:06 浏览:663
mysql优化数据库 发布:2025-09-20 09:23:22 浏览:938
汽车加装哪些实用的智能配置 发布:2025-09-20 08:55:21 浏览:981
主机编译代码性能主要靠什么决定 发布:2025-09-20 08:54:45 浏览:741
我的世界服务器如何后台发消息 发布:2025-09-20 08:42:28 浏览:25
真空压缩棉被 发布:2025-09-20 08:38:33 浏览:634