当前位置:首页 » 存储配置 » elasticsearch存储数据

elasticsearch存储数据

发布时间: 2025-03-07 04:24:52

㈠ 可否完全使用ElasticSearch代替数据库存储

我们使用Elasticsearch存储的文档数量接近50亿(算上1份复制,接近
100亿文档),总共10个数据节点和2个元数据节点(48GB内存,8核心CPU,ES使用内存达到70%),每天的文档增量大概是3000W条(速度
持续增加中)。目前来看,单个文档的查询效率基本处于实时状态;对于1到2周的数据的聚合统计操作也可以在10秒之内返回结果。

但是,还有提升的空间:
1. 对于查询单条数据的应用场景来说,我们可以使用ES的路由机制,将同一索引内的具有相同特征(比如具有相同的userid)的文档全部存储于一个节点上,这样我们之后的查询都可以直接定位到这个节点上,而不用将查询广播道所有的节点上;

2. 随着数据节点的增加,适当增加分片数量,提升系统的分布水平,也可以通过分而治之的方式优化查询性能;


个人以为Elasticsearch作为内部存储来说还是不错的,效率也基本能够满足,在某些方面替代传统DB也是可以的,前提是你的业务不对操作的事
性务有特殊要求;而权限管理也不用那么细,因为ES的权限这块还不完善。由于我们对ES的应用场景仅仅是在于对某段时间内的数据聚合操作,没有大量的单文
档请求(比如通过userid来找到一个用户的文档,类似于NoSQL的应用场景),所以能否替代NoSQL还需要各位自己的测试。如果让我选择的话,我
会尝试使用ES来替代传统的NoSQL,因为它的横向扩展机制太方便了。

热点内容
我的世界手机版服务器从哪找 发布:2025-05-01 11:47:14 浏览:662
sql创建表外键 发布:2025-05-01 11:39:59 浏览:168
vivo短信文件夹 发布:2025-05-01 11:29:31 浏览:491
按键精灵安卓安装包怎么导出 发布:2025-05-01 11:25:35 浏览:196
2级缓存英文 发布:2025-05-01 11:20:37 浏览:74
c语言国产编译器 发布:2025-05-01 11:15:31 浏览:566
java编译路径设置 发布:2025-05-01 11:11:39 浏览:468
phporaclelinux 发布:2025-05-01 11:11:34 浏览:174
android取字符串 发布:2025-05-01 11:10:52 浏览:74
安卓手机里面的收藏在哪里 发布:2025-05-01 11:04:56 浏览:948