kibana访问
㈠ kibana基础操作
Kibana 是一款开源的数据分析和可视化平台,它是 Elastic Stack 成员之一,设计用于和 Elasticsearch 协作。可以使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互操作。也可以很方便的利用图表、表格及地图对数据进行多元化的分析和呈现。
学习网址:
https://www.elastic.co/guide/cn/kibana/current/setup.html
一、工具栏导航
graph
在Elasticsearch数据中显示并分析相关关系。
discover
通过查询和过滤原始文档以交互方式浏览数据。
visualize
在Elasticsearch索引中创建可视化并聚合数据存储。
dashboard
显示并共享可视化和保存的搜索的集合。
canvas
以像素完美的方式展示您的数据。
maps
探索来自Elasticsearch和Elastic Maps Service的地理空间数据。
machine learning
自动对时间序列数据的正常行为建模以检测异常。
infrastructure
探索基础结构指标和常见服务器,容器和服务的日志。
logs
实时流式记录日志或在类似控制台的体验中滚动浏览历史视图。
APM
从应用程序内部自动收集深入的性能指标和错误。
uptime
执行端点运行状况检查和正常运行时间监视。
SIEM
探索安全指标并记录事件和警报
Console
跳过cURL并使用此JSON接口直接处理您的数据。
Index Patterns
管理有助于从Elasticsearch检索数据的索引模式。
Monitoring
跟踪弹性堆栈的实时运行状况和性能。
Rollups
将历史数据汇总并存储在较小的索引中,以供将来分析。
Saved Objects
导入,导出和管理您保存的搜索,可视化和仪表板。
Security Settings
保护您的数据并轻松管理哪些用户可以访问用户和角色。
Spaces
将仪表板和其他保存的对象组织到有意义的类别中。
Watcher
通过创建,管理和监视警报来检测数据中的更改。
Dev Tools
开发工具
metrics
从服务器上运行的操作系统和服务收集指标。
management
管理索引,索引模式,保存的对象,Kibana设置等。
二、查询语法
1.通配符搜索可以在单个条件下运行,?用于替换单个字符,以及*替换零个或多个字符
2.常用表达通过将正则表达式模式包含在正斜杠("/")中,可以将它们嵌入查询字符串中
3.模糊性我们可以使用“模糊”运算符搜索与我们的搜索词相似但不完全相同的词
4.范围可以为日期,数字或字符串字段指定范围。包含范围用方括号指定,[min TO max]排除范围用花括号指定{min TO max}
三、Discover 的数据探索功能
搜索页面详情如下图:
四、Visualize的操作及其配置
点击创建新的可视化,选择图表类型和数据索引来进行可视化绘图操作。
可以通过单击 + Add Metrics 按钮来添加聚合。
在 Custom Label 输入域中输入字符串以更改显示标签。
为视图X轴选择一个桶聚合:
一旦指定了 X 轴聚合,可以定义子聚合来优化可视化。单击 + Add Sub Aggregation 定义子聚合,然后选择 Split Area 或 Split Chart ,然后从类型列表中选择一个子聚合。
在图表轴上定义多个聚合时,可以使用聚合类型右侧的向上或向下箭头来更改聚合的优先级。
五、Dashboard的使用
要用仪表板,你需要至少有一个已保存的 visualization。
Kibana 仪表板(Dashboard) 展示保存的可视化结果集合。在编辑模式下,可以根据需要安排和调整可视化结果集,并保存仪表板,以便重新加载和共享。
㈡ 设置Kibana仪表盘
Metricbeat随安装包自带了一个样例Kibana仪表板、可视化和可视化的在Kibana中搜索Metricbeat数据。在你使用仪表板之前,你需要创建索引模式metricbeat-*,然后将仪表板加载到Kibana中。你可以跑 setup 命令(这里会详细介绍)或者参考在metricbeat.yml配置文件中 配置仪表盘加载 。
这要求配置了Kibana节点。如果你还没有配置过Kibana节点,请参考 配置Metricbeat 。
在你执行此步骤之前请确保Kibana已经正常运行。如果你要访问的Kibana启用了安全性,请确保你配置了credentials,参考 配置Metricbeat 。
为Metricbeat设置Kibana仪表板,用下面与你系统对应的命令。
下边这个命令展示的是加载Metricbeat包内的仪表板。更多其他的操作,比如加载定制的仪表板,可以参考 Importing Existing Beat Dashboards 。如果你已经配置了Logstash,参考 Set up dashboards for Logstash output 。
deb and rpm:
mac:
brew:
docker:
win:
以管理员身份打开一个 PowerShell prompt(右键单击PowerShell图标,选择以管理员身份运行)。
在 PowerShell prompt中, 跳转到 Metricbeat安装目录,然后运行:
在仪表盘加载过程中,Metricbeat会连接Elasticsaerch以校验版本信息。在加载仪表板是,若果Logstash已经启用,你需要临时禁用Logstash输出,启用Elasticsearch。连接启用安全性的Elasticsearch集群时,请确保credentials配置无误。
deb and rpm:
mac:
brew:
linux:
docker:
win:
以管理员身份打开一个 PowerShell prompt(右键单击PowerShell图标,选择以管理员身份运行)。
在 PowerShell prompt中, 跳转到 Metricbeat安装目录,然后运行:
㈢ kibana配置elasticsearchurl选项 怎么才能配置灵活
elasticsearch.url需要指定一个一个es节点 比如 173.15.0.1:9200
访问es前面挂一个nginx,由nginx帮你做es节点的故障检测和切换
es 集群;kibana.yml配置
# The Elasticsearch instance to use for all your queries.
elasticsearch.url: "http://masterIP:9200",这个es指向集群内的master即可;
"elastic官方推荐做法"
大概意思是:
集群内新加入一个es节点
新es节点配置文件elasticsearch.yml中,同时设置node.data 和 node.master 为 false
kibana配置文件中连接我们这个新加入的节点
原理是: 如果节点既不称为主节点,又不成为数据节点,那么可将他作为搜索器,从节点中获取数据,生成搜索结果等。
㈣ 如何清除kibana的搜索记录
linux系统为redhat。测试安装中logstash成功安装。而elasticsearch也成功显示页面,使用tar.gz安装,没有修改配置文件的地址,成功启动并能curl'到端口的消息结果图如下:同样的kibana也使用tar.gz安装,未修改kibana.yml,直接./bin/kibana,访问页面显示一直加载页面修改了kibana.yml把ealsticsearch的端口改了也还是显示一直loading的问题
㈤ X-PACK无人机怎么玩
咨询记录 · 回答于2021-10-04
㈥ 每天第一次kibana访问 elasticsearch 导致其假死怎么解决
nts and events now not all succes
㈦ es/logstash/kibana框架是用于什么
ELK 由三部分组成elasticsearch、logstash、kibana,elasticsearch是一个近似实时的搜索平台,它让你以前所未有的速度处理大数据成为可能。
Elasticsearch所涉及到的每一项技术都不是创新或者革命性的,全文搜索,分析系统以及分布式数据库这些早就已经存在了。它的革命性在于将这些独立且有用的技术整合成一个一体化的、实时的应用。Elasticsearch是面向文档(document oriented)的,这意味着它可以存储整个对象或文档(document)。然而它不仅仅是存储,还会索引(index)每个文档的内容使之可以被搜索。在Elasticsearch中,你可以对文档(而非成行成列的数据)进行索引、搜索、排序、过滤。这种理解数据的方式与以往完全不同,这也是Elasticsearch能够执行复杂的全文搜索的原因之一。
应用程序的日志大部分都是输出在服务器的日志文件中,这些日志大多数都是开发人员来看,然后开发却没有登陆服务器的权限,如果开发人员需要查看日志就需要到服务器来拿日志,然后交给开发;试想下,一个公司有10个开发,一个开发每天找运维拿一次日志,对运维人员来说就是一个不小的工作量,这样大大影响了运维的工作效率,部署ELKstack之后,开发任意就可以直接登陆到Kibana中进行日志的查看,就不需要通过运维查看日志,这样就减轻了运维的工作。
日志种类多,且分散在不同的位置难以查找:如LAMP/LNMP网站出现访问故障,这个时候可能就需要通过查询日志来进行分析故障原因,如果需要查看apache的错误日志,就需要登陆到Apache服务器查看,如果查看数据库错误日志就需要登陆到数据库查询,试想一下,如果是一个集群环境几十台主机呢?这时如果部署了ELKstack就可以登陆到Kibana页面进行查看日志,查看不同类型的日志只需要电动鼠标切换一下索引即可。
Logstash:日志收集工具,可以从本地磁盘,网络服务(自己监听端口,接受用户日志),消息队列中收集各种各样的日志,然后进行过滤分析,并将日志输出到Elasticsearch中。
Elasticsearch:日志分布式存储/搜索工具,原生支持集群功能,可以将指定时间的日志生成一个索引,加快日志查询和访问。
Kibana:可视化日志Web展示工具,对Elasticsearch中存储的日志进行展示,还可以生成炫丽的仪表盘。
㈧ 如何在CentOS 7上安装Elasticsearch,Logstash和Kibana
您的ELK服务器将需要的CPU,RAM和存储量取决于您要收集的日志的卷。在本教程中,我们将使用具有以下规格的VPS用于我们的ELK服务器:
OS: CentOS 7
RAM: 4GB
CPU: 2
注:根据自己的服务器资源分配各个节点的资源
安装 java 8
Elasticsearch和Logstash需要Java,所以我们现在就安装它。我们将安装最新版本的Oracle Java 8,因为这是Elasticsearch推荐的版本。
注:建议本地下载完最新版的JDK,然后上传到服务器的/usr/local/src目录
# JDK下载地址:
http://www.oracle.com/technetwork/java/javase/downloads
123123
然后使用此yum命令安装RPM(如果您下载了不同的版本,请在此处替换文件名):
yum -y localinstall jdk-8u111-linux-x64.rpm
# or
rpm -ivh jdk-8u111-linux-x64.rpm123123
现在Java应该安装在/usr/java/jdk1.8.0_111/jre/bin/java,并从/usr/bin/java 链接。
安装 Elasticsearch
Elasticsearch可以通过添加Elastic的软件包仓库与软件包管理器一起安装。
运行以下命令将Elasticsearch公共GPG密钥导入rpm:
# https://www.elastic.co/guide/en/elasticsearch/reference/current/rpm.html
rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch123123
在基于RedHat的发行版的/etc/yum.repos.d/目录中创建一个名为elasticsearch.repo的文件,其中包括:
echo '[elasticsearch-5.x]
name=Elasticsearch repository for 5.x packages
baseurl=https://artifacts.elastic.co/packages/5.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
' | sudo tee /etc/yum.repos.d/elasticsearch.repo123456789123456789
Elasticsearch 源创建完成之后,通过makecache查看源是否可用,然后通过yum安装Elasticsearch :
yum makecache
yum install elasticsearch -y1212
要将Elasticsearch配置为在系统引导时自动启动,请运行以下命令:
sudo /bin/systemctl daemon-reload
sudo /bin/systemctl enable elasticsearch.service1212
Elasticsearch可以按如下方式启动和停止:
sudo systemctl start elasticsearch.service
sudo systemctl stop elasticsearch.service1212
这些命令不会提供有关Elasticsearch是否已成功启动的反馈。相反,此信息将写入位于/ var / log / elasticsearch /中的日志文件中。
默认情况下,Elasticsearch服务不会记录systemd日志中的信息。要启用journalctl日志记录,必须从elasticsearch中的ExecStart命令行中删除–quiet选项。服务文件。
# 注释24行的 --quiet \
vim /etc/systemd/system/multi-user.target.wants/elasticsearch.service1212
当启用systemd日志记录时,使用journalctl命令可以获得日志记录信息:
使用tail查看journal:
sudo journalctl -f11
要列出elasticsearch服务的日记帐分录:
sudo journalctl --unit elasticsearch11
要从给定时间开始列出elasticsearch服务的日记帐分录:
sudo journalctl --unit elasticsearch --since "2017-1-4 10:17:16"
# since 表示指定时间之前的记录123123
使用man journalctl 查看journalctl 更多使用方法
检查Elasticsearch是否正在运行
您可以通过向localhost上的端口9200发送HTTP请求来测试Elasticsearch节点是否正在运行:
curl -XGET 'localhost:9200/?pretty'
1212
我们能得到下面这样的回显:
{
"name" : "De-LRNO",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "DeJzplWhQQK5uGitXr8jjA",
"version" : {
"number" : "5.1.1",
"build_hash" : "5395e21",
"build_date" : "2016-12-06T12:36:15.409Z",
"build_snapshot" : false,
"lucene_version" : "6.3.0"
},
"tagline" : "You Know, for Search"
}
配置 Elasticsearch
Elasticsearch 从默认的/etc/elasticsearch/elasticsearch.yml加载配置文件,
配置文件的格式考:
https://www.elastic.co/guide/en/elasticsearch/reference/current/settings.html
[root@linuxprobe ~]# egrep -v "^#|^$" /etc/elasticsearch/elasticsearch.yml
[root@linuxprobe ~]# egrep -v "^#|^$" /etc/elasticsearch/elasticsearch.yml
node.name: node-1
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 10.1.1.53 # 默认localhost,自定义为ip
http.port: 920012345671234567
RPM还具有系统配置文件(/etc/sysconfig/elasticsearch),允许您设置以下参数:
[root@linuxprobe elasticsearch]# egrep -v "^#|^$" /etc/sysconfig/elasticsearch
ES_HOME=/usr/share/elasticsearch
JAVA_HOME=/usr/java/jdk1.8.0_111
CONF_DIR=/etc/elasticsearch
DATA_DIR=/var/lib/elasticsearch
LOG_DIR=/var/log/elasticsearch
PID_DIR=/var/run/elasticsearch12345671234567
日志配置
Elasticsearch使用Log4j 2进行日志记录。 Log4j 2可以使用log4j2配置。属性文件。 Elasticsearch公开单个属性$ {sys:es。日志},可以在配置文件中引用以确定日志文件的位置;这将在运行时解析为Elasticsearch日志文件的前缀。
例如,如果您的日志目录是/var/log/elasticsearch并且您的集群名为proction,那么$ {sys:es。 logs}将解析为/var/log/elasticsearch/proction。
默认日志配置存在:/etc/elasticsearch/log4j2.properties
安装 Kibana
Kibana的RPM可以从ELK官网或从RPM存储库下载。它可用于在任何基于RPM的系统(如OpenSuSE,SLES,Centos,Red Hat和Oracle Enterprise)上安装Kibana。
导入Elastic PGP Key
我们使用弹性签名密钥(PGP密钥D88E42B4,可从https://pgp.mit.e)签名所有的包,指纹:
rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch11
创建kibana源
echo '[kibana-5.x]
name=Kibana repository for 5.x packages
baseurl=https://artifacts.elastic.co/packages/5.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
' | sudo tee /etc/yum.repos.d/kibana.repo123456789123456789
kibana源创建成功之后,makecache后使用yum安装kibana:
yum makecache && yum install kibana -y11
使用systemd运行Kibana
要将Kibana配置为在系统引导时自动启动,请运行以下命令:
sudo /bin/systemctl daemon-reload
sudo /bin/systemctl enable kibana.service1212
Kibana可以如下启动和停止
sudo systemctl start kibana.service
sudo systemctl stop kibana.service1212
配置Kibana
Kibana默认从/etc/kibana/kibana.yml文件加载其配置。
参考:https://www.elastic.co/guide/en/kibana/current/settings.html
注意:本实验教程把localhost都改成服务器IP,如果不更改localhost,需要设置反向代理才能访问到kibana。
在同一服务器上安装一个Nginx反向代理,以允许外部访问。
安装nginx
配置Kibana在localhost上监听,必须设置一个反向代理,允许外部访问它。本文使用Nginx来实现发向代理。
创建nginx官方源来安装nginx
# https://www.nginx.com/resources/wiki/start/topics/tutorials/install/
echo '[nginx]
name=nginx repo
baseurl=http://nginx.org/packages/centos/$releasever/$basearch/
gpgcheck=0
enabled=1
' | sudo tee /etc/yum.repos.d/nginx.repo1234567812345678
使用yum安装nginx和httpd-tools
yum install nginx httpd-tools -y11
使用htpasswd创建一个名为“kibanaadmin”的管理员用户(可以使用其他名称),该用户可以访问Kibana Web界面:
[root@linuxprobe ~]# htpasswd -c /etc/nginx/htpasswd.users kibanaadmin
New password: # 自定义
Re-type new password:
Adding password for user kibanaadmin12341234
使用vim配置nginx配置文件
[root@linuxprobe ~]# egrep -v "#|^$" /etc/nginx/conf.d/kibana.conf
server {
listen 80;
server_name kibana.aniu.co;
access_log /var/log/nginx/kibana.aniu.co.access.log main;
error_log /var/log/nginx/kibana.aniu.co.access.log;
auth_basic "Restricted Access";
auth_basic_user_file /etc/nginx/htpasswd.users;
location / {
proxy_pass http://localhost:5601;
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection 'upgrade';
proxy_set_header Host $host;
proxy_cache_bypass $http_upgrade;
}
}
㈨ kibana 查询 怎么用 java
当我们用 logstash 处理 WEB 服务器访问日志的时候,肯定就涉及到一个后期查询的问题。 可能一般我们在 Kibana 上更多的是针对响应时间做数值统计,针对来源IP、域名或者客户端情况做分组统计。但是如果碰到这么个问题的时候呢——过滤所有动态请
㈩ 如何使用 kibana 分析 mysql 数据
Kibana4简单使用
<center>
# ELK日志系统使用说明 #
</center>
**k3与k4的对比**
1.界面美观:Kibana4 至今未提供类似 Kibana3 中的 Query 设置功能,包括 Query 别名和颜色选择器这两个常用功能2.日志显示:kibana4有高亮显示
3.页面设计:Kibana3 就是一个围绕着 dashboard 构建的单页应用。在页面逻辑上,Kibana3比较简洁,Kibana4稍复杂。
<center>
##一、 系统介绍
</center>
ELK(logstash+elasticsearch+kibana)是一套开源的实时日志分析系统。目前这套系统已经在小范围内使用了。针对各位开发人员,无需关心系统底层的实现,只需关注kibana的使用即可。kibana4中,将功能拆分成了搜索(Discover),可视化(Visualize)和仪表盘(Dashboard)三个标签,我们使用最多的地方即是搜索,目前就给大家主要介绍搜索页面的使用。
<center>
##二、 kibana4的使用
</center>
登录入口:运维平台-->应用中心:ELK
地址:https//op.zhubajie.la/
<center>
## 快速查询项目日志
</center>
**选择面板-->选择项目**
首先选择面板,搜索框输入:tags:"项目名" 或host:"项目名" 即可查看对应项目的日志<center>
## discover 功能 ##
</center>
Discover 标签页用于交互式探索你的数据。你可以访问到匹配得上你选择的索引模式的每个索引的每条记录。你可以提交搜索请求,过滤搜索结果,然后查看文档数据。你还可以看到匹配搜索请求的文档总数,获取字段值的统计情况。如果索引模式配置了时间字段,文档的时序分布情况会在页面顶部以柱状图的形式展示出来。
**查看日志数据**
点击日志内容中的小三角,查看日志详细内容。
要在单独的页面上查看文档内容,点击链接。你可以添加书签或者分享这个链接,以直接访问这条特定文档。
**1) 搜索数据**
在 Discover 页提交一个搜索,你就可以搜索匹配当前索引模式的索引数据了。
当你提交搜索的时候,直方图,文档表格,字段列表,都会自动反映成搜索的结果。hits(匹配的文档)总数会在直方图的右上角显示。
*在搜索框内输入请求字符串*:
- **通配符**:用 ? 表示单字母,* 表示任意个字母。比如 fir?t mess*。
- **简单的文本搜索**:直接输入文本字符串。比如,如果你在搜索网站服务器日志,你可以输入error 来搜索各字段中的 error单词。
- **搜索特定字段的值**:则在值前加上字段名。比如 status:200- **范围搜索**:对数值和时间,[START_VALUE TO END_VALUE]。比如,要查找 4xx 的状态码,status:[400 TO 499]。
- **多个检索条件的组合**:可以使用 NOT, AND 和 OR 来组合检索,**注意必须是大写**。比如,要查找 4xx 的状态码,还是 php 或 html 结尾的数据, status:[400 TO 499] AND (extension:php OR extension:html)。其中,[] 表示端点数值包含在范围内,{} 表示端点数值不包含在范围内。
- 近似搜索:用 ~ 表示搜索单词可能有一两个字母写的不对。比如 frist~;**2) 设置时间过滤器**
默认的时间过滤器设置为最近 15 分钟。你可以用页面顶部的时间选择器(Time Picker)来修改时间过滤器。
**3) 日志索引设置**
- Nginx日志索引:[logstash-nginx-*]
- 服务化Nginx日志索引:[api-nginx-]YYYY.MM.DD- Java日志索引:[logstash-jetty-]YYYY.MM.DD- php日志索引:[logstash-php-*]
- mysql日志索引:[logstash-]YYYY.MM.DD
- 其他日志:[logstash-]YYYY.MM.DD (注:该索引为系统默认索引,需搜索其他日志,请按步骤改变索引即可)**4) 保存搜索**
你可以在 Discover 页加载已保存的搜索面板,也可以用作 visualizations 的基础。保存一个搜索,意味着同时保存下了搜索请求字符串和当前选择的索引模式。
<table>
<td>
保存当前搜索:
1.点击 Discover 工具栏的 Save Search 按钮2.输入一个名称,点击 Save。
加载一个已存搜索:
1.点击 Discover 工具栏的 Load Search 按钮 。
2.选择你要加载的搜索。
如果已保存的搜索关联到跟你当前选择的索引模式不一样的其他索引上,加载这个搜索也会切换当前的已选索引模式。
</td>
</table>
**5) 改变你搜索的索引**
当你提交一个搜索请求,匹配当前的已选索引模式的索引都会被搜索。当前模式模式会显示在搜索栏下方。要改变搜索的索引,需要选择另外的模式模式。
要选择另外的索引模式:
(1).点击 Discover 工具栏的 Settings 按钮 。
(2).从索引模式列表中选取你打算采用的模式。
**6) 自动刷新页面**
亦可以配置一个刷新间隔来自动刷新 Discover 页面的最新索引数据。这回定期重新提交一次搜索请求。
设置刷新间隔后,会显示在菜单栏时间过滤器的左边。
要设置刷新间隔:
1.点击菜单栏右上角的 Time Filter 。
2.点击 Refresh Interval 标签。
3.从列表中选择一个刷新间隔。
要想自动刷新数据,点击 Auto-refresh 按钮然后选择一个自动刷新间隔: