日誌存儲項目
❶ 如何實現日誌的集中化存儲
在我們的企業中有多種不同的設備，伺服器、交換機、防火牆以及路由器等等設備，而這些設備會產生大量的日誌。如果網路中出現故障時，如果一台一台的去查詢日誌，那工作量就太大了，而且不容易查詢。所以最好的辦法就是日誌集中收集存儲。
Windows系統有自帶的WMI服務，通過該服服務就可以遠程收集windows系統的日誌。網路設備的日誌通常是基於syslog日誌的轉發。通過這種技術將日誌統一的發送集中到一台伺服器上。在這台伺服器上使用工具接收發送過來的數據，將其保存為文本文件，集中的保存日誌。
卓豪EventLog Analyzer就是一個專門針對日誌管理的工具，可以對企業中各種設備日誌的統一收集存儲並分析。
❷ 如何實現日誌的集中化存儲以及使用loganalyzer做日誌分析
一、安裝Mysql資料庫
選擇使用編譯好的二進制格式的MySQL程序包
1
mysql-5.5.22-linux2.6-i686.tar.gz
1、創建MySQL的數據存放位置
為了備份日誌方便把數據放在LVM卷中。還可以利用LVM的擴容功能，當我們的空間不夠使用時。
查看，已經存在的卷組是否還有剩餘空間，來創建LV。
1
2
3
[root@mysql local]# vgdisplay | grep -i"PE[[:space:]]*/[[:space:]]*Size"
Alloc PE / Size 6656 / 52.00GiB
Free PE / Size 1023 / 7.99 GiB
說明：還有7.99GB，空間可以創建LV。
注意：
如果存在的文件很大的話，見議我們在創建邏輯卷時最好把PE的大小設置大點。
創建LV
1
2
3
4
root@mysql local]# lvcreate -L 4G -n loglv vg0
Logical volume "loglv" created
[root@mysql local]# lvscan | grep "loglv"
ACTIVE '/dev/vg0/loglv'[4.00 GiB] inherit
格式化邏輯卷loglv
1
2
3
[root@mysql local]# mke2fs -t ext4 -L LOGDATA /dev/vg0/loglv
[root@mysql local]# echo $?
0
掛載邏輯卷
設置開機自動掛載.編輯/etc/fstab文件增加下面一行。
1
/dev/mapper/vg0-loglv /logdata ext4 defaults 0 0
自動掛載測試
1
2
3
root@mysql local]# mount -a
[root@mysql local]# mount | grep"loglv"
/dev/mapper/vg0-loglv on /logdata type ext4(rw)
2、准備好安裝MySQL資料庫的必需條件
(1)、創建用戶mysql，用來被始化資料庫使用的。
說明：最好mysql是系統用戶，這樣就算mysql用戶被人劫持，也無法登陸系統的。
1
2
3
[root@mysql local]# useradd -r mysql
[root@mysql local]# id mysql
uid=399(mysql) gid=399(mysql)groups=399(mysql)
(2)、設置MySQL資料庫的數據存放位置：在/logdata中創建data，且屬主屬組為mysql
1
2
3
4
[root@mysql logdata]# mkdir data
[root@mysql logdata]# chown mysql:mysql./data/
[root@mysql logdata]# ll -d data
drwxr-xr-x 2 mysql mysql 4096 Aug 20 15:40data
3、安裝MySQL資料庫
(1)、把程序包解壓到」/uer/local」目錄，為了後續維護方便並創建一個軟鏈接。
1
2
3
4
5
6
[root@mysql user]# tar -xfmysql-5.5.22-linux2.6-i686.tar.gz -C/usr/local/
[root@mysql user]# cd /usr/local/
[root@mysql local]# ln -svmysql-5.5.22-linux2.6-i686 mysql
`mysql' -> `mysql-5.5.22-linux2.6-i686'
[root@mysql local]# ll | grep mysql
lrwxrwxrwx 1 root root 26 Aug 20 15:03mysql -> mysql-5.5.22-linux2.6-i686
(2)、我們要以:mysql用戶的身份來初始化資料庫，要有許可權操作一些文件所以要修改解壓後Mysql程序的屬主屬組為mysql
1
[root@mysql mysql]# chown -R mysql:mysql./*
說明：安裝完數據後，把屬主改為：root
(3)、初始化資料庫
1
2
3
4
5
[root@node1 mysql]#./scripts/mysql_install_db --datadir=/logdata/data --user=mysql
Installing MySQL system tables...
OK
Filling help tables...
OK
說明：
1
2
--datadir 指定資料庫的數據目錄的位置(不使用默認的位置)
--user 指定初始化資料庫的用戶名(使用二進制格式MySQL程序包一定要使用mysql)
(4)、根據物理機的硬體情況與實際需要選擇MySQL的配置文件
1
2
3
4
5
6
[root@node1 mysql]# ll support-files/*.cnf
-rw-r--r-- 1 mysql mysql 4691 Mar 3 2012 support-files/my-huge.cnf
-rw-r--r-- 1 mysql mysql 19759 Mar 3 2012 support-files/my-innodb-heavy-4G.cnf
-rw-r--r-- 1 mysql mysql 4665 Mar 3 2012 support-files/my-large.cnf
-rw-r--r-- 1 mysql mysql 4676 Mar 3 2012 support-files/my-medium.cnf
-rw-r--r-- 1 mysql mysql 2840 Mar 3 2012 support-files/my-small.cnf
說明：
不同的配置文件，要求的內存都不一樣。
復制配置文件到/etc/mysql 目錄下，並命名為：my.cnf
1
[root@node1 mysql]# cp support-files/my-large.cnf /etc/mysql/my.cnf
4、啟動MySQL資料庫伺服器之前要做的一些設置
(1)、修改MySQL的配置文件
1
2
3
[root@node1 mysql]# vim /etc/mysql/my.cnf
thread_concurrency = 4 設置線程數
datadir = /logdata/data 告訴MySQL伺服器數據目錄的位置
說明：
由於這些配置是作用於MySQL伺服器的。要把它寫在:[mysqld]段中。
(2)、復制啟動MySQL資料庫伺服器的啟動腳本，並命名為：mysqld
1
[root@node1 mysql]# cp support-files/mysql.server /etc/init.d/mysqld
檢查是否執行許可權
1
2
[root@node1 mysql]# ll /etc/init.d/mysqld
-rwxr-xr-x 1 root root 10650 Aug 20 15:55 /etc/init.d/mysqld
(3)、把mysqld服務啟動腳本添加到chkconf的控制列表裡，能夠使用【server】命令控制服務的行為。 可以實現開機自動啟動。
1
2
3
[root@node1 mysql]# chkconfig --add mysqld
[root@node1 mysql]# chkconfig --list mysqld
mysqld 0:off 1:off 2:on 3:on 4:on 5:on 6:off
5、啟動MySQL資料庫並修改設置用戶
啟動MySQL資料庫伺服器
1
2
[root@node1 mysql]# service mysqld start
Starting MySQL.. [ OK ]
查看監聽埠
1
2
[root@node1 mysql]# netstat -anptl | grep mysqld
tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN 3041/mysqld
注意：
❸ 日誌文件存放位置及配置文件有哪些
以DailyRollingFileAppender 為例：假設每天一個日誌文件
有以下設置：
log4j.appender.A1=org.apache.log4j.DailyRollingFileAppender
log4j.appender.A1.File=app.log
log4j.appender.A1.DatePattern='.'yyyy-MM-dd
log4j.appender.A1.layout=org.apache.log4j.PatternLayout
log4j.appender.A1.layout.ConversionPattern=%d %5p - %c -%-4r [%t] - %m%n
此時生成日誌文件將位於tomcat的bin目錄下，如要將日誌文件保存在 ：根目錄/web-info/logs/下，個人有以下4種解決方案：
1 絕對路徑
log4j.appender.A1.File=D:\apache-tomcat-6.0.18/webapps/項目/WEB-INF/logs/app.log
但這種寫法靈活性很差
以下3中使用相同的設置原理： jvm的環境變數
2：spring的Log4jConfigListener
通過以下配置：
< context-param>
<param-name>webAppRootKey</param-name>
<param-value>webApp.root</param-value>
</context-param>
<context-param>
<param-name>log4jConfigLocation</param-name>
<param-value>classpath:log4j.properties</param-value>
</context-param>
< listener>
<listener-class>org.springframework.web.util.Log4jConfigListener</listener-class>
</listener>
...
log4j.appender.logfile.File=${webApp.root}/WEB-INF/logs/app.log
...
來解決
2:使用已有jvm變數：
例如：
log4j.appender.logfile.File=${user.home}/logs/app.log
日誌將位於：例如windows：C:\Documents and Settings\joe\logs\app.log
3 自己設置目錄，也就是在項目啟動時通過System.setProperty設置
通過實現ServletContextListener來解決：例如
public class log4jlistener implements ServletContextListener {
public static final String log4jdirkey = "log4jdir";
public void contextDestroyed(ServletContextEvent servletcontextevent) {
System.getProperties().remove(log4jdirkey);
}
public void contextInitialized(ServletContextEvent servletcontextevent) {
String log4jdir = servletcontextevent.getServletContext().getRealPath("/");
//System.out.println("log4jdir:"+log4jdir);
System.setProperty(log4jdirkey, log4jdir);
}
}
web.xml配置：
<listener>
<listener-class>com.log4j.log4jlistener</listener-class>
</listener>
log4j.prtperties 配置：
log4j.appender.A1.File=${log4jdir}/WEB-INF/logs/app1.log
來解決。
❹ Braft的日誌存儲引擎實現分析
日誌存儲引擎是用於存儲raft lib產生的日誌。提供的介面如下：
LogStorage只是一個抽象類，只定義了函數介面。具體的日誌操作由SegmentLogStorage實現。
SegmentLogStorage實現了LogStorage的全部介面。其數據組織格式如下：
存儲引擎的初始化操作主要檢查文件信息，將segment的索引信息載入到內存，為讀寫操作做准備。
函數主要功能如下所述：
寫數據到存儲引擎，會涉及到兩個函數:
append_entry表示追加單條Log Entry到日誌存儲引擎，append_entries用於同時追加多條Log Entry到日誌存儲引擎。兩個函數主要流程相差不大，我們以append_entries為例，分析一下寫入Log Entry的主要流程。函數流程圖如下所示：
根據raft_index讀取對應的raft Log，根據我們前面提到的索引信息，braft很容易實現，流程圖如下所示：
get_entry是入口函數，get_segment函數主要是通過raft_index來定位到segment，通過之前建立的Map范圍信息很容易定位到。然後根據每個segment的Vector索引數組，定位到raft_index對應的文件偏移信息。然後讀取文件。
刪除數據分為兩類：
truncate_prefix函數先將first_index_kept保存到Log_meta文件中，這樣保證了即使後續的文件刪除操作失敗時，也可以知道整個日誌的起始raft_index是多少。保存完first_index_kept之後，將first_index_kept之前的segment文件全部刪除。
主要用於raft lib中刪除未達成一致的Log Entry。根據last_index_kept找到對應的文件偏移，然後截斷文件。如果跨文件，還需要刪除最後一個segment文件，然後再截斷之前一個segment的內容。
在test/test_log.cpp文件中，包含SegmentLogStorage類中主要的介面函數的單元測試，對理解SegmentLogStorage有比較大的幫助。
Braft的日誌存儲引擎，主要用於存儲raft log。當執行完一次snapshot操作後，就可以進行Log Compaction。將snapshot之前的raft log全部刪除。這使得Braft可以將Log的索引信息全部存儲在內存中，因為存儲引擎中的Raft Log Entry不會太大。這樣追加或讀取Raft Log只需要一次磁碟操作，性能方面有保證。
❺ Oracle的日誌文件存儲在什麼位置
1、通過sqlplus命令連接資料庫，查看伺服器是否已經開啟歸檔。
❻ 深入理解kafka(五)日誌存儲
5.1文件目錄布局
根目錄下有以下5個checkpoint文件: cleaner-offset-checkpoint, log-start-offset-checkpoint, meta.properties, recovery-point-offset-checkpoint, replication-offset-checkpoint
分區目錄下有以下目錄: 0000xxx.index(偏移量為64位長整形，長度固定為20位), 0000xxx.log, 0000xxx.timeindex.
還有可能包含.deleted .cleaned .swap等臨時文件, 以及可能的.snapshot .txnindex leader-epoch-checkpoint
5.2日誌格式演變
5.2.1 v0版本
kafka0.10.0之前
RECORD_OVERHEAD包括offset(8B)和message size(4B)
RECORD包括:
crc32(4B):crc32校驗值
magic(1B):消息版本號0
attributes(1B):消息屬性。低3位表示壓縮類型：0-NONE 1-GZIP 2-SNAPPY 3-LZ4(0.9.x引入)
key length(4B):表示消息的key的長度。-1代表null
key: 可選
value length(4B):實際消息體的長度。-1代表null
value: 消息體。可以為空，如墓碑消息
5.2.2 v1版本
kafka0.10.0-0.11.0
比v0多了timestamp(8B)欄位，表示消息的時間戳
attributes的第4位也被利用起來，0表示timestamp的類型為CreateTime，1表示timestamp的類型為LogAppendTime
timestamp類型由broker端參數log.message.timestamp.type來配置，默認為CreateTime，即採用生產者創建的時間戳
5.2.3 消息壓縮
保證端到端的壓縮，服務端配置compression.type，默認為"procer",表示保留生產者使用的壓縮方式，還可以配置為"gzip","snappy","lz4"
多條消息壓縮至value欄位，以提高壓縮率
5.2.4 變長欄位
變長整形(Varints):每一個位元組都有一個位於最高位的msb位(most significant bit),除了最後一個位元組為1，其餘都為0，位元組倒序排列
為了使編碼更加高效，Varints使用ZigZag編碼:sint32對應 (n<<1)^(n>>31) sint64對應 (n<<1)^(n>>63)
5.2.5 v2版本
Record Batch
first offset:
length:
partition leader epoch:
magic:固定為2
attributes:兩個位元組。低3位表示壓縮格式，第4位表示時間戳類型，第5位表示事務(0-非事務1-事務)，第6位控制消息(0-非控制1控制)
first timestamp:
max timestamp:
procer id:
procer epoch:
first sequence:
records count:
v2版本的消息去掉了crc欄位，另外增加了length(消息總長度)、timestamp delta(時間戳增量)、offset delta(位移增量)和headers信息，並且棄用了attributes
Record
length:
attributes:棄用，但仍占據1B
timestamp delta:
offset delta:
headers:
5.3日誌索引
稀疏索引(sparse index):每當寫入一定量(broker端參數log.index.interval.bytes指定，默認為4096B),偏移量索引文件和時間索引文件分別對應一個索引項
日誌段切分策略：
1.大小超過broker端參數log.segment.bytes配置的值，默認為1073741824(1GB)
2.當前日誌段消息的最大時間戳與當前系統的時間戳差值大於log.roll.ms或者log.roll.hours，ms優先順序高，默認log.roll.hours=168(7天)
3.索引文件或者時間戳索引文件的大小大於log.index.size.max.bytes配置的值，默認為10485760(10MB)
4.偏移量差值(offset-baseOffset)>Integer.MAX_VALUE
5.3.1 偏移量索引
每個索引項佔用8個位元組，分為兩個部分：1.relativeOffset相對偏移量(4B) 2.position物理地址(4B)
使用kafka-mp-log.sh腳本來解析.index文件(包括.timeindex、.snapshot、.txnindex等文件)，如下:
bin/kafka-mp-log.sh --files /tmp/kafka-logs/topicId-0/00……00.index
如果broker端參數log.index.size.max.bytes不是8的倍數，內部會自動轉換為8的倍數
5.3.2 時間戳索引
每個索引項佔用12個位元組，分為兩個部分：1.timestamp當前日誌分段的最大時間戳(12B) 2.relativeOffset時間戳對應的相對偏移量(4B)
如果broker端參數log.index.size.max.bytes不是12的倍數，內部會自動轉換為12的倍數
5.4日誌清理
日誌清理策略可以控制到主題級別
5.4.1 日誌刪除
broker端參數log.cleanup.policy設置為delete(默認為delete)
檢測周期broker端參數log.retention.check.interval.ms=300000(默認5分鍾)
1.基於時間
broker端參數log.retention.hours,log.retention.minutes,log.retention.ms,優先順序ms>minutes>hours
刪除時先增加.delete後綴，延遲刪除根據file.delete.delay.ms(默認60000)配置
2.基於日誌大小
日誌總大小為broker端參數log.retention.bytes(默認為-1，表示無窮大)
日誌段大小為broker端參數log.segment.bytes(默認為1073741824，1GB)
3.基於日誌起始偏移量
DeleteRecordRequest請求
1.KafkaAdminClient的deleteRecord()
2.kafka-delete-record.sh腳本
5.4.2 日誌壓縮
broker端參數log.cleanup.policy設置為compact，且log.cleaner.enable設置為true(默認為true)
5.5磁碟存儲
相關測試：一個由6塊7200r/min的RAID-5陣列組成的磁碟簇的線性寫入600MB/s，隨機寫入100KB/s，隨機內存寫入400MB/s，線性內存3.6GB/s
5.5.1 頁緩存
Linux操作系統的vm.dirty_background_ratio參數用來指定臟頁數量達到系統的百分比之後就觸發pdflush/flush/kdmflush，一般小於10，不建議為0
vm.dirty_ratio表示臟頁百分比之後刷盤，但是阻塞新IO請求
kafka同樣提供同步刷盤及間斷性強制刷盤(fsync)功能，可以通過log.flush.interval.messages、log.flush.interval.ms等參數來控制
kafka不建議使用swap分區，vm.swappiness參數上限為100，下限為0，建議設置為1
5.5.2 磁碟I/O流程
一般磁碟IO的場景有以下4種：
1.用戶調用標准C庫進行IO操作，數據流為：應用程序Buffer->C庫標准IOBuffer->文件系統也緩存->通過具體文件系統到磁碟
2.用戶調用文件IO，數據流為：應用程序Buffer->文件系統也緩存->通過具體文件系統到磁碟
3.用戶打開文件時使用O_DIRECT，繞過頁緩存直接讀寫磁碟
4.用戶使用類似dd工具，並使用direct參數，繞過系統cache與文件系統直接讀寫磁碟
Linux系統中IO調度策略有4種：
1.NOOP：no operation
2.CFQ
3.DEADLINE
4.ANTICIPATORY
5.5.3 零拷貝
指數據直接從磁碟文件復制到網卡設備中，不需要經應用程序
對linux而言依賴於底層的sendfile()
對java而言，FileChannal.transferTo()的底層實現就是sendfile()
❼ SSH項目中，日誌如何實現，日誌信息存儲在何處謝謝
用log4j
log4j.rootLogger=DEBUG,CONSOLE,DATABASE,FILE
log4j.addivity.org.apache=true
# 應用於控制台
log4j.appender.CONSOLE=org.apache.log4j.ConsoleAppender
log4j.appender.CONSOLE.Threshold=INFO
log4j.appender.CONSOLE.Target=System.out
log4j.appender.CONSOLE.Encoding=GBK
log4j.appender.CONSOLE.layout=org.apache.log4j.PatternLayout
log4j.appender.CONSOLE.layout.ConversionPattern=[framework] %d - %c -%-4r [%t] %-5p %c %x - %m%n
# 用於資料庫
log4j.appender.DATABASE=org.apache.log4j.jdbc.JDBCAppender
log4j.appender.DATABASE.URL=jdbc:oracle:thin:@192.168.0.103:1521:ORCL
log4j.appender.DATABASE.driver=oracle.jdbc.driver.OracleDriver
log4j.appender.DATABASE.user=Nation
log4j.appender.DATABASE.password=1
log4j.appender.CONSOLE.Threshold=WARN
log4j.appender.DATABASE.sql=INSERT INTO LOG4J(stamp,thread, infolevel,class,messages) VALUES ('%d{yyyy-MM-dd HH:mm:ss}', '%t', '%p', '%l', '%m')
# INSERT INTO LOG4J (Message) VALUES ('[framework] %d - %c -%-4r [%t] %-5p %c %x - %m%n')
# 寫入資料庫中的表LOG4J的Message欄位中，內容％d（日期）%c: 日誌信息所在地（類名）%p: 日誌信息級別%m: 產生的日誌具體信息 %n: 輸出日誌信息換行
log4j.appender.DATABASE.layout=org.apache.log4j.PatternLayout
log4j.appender.DATABASE.layout.ConversionPattern=[framework] %d - %c -%-4r [%t] %-5p %c %x - %m%n
# 每天新建日誌
log4j.appender.A1=org.apache.log4j.DailyRollingFileAppender
log4j.appender.A1.File=C:/log4j/log
log4j.appender.A1.Encoding=GBK
log4j.appender.A1.Threshold=DEBUG
log4j.appender.A1.DatePattern='.'yyyy-MM-dd
log4j.appender.A1.layout=org.apache.log4j.PatternLayout
log4j.appender.A1.layout.ConversionPattern=%d{ABSOLUTE} %5p %c{1}:%L : %m%n
#應用於文件
log4j.appender.FILE=org.apache.log4j.FileAppender
log4j.appender.FILE.File=C:/log4j/file.log
log4j.appender.FILE.Append=false
log4j.appender.FILE.Encoding=GBK
log4j.appender.FILE.layout=org.apache.log4j.PatternLayout
log4j.appender.FILE.layout.ConversionPattern=[framework] %d - %c -%-4r [%t] %-5p %c %x - %m%n
# 應用於文件回滾
log4j.appender.ROLLING_FILE=org.apache.log4j.RollingFileAppender
log4j.appender.ROLLING_FILE.Threshold=ERROR
log4j.appender.ROLLING_FILE.File=rolling.log
log4j.appender.ROLLING_FILE.Append=true
log4j.appender.CONSOLE_FILE.Encoding=GBK
log4j.appender.ROLLING_FILE.MaxFileSize=10KB
log4j.appender.ROLLING_FILE.MaxBackupIndex=1
log4j.appender.ROLLING_FILE.layout=org.apache.log4j.PatternLayout
log4j.appender.ROLLING_FILE.layout.ConversionPattern=[framework] %d - %c -%-4r [%t] %-5p %c %x - %m%n
#自定義Appender
log4j.appender.im = net.cybercorlin.util.logger.appender.IMAppender
log4j.appender.im.host = mail.cybercorlin.net
log4j.appender.im.username = username
log4j.appender.im.password = password
log4j.appender.im.recipient = [email protected]
log4j.appender.im.layout=org.apache.log4j.PatternLayout
log4j.appender.im.layout.ConversionPattern =[framework] %d - %c -%-4r [%t] %-5p %c %x - %m%n
#應用於socket
log4j.appender.SOCKET=org.apache.log4j.RollingFileAppender
log4j.appender.SOCKET.RemoteHost=localhost
log4j.appender.SOCKET.Port=5001
log4j.appender.SOCKET.LocationInfo=true
# Set up for Log Facter 5
log4j.appender.SOCKET.layout=org.apache.log4j.PatternLayout
log4j.appender.SOCET.layout.ConversionPattern=[start]%d{DATE}[DATE]%n%p[PRIORITY]%n%x[NDC]%n%t[THREAD]%n%c[CATEGORY]%n%m[MESSAGE]%n%n
# Log Factor 5 Appender
log4j.appender.LF5_APPENDER=org.apache.log4j.lf5.LF5Appender
log4j.appender.LF5_APPENDER.MaxNumberOfRecords=2000
# 發送日誌給郵件
log4j.appender.MAIL=org.apache.log4j.net.SMTPAppender
log4j.appender.MAIL.Threshold=FATAL
log4j.appender.MAIL.BufferSize=10
[email protected]
log4j.appender.MAIL.SMTPHost=www.wusetu.com
log4j.appender.MAIL.Subject=Log4J Message
[email protected]
log4j.appender.MAIL.layout=org.apache.log4j.PatternLayout
log4j.appender.MAIL.layout.ConversionPattern=[framework] %d - %c -%-4r [%t] %-5p %c %x - %m%n
❽ 如何實現日誌的集中化存儲以及使用loganalyzer做日誌分析
如何實現日誌的集中化存儲以及使用loganalyzer做日誌分析
1、下載網站日誌：
流程如下：主機獨立控制面板——網站情報系統分析——網站日誌——下載WebLog日誌——右鍵點擊查看，鏈接另存為
在主機獨立控制面板中，找到網站情報系統分析板塊，裡面就能看到網站日誌了，點擊下載WebLog日誌，能看到最近幾天的網站日誌，但是點擊查看進去，會發現是一堆看不懂的代碼，沒有關系，我們先不要進去查看，而是右鍵點擊查看，鏈接另存為，下載網站日誌。
——————
2、代碼看不懂的話，可以使用光年日誌分析軟體GnAnalyzer，這是一個可以幫助我們進行網站日誌分析的軟體。比如蜘蛛抓取的情況，日誌裡面都有顯示。
——————
3、光年日誌分析軟體的使用：
下載好網站日誌後，就可以使用光年日誌分析軟體進行網站日誌的分析了。
流程如下：光年日誌分析軟體文件夾中的GnAnalyzer.exe——文件菜單，新建任務——添加（類型選擇所有文件）——下一步，保存——馬上分析
——————
4、網站日誌分析：
馬上分析後，就可以查看當天：蜘蛛分析（概要分析、目錄抓取、頁面抓取、IP排行）；搜索引擎分析（關鍵字分析）；狀態碼分析（用戶狀態碼、蜘蛛狀態碼）的相關信息。
❾ 日誌文件的寫志數據如何存儲
日誌記錄方式可以提供我們足夠多定位問題的依據。對於一些復雜系統，例如資料庫，日誌可以承擔數據備份、同步作用，很多分布式資料庫都採用「write-ahead」方案，在節點數據同步時通過日誌文件恢復數據。
日誌文件是不推薦和資料庫存儲在同一個硬碟的，因為一旦硬碟壞了就會一起死掉。當然，如果已經使用了帶容錯的RAID，甚至是盤櫃之類的設備，那麼可以放在一起沒有太大問題。
如果先寫資料庫，後寫日誌，但是在剛好寫了資料庫而未寫日誌的時候崩潰了，那麼根據日誌恢復出來的資料庫就少了一條記錄
❿ 如何設計日誌採集存儲分析的架構
如何設計日誌採集存儲分析的架構
架構方面：
□ Flume OG有三種角色的節點：代理節點agent、收集節點collector、主節點master
□ agent負責從各個數據源收集日誌數據、將收集到的數據集中到collector,再由collector節點匯總存入到HDFS.而master負責管理agent\collector的活動
□ agent、collector都稱為node,node的角色根據配置的不同分為邏輯節點和物理節點,對於邏輯節點的區分、配置、使用非常復雜.
□ agent、collector由source、sink組成,表示當前節點的數據從source傳送到sink
以上相對於Flume NG來說:
□ Flume NG只有一種角色節點：代理節點agent
□ 沒有collector、master節點,這是最核心的變化.
□ 去除邏輯節點和物理節點的概念和內容
□ agent節點的組成發生變化,由source 、sink、channel三個組件組成
Zookeeper方面：
□ Flume OG的穩定性依賴zookeeper,它需要zookeeper對其多類節點的工作進行管理,雖然OG可以使用內存的方式對各類節點進行管理,但需要用戶忍受機器出現故障時信息丟失的出現.
□ Flume NG的節點角色數量由原來的3個縮減為1個,不存在多類角色的問題,所以不再需要zookeeper對各類節點協調的作用,由此脫離了對zookeeper的依賴.