資料庫響應時間

1. 數據倉庫與資料庫的主要區別有

首先我們來了解數據倉庫和資料庫分別是什麼：
1、資料庫:是一種邏輯概念，用來存放數據的倉庫，通過資料庫軟體來實現。資料庫由很多表組成，表是二維的，一張表裡面有很多欄位。欄位一字排開，對數據就一行一行的寫入表中。資料庫的表，在於能夠用二維表現多維的關系。如：oracle、DB2、Mysql、Sybase、MSSQL Server等。
2、數據倉庫：是資料庫概念的升級。從邏輯上理解，資料庫和數據倉庫沒有區別，都是通過資料庫軟體實現存放數據的地方，只不過從數據量來說，數據倉庫要比資料庫更龐大德多。數據倉庫主要用於數據挖掘和數據分析，輔助領導做決策；
區別主要總結為以下幾點：

1.資料庫只存放在當前值，數據倉庫存放歷史值；
2.資料庫內數據是動態變化的，只要有業務發生，數據就會被更新，而數據倉庫則是靜態的歷史數據，只能定期添加、刷新；
3.資料庫中的數據結構比較復雜，有各種結構以適合業務處理系統的需要，而數據倉庫中的數據結構則相對簡單；
4.資料庫中數據訪問頻率較高，但訪問量較少，而數據倉庫的訪問頻率低但訪問量卻很高；
5.資料庫中數據的目標是面向業務處理人員的，為業務處理人員提供信息處理的支持，而數據倉庫則是面向高層管理人員的，為其提供決策支持；
6.資料庫在訪問數據時要求響應速度快，其響應時間一般在幾秒內，而數據倉庫的響應時間則可長達數幾小時

2. 資料庫和大數據的區別

在大數據處理當中，資料庫提供底層支持，實現了穩固的大數據存儲，才能更好地支持下一步的大數據計算。今天的大數據基礎知識分享，我們來聊聊大數據當中，資料庫和數據倉庫的區別，怎麼去理解這兩者，又該怎麼去應用？ 首先，資料庫是什麼？

從定義上來說，資料庫是用來存放數據的倉庫，資料庫由很多表組成，表是二維的，一張表裡面有很多欄位。欄位一字排開，對數據就一行一行的寫入表中。

資料庫的表，在於能夠用二維表現多維的關系，如：oracle、DB2、MySQL、Sybase、MSSQL Server等，都是典型的資料庫。

那麼，數據倉庫又是什麼？

數據倉庫，可以理解為是資料庫概念的升級。從邏輯上理解，資料庫和數據倉庫沒有區別，都是通過資料庫軟體實現存放數據的地方，只不過從數據量來說，數據倉庫要比資料庫更龐大。

資料庫和數據倉庫的區別：

1.資料庫只存放在當前值，數據倉庫存放歷史值；

2.資料庫內數據是動態變化的，只要有業務發生，數據就會被更新，而數據倉庫則是靜態的歷史數據，只能定期添加、刷新；

3.資料庫中的數據結構比較復雜，有各種結構以適合業務處理系統的需要，而數據倉庫中的數據結構則相對簡單；

4.資料庫中數據訪問頻率較高，但訪問量較少，而數據倉庫的訪問頻率低但訪問量卻很高；

5.資料庫中數據的目標是面向業務處理人員的，為業務處理人員提供信息處理的支持，而數據倉庫則是面向高層管理人員的，為其提供決策支持；

6.資料庫在訪問數據時要求響應速度快，其響應時間一般在幾秒內，而數據倉庫的響應時間則可長達數幾小時。

關於，資料庫基礎，大數據資料庫和數據倉庫的區別，以上就是詳細的介紹了。在大數據當中，資料庫和數據倉庫的知識的，都是值得關注的，也是在學習當中需要去重視的。

3. 如何查看資料庫響應時間

SELECT SUBSTRING(qt.text, ( qs.statement_start_offset / 2 ) + 1,
( ( CASE qs.statement_end_offset
WHEN -1 THEN DATALENGTH(qt.text)
ELSE qs.statement_end_offset
END - qs.statement_start_offset ) / 2 ) + 1) ,
qs.execution_count ,
qs.total_worker_time as total_worker_time_in_s,
qs.last_worker_time as last_worker_time_in_ms,
(qs.total_worker_time /qs.execution_count)/1000 as avg_execution_time_ms,
qs.last_execution_time
FROM sys.dm_exec_query_stats qs
CROSS APPLY sys.dm_exec_sql_text(qs.sql_handle) qt
ORDER BY qs.last_execution_time DESC
--這個裡面的total_worker_time在不考慮網路傳輸的情況下，可以看為是響應時間。
--測試結果：total_worker_time=編譯時間+等待時間+執行時間+返回時間

4. 哪些因素影響了資料庫性能

網路寬頻，磁碟IO，查詢速度都會影響到資料庫的性能。

具體問題具體分析，舉例來說明為什麼磁碟IO成瓶頸資料庫的性能急速下降了。

為什麼當磁碟IO成瓶頸之後, 資料庫的性能不是達到飽和的平衡狀態，而是急劇下降。為什麼資料庫的性能有非常明顯的分界點，原因是什麼？

相信大部分做資料庫運維的朋友，都遇到這種情況。 資料庫在前一天性能表現的相當穩定，資料庫的響應時間也很正常，但就在今天，在業務人員反饋業務流量沒有任何上升的情況下，資料庫的變得不穩定了，有時候一個最簡單的insert操作， 需要幾十秒，但99%的insert卻又可以在幾毫秒完成，這又是為什麼了？

dba此時心中有無限的疑惑，到底是什麼原因呢? 磁碟IO性能變差了？還是業務運維人員反饋的流量壓根就不對？ 還是資料庫內部出問題？昨天不是還好好的嗎？

當資料庫出現響應時間不穩定的時候，我們在操作系統上會看到磁碟的利用率會比較高，如果觀察仔細一點，還可以看到，存在一些讀的IO. 資料庫伺服器如果存在大量的寫IO,性能一般都是正常跟穩定的，但只要存在少量的讀IO,則性能開始出現抖動，存在大量的讀IO時（排除配備非常高速磁碟的機器），對於在線交易的資料庫系統來說，大概性能就雪崩了。為什麼操作系統上看到的磁碟讀IO跟寫IO所帶來的性能差距這么大呢？

如果親之前沒有注意到上述的現象，親對上述的結論也是懷疑。但請看下面的分解。

在寫這個文章之前，作者閱讀了大量跟的IO相關的代碼，如非同步IO線程的相關的，innodb_buffer池相關的，以及跟讀數據塊最相關的核心函數buf_page_get_gen函數以及其調用的相關子函數。為了將文章寫得通俗點，看起來不那麼累，因此不再一行一行的將代碼解析寫出來。

咱們先來提問題。buf_page_get_gen函數的作用是從Buffer bool裡面讀數據頁，可能存在以下幾種情況。

提問. 數據頁不在buffer bool 裡面該怎麼辦？

回答：去讀文件，將文件中的數據頁載入到buffer pool裡面。下面是函數buffer_read_page的函數，作用是將物理數據頁載入到buffer pool, 圖片中顯示

buffer_read_page函數棧的頂層是pread64(),調用了操作系統的讀函數。

通過解析buf_wait_for_read函數的下層函數，我們知道其實通過首先自旋加鎖pin的方式，超過設定的自旋次數之後，進入等待，等待IO完成被喚醒。這樣節省不停自旋pin時消耗的cpu,但需要付出被喚起時的開銷。

再繼續擴展問題： 如果會話線程A 經過物理IO將數據頁1001讀入buffer之後，他需要修改這個頁，而在會話線程A之後的其他的同樣需要訪問數據頁1001的會話線程，即使在數據頁1001被入讀buffer pool之後，將仍然處於等待中。因為在數據頁上讀取或者更新的時候，同樣需要上鎖，這樣才能保證數據頁並發讀取/更新的一致性。

由此可見，當一個高並發的系統，出現了熱點數據頁需要從磁碟上載入到buffer pool中時，造成的延遲，是難以想像的。因此排在等待熱點頁隊列最後的會話線程最後才得到需要的頁，響應時間也就越長，這就是造成了一個簡單的sql需要執行幾十秒的原因。

再回頭來看上面的問題，mysql資料庫出現性能下降時，可以看到操作系統有讀IO。 原因是，在資料庫對數據頁的更改，是在內存中的，然後通過檢查點線程進行非同步寫盤，這個非同步的寫操作是不堵塞執行sql的會話線程的。所以，即使看到操作系統上有大量的寫IO，資料庫的性能也是很平穩的。但當用戶線程需要查找的數據頁不在buffer pool中時，則會從磁碟上讀取，在一個熱點數據頁不是非常多的情況下，我們設置足夠大的innodb_buffer_pool的size, 基本可以緩存所有的數據頁，因此一般都不會出現缺頁的情況，也就是在操作系統上基本看不到讀的IO。 當出現讀的IO時，原因時在執行buf_read_page_low函數，從磁碟上讀取數據頁到buffer pool, 則資料庫的性能則開始下降，當出現大量的讀IO，資料庫的性能會非常差。

5. 如何極大地減少資料庫的響應時間

我們發現，有時一個簡單合理的優化配置就可以極大地減少資料庫的響應時間，提高資料庫的吞吐量。另外，我們還需要關注系統的狀態（比如CPU、內存、磁碟的利用率）、操作系統是否存在問題、Oracle Server性能問題的成因以及應用程序的SQL質量是否合理等等。但是這些問題的合理解決需要對資料庫底層原理有深入的理解、經驗和判斷力。課程目標掌握資料庫調優的思路和技巧掌握多種優化工具的使用和優化方法能夠進行性能故障分析掌握各種優化演算法的優劣，根據應用需求選擇合適的演算法等等課程大綱時間上午下午第一天Oracle體系結構組件q理解Oracle的物理結構q理解Oracle的內存結構q理解Oracle的進程結構q理解Oracle的邏輯結構qSql語句的處理過程qOracle 資料庫，伺服器，常式的定義管理Oracle常式q創建管理和使用參數文件q實例啟動的過程和階段q實例關閉的過程和階段q監控警告和跟蹤文件Oracle性能調優概述q調優的問題和目標q調優的步驟q度量調優目標的例子q常見的性能問題q常見的性能問題的結果q開發過程中前攝性的調優考慮q性能與安全的平衡診斷和調優的工具q維護警報日誌文件q使用警報日誌文件調優q後台進程跟蹤文件q使用跟蹤文件q動態排錯和性能視圖q收集系統范圍的統計信息q收集會話相關的統計信息qSTATSPACK和UTLBSTATqV$EVENT_NAME、V$EVENT_EVENT和V$EVENT_WAIT視圖q性能管理器q第二天調整共享池的大小q系統全局區（SGA）q共享池q類庫緩存I.調優類庫緩存的診斷工具II.類庫緩存的重新載入III.調整類庫緩存的大小q緩存執行計劃q查看支持的執行計劃q全局空間分配q大內存需求q調優共享池保留空間q維護大對象q其它影響類庫緩存的參數q數據字典緩存、術語和調優q測量字典緩存統計qUGA和Oracle共享伺服器qUGA的大小控制調整緩沖緩存的大小qOracle 9i中的緩沖緩存的大小參數q動態SGA特徵q動態SGA的分配單位q粒度的考慮q多緩沖池q計算多池的點擊率q緩沖池的字典視圖q緩存數據表q自動的空間管理調整其它SGA結構qRedo日誌緩存大小控制和效率診斷q使用動態視圖分析Redo日誌緩存的效率qRedo日誌緩存調優准則q監控java池內存q控制針對Java的SGA大小q多DBWR進程q調優DBWn I/O第三天資料庫配置和I/O問題qOracle進程和文件q跨設備的分布式文件q表空間的用法qI/O統計和診斷q完整數據表掃描操作的性能調優q檢查點的性能調優q定義和監控FASTSTART檢查點q在線Redo日誌文件配置q歸檔日誌文件配置q自動的空間管理優化排序操作q排序過程q排序區域和參數q新的排序區域參數q排序調優q排序過程和臨時空間q臨時空間片段q操作必須的排序q需要避免的排序q監控臨時表空間q臨時表空間配置調優回滾段q回滾段的用法q回滾段的增長q對手動管理的回滾段調優q控制事務回滾的數據的大小q自動撤銷的管理q改變、刪除和切換撤銷的表空間q自動撤銷管理的參數q監控自動撤銷管理監控和檢測鎖q鎖的機制和類型qDML鎖q表鎖模式qDDL鎖q監控鎖活動的診斷工具和應用實例調試Oracle共享伺服器qOracle共享伺服器特徵q監控共享伺服器和進程用法q共享伺服器和內存使用q錯誤處理第四天應用程序調優q資料庫管理員角色q數據存儲結構q選擇物理結構q數據訪問方法q簇類型及應用分析q索引調優q索引組織表q使用和維護映射表q創建和使用物化視圖q物化視圖和查詢重寫示例q啟用、控制和禁用查詢重寫qOLTP系統、需求和應用問題q決策支持系統和商業智能q數據倉庫要求和應用問題有效地使用Oracle塊q資料庫存儲的階層結構qExtent的分配及注意事項q本地管理Extentq表統計qDBMS_SPACE包q遷移和鏈接q索引重組q監控索引空間q重建索引還是融合索引的問題q監控和識別索引的使用SQL語句調優q優化器模式概述q設置優化器模式q衡量計劃q創建、編輯和維護存儲概要q使用SQL跟蹤和TKPROFq禁用和啟用SQL跟蹤q使用TKPROF格式化跟蹤文件qSQL*Plus的AUTOTRACEq管理統計信息I.表統計II.索引統計III.列統計

6. 100m數據存儲響應時間

對Oracle資料庫進行壓力測試，9600並發線程進行資料庫操作，每兩次訪問資料庫的操作之間sleep 550m

7. 資料庫，數據倉庫和數據挖掘技術之間的區別

先說說數據倉庫和數據挖掘的關系，再說說資料庫與數據倉庫的關系

數據倉庫與數據挖掘的聯系

(1) 數據倉庫為數據挖掘提供了更好的、更廣泛的數據源。

(2) 數據倉庫為數據挖掘提供了新的支持平台。

(3) 數據倉庫為更好地使用數據挖掘這個工具提供了方便。

(4) 數據挖掘為數據倉庫提供了更好的決策支持。

(5) 數據挖掘對數據倉庫的數據組織提出了更高的要求。

(6) 數據挖掘還為數據倉庫提供了廣泛的技術支持。

數據倉庫與數據挖掘的差別

(1) 數據倉庫是一種數據存儲和數據組織技術, 提供數據源。

(2) 數據挖掘是一種數據分析技術, 可針對數據倉庫中的數據進行分析。

1、資料庫:是一種邏輯概念，用來存放數據的倉庫，通過資料庫軟體來實現。資料庫由很多表組成，表是二維的，一張表裡面有很多欄位。欄位一字排開，對數據就一行一行的寫入表中。資料庫的表，在於能夠用二維表現多維的關系。如：oracle、DB2、MySQL、Sybase、MSSQL Server等。
2、數據倉庫：是資料庫概念的升級。從邏輯上理解，資料庫和數據倉庫沒有區別，都是通過資料庫軟體實現存放數據的地方，只不過從數據量來說，數據倉庫要比資料庫更龐大德多。數據倉庫主要用於數據挖掘和數據分析，輔助領導做決策；

區別主要總結為以下幾點：

1.資料庫只存放在當前值，數據倉庫存放歷史值；
2.資料庫內數據是動態變化的，只要有業務發生，數據就會被更新，而數據倉庫則是靜態的歷史數據，只能定期添加、刷新；
3.資料庫中的數據結構比較復雜，有各種結構以適合業務處理系統的需要，而數據倉庫中的數據結構則相對簡單；
4.資料庫中數據訪問頻率較高，但訪問量較少，而數據倉庫的訪問頻率低但訪問量卻很高；
5.資料庫中數據的目標是面向業務處理人員的，為業務處理人員提供信息處理的支持，而數據倉庫則是面向高層管理人員的，為其提供決策支持；
6.資料庫在訪問數據時要求響應速度快，其響應時間一般在幾秒內，而數據倉庫的響應時間則可長達數幾小時

8. oracle資料庫響應時間是多少合適

我們發現，有時一個簡單合理的優化配置就可以極大地減少資料庫的響應時間，提高資料庫的吞吐量。另外，我們還需要關注系統的狀態（比如CPU、內存、磁碟的利用率）、操作系統是否存在問題、Oracle Server性能問題的成因以及應用程序的SQL質量是否合理等等。但是這些問題的合理解決需要對資料庫底層原理有深入的理解、經驗和判斷力

9. 怎麼計算伺服器響應時間(java)

其實你有思路了啊。
問題簡化一下：對一個ip，一個線程請求100次。該次請求的響應時間為調用httpclient前的響應時間減去接收到httpclient響應的時間。注意，本次請求是否有效要判斷。平均響應時間和最大響應時間只不過是響應時間的統計而已，可以用資料庫來做。
就是說資料庫記錄每次測試請求的響應時間，成功與否。統計數據最後出來。
只所以用多線程，是因為單線程順序請求100次，不能模擬伺服器真正的情況。