資料庫調度a
❶ 調度的事件序列
在時刻t36存在事務T2，T3，T9和T8死鎖，另外，事務T4等待事務T9，事務T12
等待事務T4，事務T11，T10等待事務T12。
❷ 怎麼實現兩個資料庫的同步
同步兩個sqlServer資料庫
如何同步兩個sqlserver資料庫的內容?程序代碼可以有版本管理cvs進行同步管理,可是資料庫同步就非常麻煩,只能自己改了一個後再去改另一個,如果忘記了更改另一個經常造成兩個資料庫的結構或內容上不一致.各位有什麼好的方法嗎?
一、分發與復制
用強制訂閱實現資料庫同步操作. 大量和批量的數據可以用資料庫的同步機制處理:
//
說明：
為方便操作,所有操作均在發布伺服器(分發伺服器)上操作,並使用推模式
在客戶機器使用強制訂閱方式。
二、測試通過
1:環境
伺服器環境:
機器名稱： zehuadb
操作系統：windows 2000 server
資料庫版本：sql 2000 server 個人版
客戶端
機器名稱：zlp
操作系統：windows 2000 server
資料庫版本：sql 2000 server 個人版
2:建用戶帳號
在伺服器端建立域用戶帳號
我的電腦管理->本地用戶和組->用戶->建立
username:zlp
userpwd:zlp
3:重新啟動伺服器mssqlserver
我的電腦->控制面版->管理工具->服務->mssqlserver 服務
(更改為：域用戶帳號,我們新建的zlp用戶 .zlp,密碼:zlp)
4:安裝分發伺服器
a:配置分發伺服器
工具->復制->配置發布、訂閱伺服器和分發->下一步->下一步(所有的均採用默認配置)
b:配置發布伺服器
工具->復制->創建和管理發布->選擇要發布的資料庫(sz)->下一步->快照發布->下一步->選擇要發布的內容->下一步->下一步->下一步->完成
c:強制配置訂閱伺服器(推模式,拉模式與此雷同)
工具->復制->配置發布、訂閱伺服器和分發->訂閱伺服器->新建->sql server資料庫->輸入客戶端伺服器名稱(zlp)->使用sql server 身份驗證(sa,空密碼)->確定->應用->確定
d:初始化訂閱
復制監視器->發布伺服器(zehuadb)->雙擊訂閱->強制新建->下一步->選擇啟用的訂閱伺服器->zlp->下一步->下一步->下一步->下一步->完成
5:測試配置是否成功
復制監視器->發布衿?zehuadb)->雙擊sz:sz->點狀態->點立即運行代理程序
查看：
復制監視器->發布伺服器(zehuadb)->sz:sz->選擇zlp:sz(類型強制)->滑鼠右鍵->啟動同步處理
如果沒有錯誤標志(紅色叉)，恭喜您配置成功
6:測試數據
在伺服器執行:
選擇一個表，執行如下sql: insert into wq_newsgroup_s select '測試成功',5
復制監視器->發布伺服器(zehuadb)->sz:sz->快照->啟動代理程序 ->zlp:sz(強制)->啟動同步處理
去查看同步的 wq_newsgroup_s 是否插入了一條新的記錄
測試完畢，通過。
7:修改資料庫的同步時間,一般選擇夜晚執行資料庫同步處理
(具體操作略) :d
/*
注意說明：
伺服器一端不能以(local)進行數據的發布與分發,需要先刪除注冊，然後新建注冊本地計算機名稱
卸載方式：工具->復制->禁止發布->是在"zehuadb"上靜止發布,卸載所有的資料庫同步配置伺服器
注意：發布伺服器、分發伺服器中的sqlserveragent服務必須啟動
採用推模式: "d:microsoft sql servermssql epldataunc" 目錄文件可以不設置共享
拉模式:則需要共享~!
*/
少量資料庫同步可以採用觸發器實現,同步單表即可。
三、配置過程中可能出現的問題
在sql server 2000里設置和使用資料庫復制之前，應先檢查相關的幾台sql server伺服器下面幾點是否滿足：
1、mssqlserver和sqlserveragent服務是否是以域用戶身份啟動並運行的（.administrator用戶也是可以的）
如果登錄用的是本地系統帳戶local，將不具備網路功能，會產生以下錯誤:
進程未能連接到distributor '@server name'
(如果您的伺服器已經用了sql server全文檢索服務, 請不要修改mssqlserver和sqlserveragent服務的local啟動。
會照成全文檢索服務不能用。請換另外一台機器來做sql server 2000里復制中的分發伺服器。)
修改服務啟動的登錄用戶，需要重新啟動mssqlserver和sqlserveragent服務才能生效。
2、檢查相關的幾台sql server伺服器是否改過名稱(需要srvid=0的本地機器上srvname和datasource一樣)
在查詢分析器里執行:
use master
select srvid,srvname,datasource from sysservers
如果沒有srvid=0或者srvid=0（也就是本機器）但srvname和datasource不一樣, 需要按如下方法修改:
use master
go
-- 設置兩個變數
declare @serverproperty_servername varchar(100),
@servername varchar(100)
-- 取得windows nt 伺服器和與指定的 sql server 實例關聯的實例信息
select @serverproperty_servername = convert(varchar(100), serverproperty('servername'))
-- 返回運行 microsoft sql server 的本地伺服器名稱
select @servername = convert(varchar(100), @@servername)
-- 顯示獲取的這兩個參數
select @serverproperty_servername,@servername
--如果@serverproperty_servername和@servername不同(因為你改過計算機名字),再運行下面的
--刪除錯誤的伺服器名
exec sp_dropserver @server=@servername
--添加正確的伺服器名
exec sp_addserver @server=@serverproperty_servername, @local='local'
修改這項參數，需要重新啟動mssqlserver和sqlserveragent服務才能生效。
這樣一來就不會在創建復制的過程中出現18482、18483錯誤了。
3、檢查sql server企業管理器裡面相關的幾台sql server注冊名是否和上面第二點里介紹的srvname一樣
不能用ip地址的注冊名。
（我們可以刪掉ip地址的注冊，新建以sql server管理員級別的用戶注冊的伺服器名）
這樣一來就不會在創建復制的過程中出現14010、20084、18456、18482、18483錯誤了。
4、檢查相關的幾台sql server伺服器網路是否能夠正常訪問
如果ping主機ip地址可以，但ping主機名不通的時候，需要在
winntsystem32driversetchosts (win2000)
(win2003)
文件里寫入資料庫伺服器ip地址和主機名的對應關系。
例如：
127.0.0.1 localhost
192.168.0.35 oracledb oracledb
192.168.0.65 fengyu02 fengyu02
202.84.10.193 bj_db bj_db
或者在sql server客戶端網路實用工具里建立別名，例如:
5、系統需要的擴展存儲過程是否存在(如果不存在，需要恢復):
sp_addextendedproc 'xp_regenumvalues',@dllname ='xpstar.dll'
go
sp_addextendedproc 'xp_regdeletevalue',@dllname ='xpstar.dll'
go
sp_addextendedproc 'xp_regdeletekey',@dllname ='xpstar.dll'
go
sp_addextendedproc xp_cmdshell ,@dllname ='xplog70.dll'
接下來就可以用sql server企業管理器里[復制]-> 右鍵選擇 ->[配置發布、訂閱伺服器和分發]的圖形界面來配置資料庫復制了。
下面是按順序列出配置復制的步驟:
1、建立發布和分發伺服器
[歡迎使用配置發布和分發向導]->[選擇分發伺服器]->[使"@servername"成為它自己的分發伺服器,sql server將創建分發資料庫和日誌]
->[制定快照文件夾]-> [自定義配置] -> [否,使用下列的默認配置] -> [完成]
上述步驟完成後, 會在當前"@servername" sql server資料庫里建立了一個distribion庫和 一個distributor_admin管理員級別的用戶(我們可以任意修改密碼)。
伺服器上新增加了四個作業:
[ 代理程序歷史記錄清除: distribution ]
[ 分發清除: distribution ]
[ 復制代理程序檢查 ]
[ 重新初始化存在數據驗證失敗的訂閱 ]
sql server企業管理器里多了一個復制監視器, 當前的這台機器就可以發布、分發、訂閱了。
我們再次在sql server企業管理器里[復制]-> 右鍵選擇 ->[配置發布、訂閱伺服器和分發]
我們可以在 [發布伺服器和分發伺服器的屬性] 窗口-> [發布伺服器] -> [新增] -> [確定] -> [發布資料庫] -> [事務]/[合並] -> [確定] -> [訂閱伺服器] -> [新增] -> [確定]
把網路上的其它sql server伺服器添加成為發布或者訂閱伺服器.
新增一台發布伺服器的選項：
我這里新建立的jin001發布伺服器是用管理員級別的資料庫用戶test連接的，
到發布伺服器的管理鏈接要輸入密碼的可選框, 默認的是選中的，
在新建的jin001發布伺服器上建立和分發伺服器fengyu/fengyu的鏈接的時需要輸入distributor_admin用戶的密碼。到發布伺服器的管理鏈接要輸入密碼的可選框，也可以不選，也就是不需要密碼來建立發布到分發伺服器的鏈接(這當然欠缺安全，在測試環境下可以使用)。
2、新建立的網路上另一台發布伺服器(例如jin001)選擇分發伺服器
[歡迎使用配置發布和分發向導]->[選擇分發伺服器]
-> 使用下列伺服器(選定的伺服器必須已配置為分發伺服器) -> [選定伺服器](例如fengyu/fengyu)
-> [下一步] -> [輸入分發伺服器（例如fengyu/fengyu）的distributor_admin用戶的密碼兩次]
-> [下一步] -> [自定義配置] -> [否，使用下列的默認配置]
-> [下一步] -> [完成] -> [確定]
建立一個資料庫復制發布的過程:
[復制] -> [發布內容] -> 右鍵選擇 -> [新建發布]
-> [下一步] -> [選擇發布資料庫] -> [選中一個待發布的資料庫]
-> [下一步] -> [選擇發布類型] -> [事務發布]/[合並發布]
-> [下一步] -> [指定訂閱伺服器的類型] -> [運行sql server 2000的伺服器]
-> [下一步] -> [指定項目] -> [在事務發布中只可以發布帶主鍵的表] -> [選中一個有主鍵的待發布的表]
->[在合並發布中會給表增加唯一性索引和 rowguidcol 屬性的唯一標識符欄位[rowguid],默認值是newid()]
(添加新列將: 導致不帶列列表的 insert 語句失敗,增加表的大小,增加生成第一個快照所要求的時間)
->[選中一個待發布的表]
-> [下一步] -> [選擇發布名稱和描述] ->
-> [下一步] -> [自定義發布的屬性] -> [否，根據指定方式創建發布]
-> [下一步] -> [完成] -> [關閉]
發布屬性里有很多有用的選項：設定訂閱到期(例如24小時)
設定發布表的項目屬性:
常規窗口可以指定發布目的表的名稱，可以跟原來的表名稱不一樣。
下圖是命令和快照窗口的欄目
( sql server 資料庫復制技術實際上是用insert,update,delete操作在訂閱伺服器上重做發布伺服器上的事務操作
看文檔資料需要把發布資料庫設成完全恢復模式，事務才不會丟失
但我自己在測試中發現發布資料庫是簡單恢復模式下，每10秒生成一些大事務，10分鍾後再收縮資料庫日誌，
這期間發布和訂閱伺服器上的作業都暫停，暫停恢復後並沒有丟失任何事務更改 )
發布表可以做數據篩選，例如只選擇表裡面的部分列:
例如只選擇表裡某些符合條件的記錄, 我們可以手工編寫篩選的sql語句:
發布表的訂閱選項，並可以建立強制訂閱:
成功建立了發布以後,發布伺服器上新增加了一個作業: [ 失效訂閱清除 ]
分發伺服器上新增加了兩個作業:
[ jin001-dack-dack-5 ] 類型[ repl快照 ]
[ jin001-dack-3 ] 類型[ repl日誌讀取器 ]
上面藍色字的名稱會根據發布伺服器名,發布名及第幾次發布而使用不同的編號
repl快照作業是sql server復制的前提條件,它會先把發布的表結構,數據,索引,約束等生成到發布伺服器的os目錄下文件
(當有訂閱的時候才會生成, 當訂閱請求初始化或者按照某個時間表調度生成)
repl日誌讀取器在事務復制的時候是一直處於運行狀態。(在合並復制的時候可以根據調度的時間表來運行)
建立一個資料庫復制訂閱的過程:
[復制] -> [訂閱] -> 右鍵選擇 -> [新建請求訂閱]
-> [下一步] -> [查找發布] -> [查看已注冊伺服器所做的發布]
-> [下一步] -> [選擇發布] -> [選中已經建立發布伺服器上的資料庫發布名]
-> [下一步] -> [指定同步代理程序登錄] -> [當代理程序連接到代理伺服器時:使用sql server身份驗證]
(輸入發布伺服器上distributor_admin用戶名和密碼)
-> [下一步] -> [選擇目的資料庫] -> [選擇在其中創建訂閱的資料庫名]/[也可以新建一個庫名]
-> [下一步] -> [允許匿名訂閱] -> [是，生成匿名訂閱]
-> [下一步] -> [初始化訂閱] -> [是，初始化架構和數據]
-> [下一步] -> [快照傳送] -> [使用該發布的默認快照文件夾中的快照文件]
(訂閱伺服器要能訪問發布伺服器的repldata文件夾，如果有問題，可以手工設置網路共享及共享許可權)
-> [下一步] -> [快照傳送] -> [使用該發布的默認快照文件夾中的快照文件]
-> [下一步] -> [設置分發代理程序調度] -> [使用下列調度] -> [更改] -> [例如每五分鍾調度一次]
-> [下一步] -> [啟動要求的服務] -> [該訂閱要求在發布伺服器上運行sqlserveragent服務]
-> [下一步] -> [完成] -> [確定]
成功建立了訂閱後，訂閱伺服器上新增加了一個類別是[repl-分發]作業(合並復制的時候類別是[repl-合並])
它會按照我們給的時間調度表運行資料庫同步復制的作業。
3、sql server復制配置好後, 可能出現異常情況的實驗日誌:
1.發布伺服器斷網,sql server服務關閉,重啟動,關機的時候,對已經設置好的復制沒有多大影響
中斷期間,分發和訂閱都接收到沒有復制的事務信息
2.分發伺服器斷網,sql server服務關閉,重啟動,關機的時候,對已經設置好的復制有一些影響
中斷期間,發布伺服器的事務排隊堆積起來
(如果設置了較長時間才刪除過期訂閱的選項, 繁忙發布資料庫的事務日誌可能會較快速膨脹),
訂閱伺服器會因為訪問不到發布伺服器,反復重試
我們可以設置重試次數和重試的時間間隔(最大的重試次數是9999, 如果每分鍾重試一次,可以支持約6.9天不出錯)
分發伺服器sql server服務啟動,網路接通以後,發布伺服器上的堆積作業將按時間順序作用到訂閱機器上:
會需要一個比較長的時間(實際上是生成所有事務的insert,update,delete語句,在訂閱伺服器上去執行)
我們在普通的pc機上實驗的58個事務100228個命令執行花了7分28秒.
3.訂閱伺服器斷網,sql server服務關閉,重啟動,關機的時候,對已經設置好的復制影響比較大,可能需要重新初試化
我們實驗環境(訂閱伺服器)從18:46分意外停機以, 第二天8:40分重啟動後, 已經設好的復制在8:40分以後又開始正常運行了, 發布伺服器上的堆積作業將按時間順序作用到訂閱機器上, 但復制管理器里出現快照的錯誤提示, 快照可能需要重新初試化,復制可能需要重新啟動.(我們實驗環境的機器並沒有進行快照初試化,復制仍然是成功運行的)
4、刪除已經建好的發布和定閱可以直接用delete刪除按鈕
我們最好總是按先刪定閱，再刪發布，最後禁用發布的順序來操作。
如果要徹底刪去sql server上面的復制設置, 可以這樣操作:
[復制] -> 右鍵選擇 [禁用發布] -> [歡迎使用禁用發布和分發向導]
-> [下一步] -> [禁用發布] -> [要在"@servername"上禁用發布]
-> [下一步] -> [完成禁用發布和分發向導] -> [完成]
我們也可以用t-sql命令來完成復制中發布及訂閱的創建和刪除, 選中已經設好的發布和訂閱, 按屬標右鍵可以[生成sql腳本]。(這里就不詳細講了, 後面推薦的網站內有比較詳細的內容)
當你試圖刪除或者變更一個table時，出現以下錯誤
server: msg 3724, level 16, state 2, line 1
cannot drop the table 'object_name' because it is being used for replication.
比較典型的情況是該table曾經用於復制，但是後來又刪除了復制。
處理辦法：
select * from sysobjects where replinfo >'0'
sp_configure 'allow updates', 1
go
reconfigure with override
go
begin transaction
update sysobjects set replinfo = '0' where replinfo >'0'
commit transaction
go
rollback transaction
go
sp_configure 'allow updates', 0
go
reconfigure with override
go
❸ 資料庫 可串列化是什麼什麼是沖突可串列化
沖突可串列性是指一個調度，如果通過交換相鄰兩個無沖突的操作能夠轉換到某一個串列的調度，則稱此調度為沖突可串列化的調度。
如：
r1(A); w1(A); r2(A); w2(A); r1(B); w1(B); r2(B); w2(B)
交換操作的次序：
r1(A); w1(A); r2(A); r1(B); w2(A); w1(B); r2(B); w2(B)
r1(A); w1(A); r1(B); r2(A); w2(A); w1(B); r2(B); w2(B)
r1(A); w1(A); r1(B); r2(A); w1(B); w2(A); r2(B); w2(B)
得到了串列調度
r1(A); w1(A); r1(B); w1(B); r2(A); w2(A); r2(B); w2(B)
其次：可串列包含沖突可串列。
❹ 調度工具（ETL+任務流）
kettle是一個ETL工具，ETL（Extract-Transform-Load的縮寫，即數據抽取、轉換、裝載的過程）。
kettle中文名稱叫水壺，該項目的主程序員MATT 希望把各種數據放到一個壺里，然後以一種指定的格式流出。
所以他的重心是用於數據
oozie是一個工作流，Oozie工作流是放置在控制依賴DAG（有向無環圖 Direct Acyclic Graph）中的一組動作（例如，Hadoop的Map/Rece作業、Pig作業等），其中指定了動作執行的順序。
oozie工作流中是有數據流動的，但是重心是在於工作流的定義。
二者雖然都有相關功能及數據的流動，但是其實用途是不一樣的。
查看幫助
列舉出所有linux上的資料庫
列舉出所有Window上的資料庫
查看資料庫下的所有表
（1）確定mysql服務啟動正常
查詢控制埠和查詢進程來確定，一下兩種辦法可以確認mysql是否在啟動狀態
辦法1：查詢埠
MySQL監控的TCP的3306埠，如果顯示3306，證明MySQL服務在運行中
辦法二：查詢進程
可以看見mysql的進程
沒有指定數據導入到哪個目錄，默認是/user/root/表名
原因:
如果表中有主鍵,m的值可以設置大於1的值;如果沒有主鍵只能將m值設置成為1;或者要將m值大於1,需要使用--split-by指定一個欄位
設置了-m 1 說明只有一個maptask執行數據導入,默認是4個maptask執行導入操作,但是必須指定一個列來作為劃分依據
導入數據到指定目錄
在導入表數據到HDFS使用Sqoop導入工具，我們可以指定目標目錄。使用參數 --target-dir來指定導出目的地，使用參數—delete-target-dir來判斷導出目錄是否存在，如果存在就刪掉
查詢導入
提示：must contain '$CONDITIONS' in WHERE clause。
where id <=1 匹配條件
$CONDITIONS：傳遞作用。
如果 query 後使用的是雙引號，則 $CONDITIONS前必須加轉義符，防止 shell 識別為自己的變數。
--query時不能使用--table一起使用
需要指定--target-dir路徑
導入到hdfs指定目錄並指定要求
數據導出儲存方式（數據存儲文件格式---（ textfil parquet）--as-textfileImports data as plain text (default)--as-parquetfile Imports data to Parquet Files）
導入表數據子集到HDFS
sqoop導入blob數據到hive
對於CLOB，如xml文本，sqoop可以遷移到Hive表，對應欄位存儲為字元類型。
對於BLOB，如jpg圖片，sqoop無法直接遷移到Hive表，只能先遷移到HDFS路徑，然後再使用Hive命令載入到Hive表。遷移到HDFS後BLOB欄位存儲為16進制形式。
2.1.3導入關系表到Hive
第一步:導入需要的jar包
將我們mysql表當中的數據直接導入到hive表中的話，我們需要將hive的一個叫做hive-exec-1.1.0-cdh5.14.0.jar的jar包拷貝到sqoop的lib目錄下
第二步:開始導入
導入關系表到hive並自動創建hive表
們也可以通過命令來將我們的mysql的表直接導入到hive表當中去
通過這個命令，我們可以直接將我們mysql表當中的數據以及表結構一起倒入到hive當中去
--incremental 增量模式。
append id 是獲取一個某一列的某個值。
lastmodified 「2016-12-15 15：47：35」 獲取某個時間後修改的所有數據
-append 附加模式
-merge-key id 合並模式
--check-column 用來指定一些列，可以去指定多個列；通常的是指定主鍵id
--last -value 從哪個值開始增量
==注意:增量導入的時候,一定不能加參數--delete-target-dir 否則會報錯==
第一種增量導入方式(不常用)
1.Append方式
使用場景：有個訂單表，裡面每個訂單有一個唯一標識的自增列id，在關系型資料庫中以主鍵的形式存在。之前已經將id在0-1000之間的編號的訂單導入到HDFS 中；如果在產生新的訂單，此時我們只需指定incremental參數為append，--last-value參數為1000即可，表示只從id大於1000後開始導入。
（1）創建一個MySQL表
（2）創建一個hive表（表結構與mysql一致）
注意：
append 模式不支持寫入到hive表中
2.lastModify方式
此方式要求原有表有time欄位，它能指定一個時間戳，讓sqoop把該時間戳之後的數據導入到HDFS；因為後續訂單可能狀體會變化，變化後time欄位時間戳也會變化，此時sqoop依然會將相同狀態更改後的訂單導入HDFS，當然我們可以只當merge-key參數為order-id，表示將後續新的記錄和原有記錄合並。
# 將時間列大於等於閾值的數據增量導入HDFS
使用 lastmodified 方式導入數據，要指定增量數據是要 --append（追加）還是要 --merge-key（合並）last-value 指定的值是會包含於增量導入的數據中。
第二種增量導入方式(推薦)
==通過where條件選取數據更加精準==
2.1.5從RDBMS到HBase
會報錯
原因：sqoop1.4.6 只支持 HBase1.0.1 之前的版本的自動創建 HBase 表的功能。
解決方案：手動創建 HBase 表
導出前，目標表必須存在與目標資料庫中
默認操作是將文件中的數據使用insert語句插入到表中
數據是在HDFS當中的如下目錄/sqoop/emp，數據內容如下
第一步：創建MySQL表
第二步：執行導出命令
通過export來實現數據的導出，將hdfs的數據導出到mysql當中去
全量導出
增量導出
更新導出
總結:
參數介紹
--update-key 後面也可以接多個關鍵字列名，可以使用逗號隔開，Sqoop將會匹配多個關鍵字後再執行更新操作。
--export-dir 參數配合--table或者--call參數使用，指定了HDFS上需要將數據導入到MySQL中的文件集目錄。
--update-mode updateonly和allowinsert。 默認模式為updateonly，如果指定--update-mode模式為allowinsert，可以將目標資料庫中原來不存在的數據也導入到資料庫表中。即將存在的數據更新，不存在數據插入。
組合測試及說明
1、當指定update-key，且關系型資料庫表存在主鍵時：
A、allowinsert模式時，為更新目標資料庫表存的內容，並且原來不存在的數據也導入到資料庫表；
B、updateonly模式時，為更新目標資料庫表存的內容，並且原來不存在的數據也不導入到資料庫表；
2、當指定update-key，且關系型資料庫表不存在主鍵時：
A、allowinsert模式時，為全部數據追加導入到資料庫表；
B、updateonly模式時，為更新目標資料庫表存的內容，並且原來不存在的數據也不導入到資料庫表；
3、當不指定update-key，且關系型資料庫表存在主鍵時：
A、allowinsert模式時，報主鍵沖突，數據無變化；
B、updateonly模式時，報主鍵沖突，數據無變化；
4、當不指定update-key，且關系型資料庫表不存在主鍵時：
A、allowinsert模式時，為全部數據追加導入到資料庫表；
B、updateonly模式時，為全部數據追加導入到資料庫表；
實際案例:
(1)mysql批量導入hive
使用shell腳本：
筆者目前用sqoop把mysql數據導入到Hive中，最後實現命令行導入，sqoop版本1.4.7，實現如下
最後需要把這個導入搞成job，每天定時去跑，實現數據的自動化增量導入，sqoop支持job的管理，可以把導入創建成job重復去跑，並且它會在metastore中記錄增值，每次執行增量導入之前去查詢
創建job命令如下
創建完job就可以去執行它了
sqoop job --exec users
可以把該指令設為Linux定時任務，或者用Azkaban定時去執行它
hive導出到MySQL時，date類型數據發生變化？
問題原因：時區設置問題，date -R查看伺服器時間，show VARIABLES LIKE "%time_zone"查看Mysql時間，system並不表示中國的標准時間，要將時間設置為東八區
（1）：對市面上最流行的兩種調度器，給出以下詳細對比，以供技術選型參考。總體來說，ooize相比azkaban是一個重量級的任務調度系統，功能全面，但配置使用也更復雜。如果可以不在意某些功能的缺失，輕量級調度器azkaban是很不錯的候選對象。
（2）：功能：
兩者均可以調度maprece,pig,java,腳本工作流任務；
兩者均可以定時執行工作流任務；
（3）：工作流定義：
Azkaban使用Properties文件定義工作流；
Oozie使用XML文件定義工作流；
（4）：工作流傳參：
Azkaban支持直接傳參，例如${input}；
Oozie支持參數和EL表達式，例如${fs:dirSize(myInputDir)}；
（5）：定時執行：
Azkaban的定時執行任務是基於時間的；
Oozie的定時執行任務基於時間和輸入數據；
（6）：資源管理：
Azkaban有較嚴格的許可權控制，如用戶對工作流進行讀/寫/執行等操作；
Oozie暫無嚴格的許可權控制；
（7）：工作流執行：
Azkaban有兩種運行模式，分別是solo server mode(executor server和web server部署在同一台節點)和multi server mode(executor server和web server可以部署在不同節點)；
Oozie作為工作流伺服器運行，支持多用戶和多工作流；
（8）：工作流管理：
Azkaban支持瀏覽器以及ajax方式操作工作流；
Oozie支持命令行、HTTP REST、Java API、瀏覽器操作工作流；
瀏覽器頁面訪問
http://node03:8081/
使用Oozie時通常整合hue,用戶數據倉庫調度
就是剛才選擇的腳本
腳本里需要的參數，盡量設置為動態自動獲取，如 ${date}
第一步的參數是所有文件和當天日期，後面的只需要日期，最後一步是導出所有結果，相應填入
添加文件和設置相應參數
運行後會有狀態提示頁面，可以看到任務進度
點擊調度任務的頁面情況
修改定時任務名和描述
添加需要定時調度的任務
sm-workflow的參數都是寫死的，沒有設置動態，這里的下拉列表就不會有可選項。
設置參數
將sm-workflow的日期修改為 ${do_date}，保存
進入定時計劃sm-dw中，會看到有參數 do_date
填入相應參數，前一天日期
Oozie常用系統常量
當然，也可以通過這樣將參數傳入workflow任務中，代碼或者shell中需要的參數。
如，修改sm-workflow 中的 sqoop_import.sh，添加一個參數 ${num}。
編輯文件（需要登陸Hue的用戶有對HDFS操作的許可權），修改shell中的一個值為參數，保存。
在workflow中，編輯添加參數 ${num} ，或者num=${num} 保存。
進入schele中，可以看到添加的參數，編輯輸入相應參數即可。
Bundle統一管理所有定時調度，階段劃分：Bundle > Schele > workflow
❺ 如何判斷資料庫的可串列化調度
利用畫優先圖的方法
對於每個資料庫元素，如果兩個事務的沖突操作同時操作一個元素，則有一條有向邊，如果最後有環，則不是可串列化的
以第一個為例
w1(A)w2(A) T1->T2
r1(B)w2(B) T1->T2
所以是可穿行化的
S2：
A： t1(A)w3(A) T1->T3 w3(A)w1(A) T3->T1
B： r2(B)w1(B) T2->T1 w1(B) r3(B) T1->T3
C：w1(C) w2(C) T1->T2
裡面有環，所以不可串列化
❻ 下面哪個調度不是可串列化的調度 a.t1：r，t2：r，t3：w，t2：r，t1：r
這是可序列化的調度畫可以訪問的資料庫元素XYZ沖突的優先圖來進行判斷，戒指是可序列化的
第二問的是序列化的調度順序寫，串列調度：
T3（R（Y）），T3（ W（Y）），T3（R（Z））T4（R（Z））T4（W（Z）的）T1（R（X））T1（W（X））T1（W（Y））T2（？ （X）），T2（W（X））T2（R（Y））
按照本可以更換的基礎上解決沖突的規則，所以有
T3（R（Y））T3 （W（Y））T3（R（Z））T1（R（X））T1（W（X））T1（W（Y））T2（R（X）），T2（W（X）），T2（ R（Y）），T4（R（Z））T4（W（Z））
T3（R（Y）），T3（W（Y））T3（R（Z））T1（R（X） ）T1（W（X））T1 T4（R（Z））T4（W（Z）（W（Y）））T2（R（X）），T2（W（X））T2（R（Y））
阿爾法
Alpha
❼ 資料庫中，什麼是沖突等價舉例說明一個沖突可串列化調度。
沖突等價有兩個條件：
包括的是同一個事務的相同動作，比如S1：R(A),W(A),R(B),W(B). S2:也是R(A),W(A),R(B),W(B)
2. 每一個沖突對的順序是一樣的。比如第一個沖突對兒的順序是：RW，然後是WW。那麼另一個沖突對兒的順序也必須一樣。
PS： 關於沖突分為三種，RW，WW，WR。
❽ (資料庫)設t1 t2是如下兩個事務,T1:A=A+2,T2:A=A*2,請用封鎖給出事務調度方法
應該有6種策略，就是:由於你的T3有2個乘號，這是什麼運算？如果是乘法誤輸入了2個，則T2、T3的計算方式一樣，則T2與T3事務相同，組合沒有異議，否則運算未知，值無法計算。
❾ 資料庫原理並發控制問題
並發（concurrent）和並行（parallel）這兩個概念，在資料庫系統的資料中經常出現，然而有關它們的定義和區別卻沒有明確的說法。這里，我們根據這兩個概念在資料中的使用，對它們的不同做一個說明。
並發是指多個任務的同時執行，任務與任務之間沒有聯系。由於資料庫系統要同時為許多用戶提供服務，每個用戶都可以發出自己的訪問請求，一個請求就是一個任務。在一個時間點，資料庫系統可能要同時處理多個任務。因此，資料庫系統一定要具備並發處理能力。
並行是指將一個任務劃分為多個子任務，這些子任務同時執行。在所有子任務處理完成後，將它們的結果進行合並，就得到該任務的最終處理結果。在資料庫系統中，如果要執行一個大的數據查詢，為了提高速度、降低響應時間，用戶可以通過系統配置或者在命令中，要求對該大數據量查詢進行並行處理，將該查詢劃分成多個子查詢。這些子查詢同時執行，最後系統將所有子查詢的處理結果進行合並，作為該查詢處理的最終結果。現有的大型資料庫系統都支持並行處理。
需要說明的是，並發和並行與資料庫系統採用多進程還是多線程體系結構無關。對採用多進程結構的資料庫系統，所有的任務、子任務通過進程來處理；而對採用多線程結構的資料庫系統，這些工作是由線程來完成。
資料庫系統的並發控制，涉及到任務的調度、數據的一致性及可靠性等，而資料庫系統的並行處理，主要涉及任務的處理速度、系統性能等方面。
❿ 如何判斷資料庫的可串列化調度
利用畫優先圖的方法x0dx0a對於每個資料庫元素，如果兩個事務的沖突操作同時操作一個元素，則有一條有向邊，如果最後有環，則不是可串列化的x0dx0a以第一個為例x0dx0aw1(A)w2(A) T1->T2x0dx0ar1(B)w2(B) T1->T2x0dx0a所以是可穿行化的x0dx0aS2：x0dx0aA： t1(A)w3(A) T1->T3 w3(A)w1(A) T3->T1x0dx0aB： r2(B)w1(B) T2->T1 w1(B) r3(B) T1->T3x0dx0aC：w1(C) w2(C) T1->T2x0dx0a裡面有環，所以不可串列化