存儲去重語句
『壹』 hql語句怎麼消除重復內容
1、hql語句和sql語句其實差不多的，只是把表名、欄位名用做相對應的類名、屬性名等。
2、distinct 只能用於單個欄位去除重復，對於多個欄位去除重復使用distinct很可能會得到你不想要的結果。
1、如果有多個欄位去除重復你可以是用group by語句。
2、這里不知道你根據哪幾個欄位排重，舉個例子，比如你的a表對應的有 b、c、d欄位，需要去除重復，
例如：對應的實體類為A，有屬性 b、c、d
HQL為：FROM A as a GROUP BY a.b,a.c,a.d;
『貳』 sql語句去重
sql
單表/多表查詢去除重復記錄
單表distinct
多表group
by
group
by
必須放在
order
by
和
limit之前，不然會報錯
************************************************************************************
1、查找表中多餘的重復記錄，重復記錄是根據單個欄位（peopleId）來判斷
select
*
from
people
where
peopleId
in
(select
peopleId
from
people
group
by
peopleId
having
count(peopleId)
>
1)
2、刪除表中多餘的重復記錄，重復記錄是根據單個欄位（peopleId）來判斷，只留有rowid最小的記錄
delete
from
people
where
peopleId
in
(select
peopleId
from
people
group
by
peopleId
having
count(peopleId)
>
1)
and
rowid
not
in
(select
min(rowid)
from
people
group
by
peopleId
having
count(peopleId
)>1)
3、查找表中多餘的重復記錄（多個欄位）
select
*
from
vitae
a
where
(a.peopleId,a.seq)
in
(select
peopleId,seq
from
vitae
group
by
peopleId,seq
having
count(*)
>
1)
4、刪除表中多餘的重復記錄（多個欄位），只留有rowid最小的記錄
delete
from
vitae
a
where
(a.peopleId,a.seq)
in
(select
peopleId,seq
from
vitae
group
by
peopleId,seq
having
count(*)
>
1)
and
rowid
not
in
(select
min(rowid)
from
vitae
group
by
peopleId,seq
having
count(*)>1)
5、查找表中多餘的重復記錄（多個欄位），不包含rowid最小的記錄
select
*
from
vitae
a
where
(a.peopleId,a.seq)
in
(select
peopleId,seq
from
vitae
group
by
peopleId,seq
having
count(*)
>
1)
and
rowid
not
in
(select
min(rowid)
from
vitae
group
by
peopleId,seq
having
count(*)>1)
(二)
比方說
在A表中存在一個欄位「name」，
而且不同記錄之間的「name」值有可能會相同，
現在就是需要查詢出在該表中的各記錄之間，「name」值存在重復的項；
Select
Name,Count(*)
From
A
Group
By
Name
Having
Count(*)
>
1
如果還查性別也相同大則如下:
Select
Name,sex,Count(*)
From
A
Group
By
Name,sex
Having
Count(*)
>
1
(三)
方法一
declare
@max
integer,@id
integer
declare
cur_rows
cursor
local
for
select
主欄位,count(*)
from
表名
group
by
主欄位
having
count(*)
>；
1
open
cur_rows
fetch
cur_rows
into
@id,@max
while
@@fetch_status=0
begin
select
@max
=
@max
-1
set
rowcount
@max
delete
from
表名
where
主欄位
=
@id
fetch
cur_rows
into
@id,@max
end
close
cur_rows
set
rowcount
0
方法二
＂重復記錄＂有兩個意義上的重復記錄，一是完全重復的記錄，也即所有欄位均重復的記錄，二是部分關鍵欄位重復的記錄，比如Name欄位重復，而其他欄位不一定重復或都重復可以忽略。
1、對於第一種重復，比較容易解決，使用
select
distinct
*
from
tableName
就可以得到無重復記錄的結果集。
如果該表需要刪除重復的記錄（重復記錄保留1條），可以按以下方法刪除
select
distinct
*
into
#Tmp
from
tableName
drop
table
tableName
select
*
into
tableName
from
#Tmp
drop
table
#Tmp
發生這種重復的原因是表設計不周產生的，增加唯一索引列即可解決。
2、這類重復問題通常要求保留重復記錄中的第一條記錄，操作方法如下
假設有重復的欄位為Name,Address，要求得到這兩個欄位唯一的結果集
select
identity(int,1,1)
as
autoID,
*
into
#Tmp
from
tableName
select
min(autoID)
as
autoID
into
#Tmp2
from
#Tmp
group
by
Name,autoID
select
*
from
#Tmp
where
autoID
in(select
autoID
from
#tmp2)
最後一個select即得到了Name，Address不重復的結果集（但多了一個autoID欄位，實際寫時可以寫在select子句中省去此列）
(四)
查詢重復
select
*
from
tablename
where
id
in
(select
id
from
tablename
group
by
id
having
count(id)
>
1
)
3、查找表中多餘的重復記錄（多個欄位）
select
*
from
vitae
a
where
(a.peopleId,a.seq)
in
(select
peopleId,seq
from
vitae
group
by
peopleId,seq
having
count(*)
>
1)
運行會產生問題，where(a.peopleId,a.seq)這樣的寫發是通不過的！！！
『叄』 sql語句如何把一個表中的數據去重創個新表
用distinct去重，然後使用如下語法創建：
create table xxx as select distinct * from xxx
這樣就在新表中保存了舊表中去重後的數據
『肆』 sqlserver利用存儲過程去除重復行的sql語句
還是先上代碼吧
，可以先看
SQL語句去掉重復記錄，獲取重復記錄
復制代碼
代碼如下:
ALTER
procere
[dbo].[PROC_ITEMMASTER_GETUNIQUE]
@PAGEINDEX
INT,@uid
int,@itemnumber
varchar(50)
AS
begin
tran
--開始事務
drop
table
[ItemMaster].[dbo].[testim]
--刪除表
--把不重復記錄轉存到testim中
select
*
into
[ItemMaster].[dbo].[testim]
from
[ItemMaster].[dbo].[dat_item_master]
where
item_uid
in(select
min(item_uid)
as
item_uid
from
[ItemMaster].[dbo].[dat_item_master]
group
by
item_number)
and
status=0
select
top
10
*
from
[ItemMaster].[dbo].[testim]
where
item_uid
not
in
(select
top
(10*(@PAGEINDEX-1))
item_uid
from
[ItemMaster].[dbo].[testim])
and
owneruid=@uid
and
item_number
like
@itemnumber+'%'
--判斷是否出錯
if
@@error<>0
begin
rollback
tran
--出錯則回滾
end
else
begin
--否則提前事務
commit
tran
end
我的數據是這樣的：因為item_uid是標識列，item_number有重復的，
我想過濾成這樣：
順帶說幾個在編程的時候遇到的小問題
1.程序
出現
Could
not
find
stored
procere
找不到這個存儲過程
因為我的程序資料庫有四個，而默認連接是A，但實際要執行B庫里的存儲過程，導致出錯，
解決辦法1：可在A裡面建個一樣的存儲過程2：在執行連接的時候，替換下資料庫就行了
2.
asp.net/C#
將存儲過程中返回的數據集，填充到dataset/datatable
復制代碼
代碼如下:
SqlConnection
conn
=
new
SqlConnection(ConfigurationManager.ConnectionStrings["SolutionSQLServer"].ToString());
SqlCommand
cmd
=
new
SqlCommand("Test",conn);
cmd.CommandType
=
CommandType.StoredProcere;
cmd.Parameters.Add("@MaxId",
SqlDbType.Int).Value
=
12000;
SqlDataAdapter
sda
=
new
SqlDataAdapter(cmd);
DataTable
dt
=
new
DataTable();
sda.Fill(dt);
在這感謝
http://www.cnblogs.com/liujuncm5/archive/2009/08/31/1557569.html
3.在存儲過程裡面，寫SQL語句不能動態不加order
by
功能
比如
復制代碼
代碼如下:
--·@new_orderby
是傳入參數，不能這樣寫
select
top
(10*(2-1))
item_uid
from
testim
order
by
@new_orderby
--執行這個的時候，SQL會出現
The
SELECT
item
identified
by
the
ORDER
BY
number
1
contains
a
variable
as
part
of
the
expression
identifying
a
column
position.
Variables
are
only
allowed
when
ordering
by
an
expression
referencing
a
column
name.
不過我找到解決辦法，不過很麻煩，
http://www.sqlteam.com/forums/topic.asp?TOPIC_ID=9328
（第二個回答用
'
sql
'進行連接）
http://databases.aspfaq.com/database/how-do-i-use-a-variable-in-an-order-by-clause.html （用case
end
也行）
4.
select
into
和
insert
into
select
兩種復制文句
（這里感謝http://www.cnblogs.com/freshman0216/archive/2008/08/15/1268316.html）
1.INSERT
INTO
SELECT語句
語句形式為：Insert
into
Table2(field1,field2,...)
select
value1,value2,...
from
Table1
要求目標表Table2必須存在，由於目標表Table2已經存在，所以我們除了插入源表Table1的欄位外，還可以插入常量。
2.SELECT
INTO
FROM語句
語句形式為：SELECT
vale1,
value2
into
Table2
from
Table1
要求目標表Table2不存在，因為在插入時會自動創建表Table2，並將Table1中指定欄位數據復制到Table2中。
5.順便復習下常用的SQL方法語句
復制代碼
代碼如下:
declare
@name
varchar(200)
--聲明變數
set
@name='abcd;def'
--賦值
print
'exec
len
:'+Convert(varchar(10),Len(@name))
--convert(type,value)轉換，Len(value)獲取大小
print
'exec
charindex:'+Convert(varchar(10),CharIndex('e',@name))--CharIndex(find,value)
在value中查找find的位置
print
'not
replace:'+@name
print
'exec
replace:'+Replace(@name,';','')
--用replace替換
print
'exec
substring:'+Substring(@name,0,3)--用substring截取
print
@@RowCount
--返回上一行代碼受影響的行數
作者：chenhuzi
『伍』 oracle去重語句怎麼寫
1 a
1 b
1 c
如上三行記錄，你想要查詢的結果是什麼？
『陸』 SQL語句去除重復數據並取各ID的最後一條數據
先把表倒敘排一下，再用distinct 去除重復 ，distinct 加在你要去除重復的欄位前面 distinct 一般取的所有重復數據的第一條，你先把表倒敘了之後再查，第一條就你要的重復數據的最後一條的數據了
『柒』 scrapy默認有url去重，存資料庫時的數據該怎麼去重
可以用redis做判斷去重：
啟動redis時，將已存在數據載入到redis
通過redis判斷數據是否重復
重復就更新操作，否則 插入
『捌』 SQL語句怎麼對單個欄位去重，並且要顯示所有列
1、打開SQLyog，在其中新建一個資料庫「student」，如下圖所示：
『玖』 SQL資料庫查詢去除重復的關鍵字是什麼
distinct 關鍵字可從 select 語句的結果中消除重復的行。如果沒有指定 distinct,將返回所有行,包括重復的行。
資料庫(Database)是按照數據結構來組織、存儲和管理數據的倉庫，它產生於距今六十多年前，隨著信息技術和市場的發展，特別是二十世紀九十年代以後，數據管理不再僅僅是存儲和管理數據，而轉變成用戶所需要的各種數據管理的方式。
資料庫有很多種類型，從最簡單的存儲有各種數據的表格到能夠進行海量數據存儲的大型資料庫系統都在各個方面得到了廣泛的應用。
在信息化社會，充分有效地管理和利用各類信息資源，是進行科學研究和決策管理的前提條件。資料庫技術是管理信息系統、辦公自動化系統、決策支持系統等各類信息系統的核心部分，是進行科學研究和決策管理的重要技術手段。
資料庫，簡單來說是本身可視為電子化的文件櫃--存儲電子文件的處所，用戶可以對文件中的數據進行新增、截取、更新、刪除等操作。
資料庫指的是以一定方式儲存在一起、能為多個用戶共享、具有盡可能小的冗餘度的特點、是與應用程序彼此獨立的數據集合。
在經濟管理的日常工作中，常常需要把某些相關的數據放進這樣的"倉庫"，並根據管理的需要進行相應的處理。
例如，企業或事業單位的人事部門常常要把本單位職工的基本情況(職工號、姓名、年齡、性別、籍貫、工資、簡歷等)存放在表中，這張表就可以看成是一個資料庫。
有了這個"數據倉庫"我們就可以根據需要隨時查詢某職工的基本情況，也可以查詢工資在某個范圍內的職工人數等等。這些工作如果都能在計算機上自動進行，那我們的人事管理就可以達到極高的水平。
此外，在財務管理、倉庫管理、生產管理中也需要建立眾多的這種"資料庫"，使其可以利用計算機實現財務、倉庫、生產的自動化管理。