加密防採集
1. 火車頭採集網站代碼加密防採集怎麼破解
再加密也會被瀏覽器解析,可以用抓包工具來破解或者使用火車瀏覽器 八爪魚是不行的
2. 哪種文件夾加密軟體可以防止被「文件夾嗅探器」嗅探
給你推薦三個軟體:
文件夾加密超級大師
http://www.skycn.com/soft/23563.html
強大、專業的文件、文件夾加密軟體。
超級加密3000
http://www.skycn.com/soft/24090.html
功能強大的文件和文件夾加密和保護軟體。
文件夾保護 2006
http://www.skycn.com/soft/26632.html
優秀的文件夾保護軟體,可以對文件夾進行加密碼、隱藏、偽裝的保護。快捷,方便的解決你文件保密問題。
3. 網頁防採集策略
網頁防採集策略
目前防採集的方法有很多種,先介紹一下常見防採集策略方法和它的弊端及採集對策:
一、判斷一個IP在一定時間內對本站頁面的訪問次數,如果明顯超過了正常人瀏覽速度,就拒絕此IP訪問。
弊端:
1、此方法只適用於動態頁面,如:asp\\jsp\\php等...靜態頁面無法判斷某個IP一定時間訪問本站頁面的次數。
2、此方法會嚴重影響搜索引擎蜘蛛對其收錄,因為搜索引擎蜘蛛收錄時,瀏覽速度都會比較快而且是多線程。此方法也會拒絕搜索引擎蜘蛛收錄站內文件。
採集對策:只能放慢採集速度,或者不採。
建議:做個搜索引擎蜘蛛的IP庫,只允許搜索引擎蜘蛛快速瀏覽站內內容。搜索引擎蜘蛛的IP庫的收集,也不太容易,一個搜索引擎蜘蛛,也不一定只有一個固定的IP地址。
評論:此方法對防採集比較有效,但卻會影響搜索引擎對其收錄。
二、用javascript加密內容頁面
弊端:此方法適用於靜態頁面,但會嚴重影響搜索引擎對其收錄情況,搜索引擎收到到的內容,也都是加密後的內容。
採集對策:建議不採,如非要采,就把解密碼的JS腳本也採下來。
建議:目前沒有好的改良建議。
評論:建議指望搜索引擎帶流量的站長不要使用此方法。
三、把內容頁面里的特定標記替換為」特定標記+隱藏版權文字「
弊端:此方法弊端不大,僅僅會增加一點點的頁面文件大小,但容易反採集。
採集對策:把採集來的含有隱藏版權文字內容的版權文字替掉,或替換成自己的版權。
建議:目前沒有好的改良建議。
評論:自己感覺實用價值不大,就算是加上隨機的隱藏文字,也等於畫蛇添足。
四、只允許用戶登陸後才可以瀏覽
弊端:此方法會嚴重影響搜索引擎蜘蛛對其收錄
採集對策:目前落伍已經有人發了對策文章 ,具體對策就看這個吧《ASP小偷程序如何利用XMLHTTP實現表單的提交以及cookies或session的發送》。
建議:目前沒有好的改良建議。
評論:建議指望搜索引擎帶流量的站長不要使用此方法。不過此方法防一般的採集程序,還是有點效果的。
五、用javascript、vbscript腳本做分頁
弊端:影響搜索引擎對其收錄。
採集對策:分析javascript、vbscript腳本,找出其分頁規則,自己做個對應此站的分頁集合頁即可。
建議:目前沒有好的改良建議。
評論:感覺懂點腳本語言的人都能找出其分頁規則。
六、只允許通過本站頁面連接查看,如:Request.ServerVariables(「HTTP_REFERER「)
弊端:影響搜索引擎對其收錄。
採集對策:不知道能不能模擬網頁來源。。。。目前我沒有對應此方法的採集對策。
建議:目前沒有好的改良建議。
評論:建議指望搜索引擎帶流量的站長不要使用此方法。不過此方法防一般的採集程序,還是有點效果的。
從以上可以看出,目前常用的防採集方法,要麼會對搜索引擎收錄有較大影響,要麼防採集效果不好,起不到防採集的效果。那麼,還有沒有一種有效防採集,而又不影響搜索引擎收錄的方法呢?那就請繼續往下看吧!
作者:pujiwang 2006-6-22 14:12:15 | 回復此帖子
廣而告之:
2 回復:[轉帖]網頁防採集策略 防採集的一些思路的探討
防採集的一些思路的探討
關鍵詞: 採集
1、用不同的模板
對於用程序的網站來說,不大可行,一個網站的模板最多也就幾套吧。
2、使用robots禁止訪問網頁目錄
這個方法可以有效的防止採集,不過將搜索引擎也封掉了,對於靠搜索引擎吃飯的站長們來說,得不償失。
一個例子,Disallow 後面就是禁止訪問的目錄:
作者: 218.19.189.* 封 2006-10-20 11:35 回復此發言 刪除
--------------------------------------------------------------------------------
2 [轉帖]網頁防採集策略
User-agent: *
Disallow: /admin
Disallow: /attachments
Disallow: /images
Disallow: /forumdata
Disallow: /include
3、使用HTTP_REFERER禁止採集,發現來自非本站連接就禁止察看葉面,就像前一段落伍im286.net防DDOS那個禁止調用一樣。
這個方法可以比較有效的防止採集,不過也一樣把搜索引擎封掉了,對於靠搜索引擎吃飯的站長們來說,得不償失。
對高手無效,因為HTTP_REFERER可以偽造。但對一般使用採集的人來說,已經足夠應付了。
例:
php
if(preg_replace("/https?://([^/]+).*/i", "1", $HTTP_SERVER_VARS['HTTP_REFERER']) != $HTTP_SERVER_VARS['HTTP_HOST']) {
exit('警告----你的操作已經被禁止。http://www.ic98.com';);
}
4、使用HTTP_REFERER偽造內容
這個方法可以比較有效的防止採集,不過對於搜索引擎來說,查到的東西跟你偽造的東西一樣的,可能會影響收錄。(如有不對,請高手指出)
同上,對於高手無效。
5、使用java加密內容。
這個可能會比較有效,但是我對java一竅不通,也就不清楚如何入手了。
但我想,既然你這樣使得別人採集到亂碼,搜索引擎有可能也是收錄到亂碼的(我不清楚搜索引擎怎麼工作,不過我猜測他們是察看網頁源代碼的。),也就影響收錄。
6、使用java加密網址
同上,有可能讓搜索引擎無法搜索到你的網頁。
7、生成pdf文件、生成圖片
這個方法可以比較有效的防止採集,不過照樣讓搜索引擎望而卻止。
8、加上自己的版權信息
這個方法最大的好處就是不影響搜索引擎,效果馬馬虎虎,一般上可以讓採集者採集到帶有自己版權的稿件內容。但是對於可以過濾廣告的採集程序來說,不大有效。
以下是作者給俺的PM:
Quote:
你的版權是不是加了你的網站和網址?
只要把網址和網站名替換成他的就可以了啊.這樣還讓他有了版權功能呢.
反正防采真是頭疼....
有點麻煩,我的思路是將網站名稱分成一個一個字來顯示,他不可能將每個字都替換掉吧?不過要這樣我就沒辦法了。比如說我將我的 武俠網 拆開,分成
武俠網
,$rand_color*是隨機顏色,可以自己控制的,如果是動態網頁的話,還配合HTTP_REFERER來搞隨機,這樣子隨機性就更大了。一般上,盡量製造難度就是了。模板也可以製造隨機性,幾個相似的模板輪流來弄,這樣子讓人採集的難度更大。
不過說實話,要使他們真要搞,那是沒辦法的事,不過至少要花他們很多的時間去研究。在此之前,他們可能沒耐性轉向別的站了。
另外,最好不要讓人知道你使用隨機函數。一般人只是稍微看一下網頁代碼,就開始採集了。
作者:pujiwang 2006-6-22 14:13:53 | 回復此帖子
3 回復:[轉帖]網頁防採集策略
防採集程序
下午無聊寫著完,寫完後自己仔細看了看防止採集還是有一定的效果的,哈哈,要的拿去用吧!
<%
Dim AppealNum,AppealCount
AppealNum=10 '同一IP60秒內請求限制10次
AppealCount=Request.Cookies("AppealCount")
If AppealCount="" Then
response.Cookies("AppealCount")=1
AppealCount=1
response.cookies("AppealCount").expires=dateadd("s",60,now())
Else
response.Cookies("AppealCount")=AppealCount+1
response.cookies("AppealCount").expires=dateadd("s",60,now())
End If
if int(AppealCount)>int(AppealNum) then
response.write "歇一會兒吧!整天採集你煩不煩啊!"
response.end
End If
%>
作者:pujiwang 2006-6-22 14:16:31 | 回復此帖子
4 回復:[轉帖]網頁防採集策略
[討論]防採集這幾天上網,竟然也現我的整站被人家全部採集去了。暈倒,幾年的資料就這樣便宜人家。
還好,人家是個懶蟲,欄目都不分,鬼才會去看。
這樣才想起怎樣防止採集的方法。
注意,只是討論可行性,還沒有提供解決方案。
採集與搜索引擎的機器人不同。採集需要對網頁進行分析,以找到規則,分別對標題和內容進行讀取並記錄到資料庫中。
如果我們能夠把網頁做成沒有規則,採集也就無從入手了。
說到規則,我就想趣了空格。
空格這東西,在HTM的<>中,並不產生作用,也就是說,一個空格的位置,你多加幾個也是沒關系的。象<table>你可以寫成< table>,<table >,< table >。都可以,所以,如果在網頁裡面,特別是採集程序重點分析的位置,我們利用程序,在這些位置加些空格,採集也就難以下手了,就算採到了,也就幾篇而已,影響不大。
我准備這樣做,象原來在模板中的<table>,我會改成<{$space1$}table{$space2$}>,在這里,{$space1$}和{$space2$}是自定義標簽(也可以融合到程序中),然後在程序中使用隨機數來決定這兩個標簽用多少個空格來代替。
呵呵,人家現在想用<table>來做為特徵採集是完全做不到的了。但對於我的網頁,顯示上一點影響也沒有,對於搜索引擎的機器人也一點影響沒有。
我想這應該是最合適的方法。
希望做過採集或改過採集的討論一下。
作者:pujiwang 2006-6-22 14:18:27 | 回復此帖子
4. 用MD5加密分頁文件名防採集,會影響搜索引擎蜘蛛對其收錄嗎
目前防採集的方法有很多種,先介紹一下常見防採集策略方法和它的弊端及採集對策:
一、判斷一個IP在一定時間內對本站頁面的訪問次數,如果明顯超過了正常人瀏覽速度,就拒絕此IP訪問
弊端:
1、此方法只適用於動態頁面,如:asp\jsp\php等…靜態頁面無法判斷某個IP一定時間訪問本站頁面的次數
2、此方法會嚴重影響搜索引擎蜘蛛對其收錄,因為搜索引擎蜘蛛收錄時,瀏覽速度都會比較快而且是多線程。此方法也會拒絕搜索引擎蜘蛛收錄站內文件
採集對策:只能放慢採集速度,或者不採
建議:做個搜索引擎蜘蛛的IP庫,只允許搜索引擎蜘蛛快速瀏覽站內內容。搜索引擎蜘蛛的IP庫的收集,也不太容易,一個搜索引擎蜘蛛,也不一定只有一個固定的IP地址。
評論:此方法對防採集比較有效,但卻會影響搜索引擎對其收錄。
二、用javascript加密內容頁面
弊端:此方法適用於靜態頁面,但會嚴重影響搜索引擎對其收錄情況,搜索引擎收到到的內容,也都是加密後的內容
採集對策:建議不採,如非要采,就把解密碼的JS腳本也採下來。
建議:目前沒有好的改良建議
評論:建議指望搜索引擎帶流量的站長不要使用此方法。
三、把內容頁面里的特定標記替換為」特定標記+隱藏版權文字「
弊端:此方法弊端不大,僅僅會增加一點點的頁面文件大小,但容易反採集
採集對策:把採集來的含有隱藏版權文字內容的版權文字替掉,或替換成自己的版權。
建議:目前沒有好的改良建議
評論:自己感覺實用價值不大,就算是加上隨機的隱藏文字,也等於畫蛇添足。
四、只允許用戶登陸後才可以瀏覽
弊端:此方法會嚴重影響搜索引擎蜘蛛對其收錄
採集對策:目前落伍已經有人發了對策文章 ,具體對策就看這個吧《ASP小偷程序如何利用XMLHTTP實現表單的提交以及cookies或session的發送》
建議:目前沒有好的改良建議
評論:建議指望搜索引擎帶流量的站長不要使用此方法。不過此方法防一般的採集程序,還是有點效果的。
五、用javascript、vbscript腳本做分頁
弊端:影響搜索引擎對其收錄
採集對策:分析javascript、vbscript腳本,找出其分頁規則,自己做個對應此站的分頁集合頁即可。
建議:目前沒有好的改良建議
評論:感覺懂點腳本語言的人都能找出其分頁規則
六、只允許通過本站頁面連接查看,如:Request.ServerVariables(」HTTP_REFERER」)
弊端:影響搜索引擎對其收錄
採集對策:不知道能不能模擬網頁來源。。。。目前我沒有對應此方法的採集對策
建議:目前沒有好的改良建議
評論:建議指望搜索引擎帶流量的站長不要使用此方法。不過此方法防一般的採集程序,還是有點效果的。
從以上可以看出,目前常用的防採集方法,要麼會對搜索引擎收錄有較大影響,要麼防採集效果不好,起不到防採集的效果。那麼,還有沒有一種有效防採集,而又不影響搜索引擎收錄的方法呢?那就請繼續往下看吧,精彩的地方馬上呈獻給大家。
下面就是我的防採集策略,防採集而又不防搜索引擎
從前面的我講的採集原理大家可以看出,絕大多數採集程序都是靠分析規則來進行採集的,如分析分頁文件名規則、分析頁面代碼規則。
一、分頁文件名規則防採集對策
大部分採集器都是靠分析分頁文件名規則,進行批量、多頁採集的。如果別人找不出你的分頁文件的文件名規則,那麼別人就無法對你的網站進行批量多頁採集。
實現方法:
我認為用MD5加密分頁文件名是一個比較好的方法,說到這里,有人會說,你用MD5加密分頁文件名,別人根據此規則也可以模擬你的加密規則得到你的分頁文件名。
我要指出的是我們加密分頁文件名時,不要只加密文件名變化的部分
如果I代表分頁的頁碼,那麼我們不要這樣加密
page_name=Md5(I,16)&」.htm」
最好給要加密的頁碼上再跟進一個或多個字元,如:page_name=Md5(I&「任意一個或幾個字母」,16)&」.htm」
因為MD5是無法反解密的,別人看到的會頁字母是MD5加密後的結果,所以加人也無法知道你在 I 後面跟進的字母是什麼,除非他用暴力****MD5,不過不太現實。
二、頁面代碼規則防採集對策
如果說我們的內容頁面無代碼規則,那麼別人就無法從你的代碼中提取他們所需要的一條條內容。
所以我們要的這一步做到防採集,就要使代碼無規則。
實現方法:
使對方需要提取的標記隨機化
1、定製多個網頁模板,每個網頁模板里的重要HTML標記不同,呈現頁面內容時,隨機選取網頁模板,有的頁面用CSS+DIV布局,有的頁面用table布局,此方法是麻煩了點,一個內容頁面,要多做幾個模板頁面,不過防採集本身就是一件很煩瑣的事情,多做一個模板,能起到防採集的作用,對很多人來說,都是值得的。
2、如果嫌上面的方法太麻煩,把網頁里的重要HTML標記隨機化,也可以。
做的網頁模板越多,html代碼越是隨機化,對方分析起內容代碼時,就越麻煩,對方針對你的網站專門寫採集策略時,難度就更大,在這個時候,絕大部分人,都會知難而退,因為這此人就是因為懶,才會採集別人網站數據嘛~~~再說一下,目前大部分人都是拿別人開發的採集程序去採集數據,自己開發採集程序去採集數據的人畢竟是少數。
還有些簡單的思路提供給大家:
1、把對數據採集者重要,而對搜索引擎不重要的內容用客戶端腳本顯示
2、把一頁數據,分為N個頁面顯示,也是加大採集難度的方法
3、用更深層的連接,因為目前大部分採集程序只能採集到網站內容的前3層,如果內容所在的連接層更深,也可以避免被採集。不過這樣可能會給客戶造成瀏覽上的不便。
如:
大多網站都是 首頁—-內容索引分頁—-內容頁
如果改成:
首頁—-內容索引分頁—-內容頁入口—-內容頁
註:內容頁入口最好能加上自動轉入內容頁的代碼
5. 網站如何避免被採集呢有什麼好的方法嗎
可以設置的,叫你們的建站人員搞個代碼加密,讓別人不能採集,不能復制你們的文章就可以了。
6. php如何防止網站內容被採集
1、限制IP地址單位時間的訪問次數
分析:沒有哪個常人一秒鍾內能訪問相同網站5次,除非是程序訪問,而有這種喜好的,就剩下搜索引擎爬蟲和討厭的採集器了。
弊端:一刀切,這同樣會阻止搜索引擎對網站的收錄
適用網站:不太依靠搜索引擎的網站
採集器會怎麼做:減少單位時間的訪問次數,減低採集效率
2、屏蔽ip
分析:通過後台計數器,記錄來訪者ip和訪問頻率,人為分析來訪記錄,屏蔽可疑Ip。
弊端:似乎沒什麼弊端,就是站長忙了點
適用網站:所有網站,且站長能夠知道哪些是google或者網路的機器人
採集器會怎麼做:打游擊戰唄!利用ip代理採集一次換一次,不過會降低採集器的效率和網速(用代理嘛)。
3、利用js加密網頁內容
Note:這個方法我沒接觸過,只是從別處看來
分析:不用分析了,搜索引擎爬蟲和採集器通殺
適用網站:極度討厭搜索引擎和採集器的網站
採集器會這么做:你那麼牛,都豁出去了,他就不來采你了
4、網頁里隱藏網站版權或者一些隨機垃圾文字,這些文字風格寫在css文件中
分析:雖然不能防止採集,但是會讓採集後的內容充滿了你網站的版權說明或者一些垃圾文字,因為一般採集器不會同時採集你的css文件,那些文字沒了風格,就顯示出來了。
適用網站:所有網站
採集器會怎麼做:對於版權文字,好辦,替換掉。對於隨機的垃圾文字,沒辦法,勤快點了。
5、用戶登錄才能訪問網站內容
分析:搜索引擎爬蟲不會對每個這樣類型的網站設計登錄程序。聽說採集器可以針對某個網站設計模擬用戶登錄提交表單行為。
適用網站:極度討厭搜索引擎,且想阻止大部分採集器的網站
採集器會怎麼做:製作擬用戶登錄提交表單行為的模塊
7. 加密的數據如何採集需要破解嗎
博為101異構數據採集引擎是可以採集加密的數據的,不管傳輸是否加密了,當數據被呈現在客戶端的時候就都被解析出來了。博為101異構數據採集引擎是基於底層
數據交換
和
網路流量
進行智能採集的。
8. ASP與PHP如何防採集
你的內容如果有很多頁的話,一定程度上可以通過session 變數,把頁面的id 訪問的時間存進去,然後刪除5分鍾前訪問的頁面的id,如果發現比如有5個不同的id在session裡面。就直接返回主頁上。當然這個方法也防了一般用戶。這個限制的邏輯在於,一般用戶是不可能在x分鍾之內看超過y個界面。 x y 的定義自己來定.