爬蟲腳本啟航

Ⅰ 你好，我想做一個搶票軟體，該從哪方面入手

做搶票軟體的話。
首先你要知道搶票軟體的原理：用程序來模擬人為操作，但是比人為操作速度更快，更精準。
第一，需要學習web前端基礎知識，你要會分析售票網站的代碼，裡面的數據是怎麼實現的，現在的網站都是靜態的框架（html+css，或者html5），動態的數據（利用javascript實現）。
第二，在第一的基礎之上，需要學習編程語言，利用編程語言寫爬蟲腳本，你可以用python語言或者其他編程語言寫腳本都可以，只要能爬取售票網站的數據就行了。根據售票網站的代碼格局，設計好專項的爬蟲程序，不斷的調試再調試，如果你想把你的爬蟲腳本打包成軟體，還要稍微的學習一下，打包成只是windows平台的還是Linux平台的，還是MACOS（蘋果電腦系統）平台的，還是移動操作平台（手機，安卓還是蘋果），不同的平台下打包也不同，做出來後還要不斷的測試直到沒問題，再考慮怎麼將軟體上線，這些等等的就不細說了，這個階段需要耗費些精力了
第三，現在很多網站的防爬蟲機制都很強，售票網站的防爬機制更強，所以你需要設計好代碼，防止被防爬蟲機制把你的程序防下來，這個階段其實可以放在你學爬蟲的階段里一起學習，這個是至關重要的階段
第四，你需要順應時代的變化，經驗而談，售票網站都會定期更新，所以你寫的爬蟲腳本也要跟著改變。長久下來，如果你做的很好，那麼你基本也算IT圈內人了。
不過說句實話，做搶票軟體國內市場里也只在春運時期有點作用，平常時間基本沒什麼人用，官方直接就可以買的，而且這門檻說高不高，說低不低，搶票行里目前已經有很多比較成熟的搶票軟體存在了，你要做就必須體現出與那些成熟的app很明顯的不同，以及很明顯的優勢你才能夠分一杯羹，不然也搞不出什麼。不要聽人搞搶票很賺錢，這一行，始終不是長久的，畢竟和黃牛黨很類似，不算多麼正規的。
還有，說句實在話，可能不太好聽，如果哥們你只是腦子一熱想搞這個的，沒有絕對的毅力，我勸你別趟這渾水。
以上全是經驗而談，實話實說

Ⅱ 油猴爬蟲方案

目前很多知名的網站都增加一些反爬蟲手段，使得編寫爬蟲時並不那麼理想，有些網站很難破解其反爬技術。如利用puppeteer技術操作頁面時，往往出現一些載入異常，容易被網站檢測程序探測到而拒絕響應。

瀏覽器擴展程序油猴(tampermonkey)似乎可以做很多事件，對分析網頁與事件處理有大的能力空間。由於油猴是在用戶手動打開的瀏覽器下運行的，完全是與真人操作類似，可能不那麼容易被檢測到。

思路是這樣的：

第一步：人工啟動瀏覽器，導航到要抓取數據的頁面；（這一步是唯一人工干擾的）

第二步：油猴自動啟動，分析頁面，處理頁面數據；

第三步：將獲得的數據通過GM_xmlhttpRequest介面推送到後台數據接收服務，將數據入庫；

第三步：獲得「下一頁」標簽元素，觸發下一頁請求；返回第二步重復運行；

第四步：沒有「下一頁」時，程序退出。

上述方案的缺點很明顯，那就是第一步必須是人工啟動瀏覽，導航到具體頁面，沒有計劃任務。

當然這不是大問題，還是利用油猴，編寫一個計劃任務的腳本來解決上述問題，即利用js定時器，觸發指定的頁面。更進一步，我們有好多爬蟲腳本，這時我們就做一個任務隊列，讓js定時器通過導航到指定頁面來啟動對應的js腳本。js定時器的@match值為 http://*/* 。

具體做法是：

一、編輯js定時器(計劃任務)，實現定時打開指定網站；

二、讓瀏覽器始終打開；

三、部分需要登錄的網站，先行登錄；並讓定時器第間隔一段時間（如半小時）刷新一下網站的一個非數據頁面。

四、爬蟲腳本執行完後，盡量關閉頁簽，以節省電腦資源。

Ⅲ 4.python爬蟲之新建 scrapy 爬蟲項目(抓取和保存)

1.win10 下 win + r 打開cmd 切換新項目的目錄
2.新建scrapy項目的命令:

可以利用pycharm 打開項目文件夾編輯項目
3.items.py
聲明爬取的欄位

4.新建scrapy 爬蟲

用命令 scrapy genspider doubanmovie "movie.douban.com" 創建爬蟲。

5.運行爬蟲

5.1 創建運行腳本
(一)、在 scrapy.cfg 同級目錄下創建 pycharm 調試腳本 run.py，避免每次運行爬蟲輸入密碼,內容如下：

6.修改robottxt協議
修改 settings 中的 ROBOTSTXT_OBEY = True 參數為 False,因為默認為 True，就是要遵守 robots.txt 的規則， robots.txt 是遵循 Robot協議 的一個文件，它保存在網站的伺服器中，它的作用是，告訴搜索引擎爬蟲，本網站哪些目錄下的網頁不希望你進行爬取收錄。在 Scrapy 啟動後，會在第一時間訪問網站的 robots.txt 文件，然後決定該網站的爬取范圍。查看 robots.txt 可以直接網址後接 robots.txt 即可。

一般構建爬蟲系統，建議自己編寫Item Pipeline,就可以在open(path)選擇自己的保存路徑
參考: # scrapy爬蟲事件以及數據保存為txt,json,mysql

7.1保存為json格式時出現亂碼的解決方式:
scrapy抓取豆瓣書籍保存json文件亂碼問題
中文默認是Unicode,如:

\u5317\u4eac\u5927\u5b66
在setting文件settings.py中設置：

就可以解決了
第二種解決辦法
或在cmd中傳入 -s FEED_EXPORT_ENCODING='utf-8'

參考: https://www.cnblogs.com/tinghai8/p/9700300.html

Ⅳ 什麼是網路爬蟲以及怎麼做它

網路爬蟲：是一種按照一定的規則，自動的抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻，自動索引，模擬程序或者蠕蟲。

做法：傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列,直到滿足系統的一定停止條件。聚焦爬蟲的工作流程較為復雜，需要根據一定的網頁分析演算法過濾與主題無關的鏈接，保留有用的鏈接並將其放入等待抓取的URL隊列。然後，它將根據一定的搜索策略從隊列中選擇下一步要抓取的網頁URL，並重復上述過程，直到達到系統的某一條件時停止。另外，所有被爬蟲抓取的網頁將會被系統存貯，進行一定的分析、過濾，並建立索引，以便之後的查詢和檢索；對於聚焦爬蟲來說，這一過程所得到的分析結果還可能對以後的抓取過程給出反饋和指導。

Ⅳ Python爬取知乎與我所理解的爬蟲與反爬蟲

關於知乎驗證碼登陸的問題，用到了Python上一個重要的圖片處理庫PIL,如果不行，就把圖片存到本地，手動輸入。

通過對知乎登陸是的抓包，可以發現登陸知乎，需要post三個參數，一個是賬號，一個是密碼，一個是xrsf。
這個xrsf隱藏在表單裡面，每次登陸的時候，應該是伺服器隨機產生一個字元串。所有，要模擬登陸的時候，必須要拿到xrsf。

用chrome （或者火狐 httpfox 抓包分析）的結果：

所以，必須要拿到xsrf的數值，注意這是一個動態變化的參數，每次都不一樣。

拿到xsrf，下面就可以模擬登陸了。
使用requests庫的session對象，建立一個會話的好處是，可以把同一個用戶的不同請求聯系起來，直到會話結束都會自動處理cookies。

注意：cookies 是當前目錄的一個文件，這個文件保存了知乎的cookie，如果是第一個登陸，那麼當然是沒有這個文件的，不能通過cookie文件來登陸。必須要輸入密碼。

這是登陸的函數，通過login函數來登陸，post 自己的賬號，密碼和xrsf 到知乎登陸認證的頁面上去，然後得到cookie，將cookie保存到當前目錄下的文件裡面。下次登陸的時候，直接讀取這個cookie文件。

這是cookie文件的內容

以下是源碼：

運行結果：

https://github.com/zhaozhengcoder/Spider/tree/master/spider_hu

反爬蟲最基本的策略：

爬蟲策略：
這兩個都是在http協議的報文段的檢查，同樣爬蟲端可以很方便的設置這些欄位的值，來欺騙伺服器。

反爬蟲進階策略：
1.像知乎一樣，在登錄的表單裡面放入一個隱藏欄位，裡面會有一個隨機數，每次都不一樣，這樣除非你的爬蟲腳本能夠解析這個隨機數，否則下次爬的時候就不行了。
2.記錄訪問的ip，統計訪問次數，如果次數太高，可以認為這個ip有問題。

爬蟲進階策略：
1.像這篇文章提到的，爬蟲也可以先解析一下隱藏欄位的值，然後再進行模擬登錄。
2.爬蟲可以使用ip代理池的方式，來避免被發現。同時，也可以爬一會休息一會的方式來降低頻率。另外，伺服器根據ip訪問次數來進行反爬，再ipv6沒有全面普及的時代，這個策略會很容易造成誤傷。（這個是我個人的理解）。

通過Cookie限制進行反爬蟲：
和Headers校驗的反爬蟲機制類似，當用戶向目標網站發送請求時，會再請求數據中攜帶Cookie，網站通過校驗請求信息是否存在Cookie，以及校驗Cookie的值來判定發起訪問請求的到底是真實的用戶還是爬蟲，第一次打開網頁會生成一個隨機cookie，如果再次打開網頁這個Cookie不存在，那麼再次設置，第三次打開仍然不存在，這就非常有可能是爬蟲在工作了。

反爬蟲進進階策略：
1.數據投毒，伺服器在自己的頁面上放置很多隱藏的url，這些url存在於html文件文件裡面，但是通過css或者js使他們不會被顯示在用戶看到的頁面上面。（確保用戶點擊不到）。那麼，爬蟲在爬取網頁的時候，很用可能取訪問這個url，伺服器可以100%的認為這是爬蟲乾的，然後可以返回給他一些錯誤的數據，或者是拒絕響應。

爬蟲進進階策略：
1.各個網站雖然需要反爬蟲，但是不能夠把網路，谷歌這樣的搜索引擎的爬蟲給幹了（幹了的話，你的網站在網路都說搜不到！）。這樣爬蟲應該就可以冒充是網路的爬蟲去爬。（但是ip也許可能被識破，因為你的ip並不是網路的ip）

反爬蟲進進進階策略：
給個驗證碼，讓你輸入以後才能登錄，登錄之後，才能訪問。

爬蟲進進進階策略：
圖像識別，機器學習，識別驗證碼。不過這個應該比較難，或者說成本比較高。

參考資料：
廖雪峰的python教程
靜覓的python教程
requests庫官方文檔
segmentfault上面有一個人的關於知乎爬蟲的博客，找不到鏈接了

Ⅵ python中，進行爬蟲抓取怎麼樣能夠使用代理IP

網路數據量越來越大，從網頁中獲取信息變得越來越困難，如何有效地抓取並利用信息，已成為網路爬蟲一個巨大的挑戰。下面IPIDEA為大家講明爬蟲代理IP的使用方法。

1.利用爬蟲腳本每天定時爬取代理網站上的ip，寫入MongoDB或者其他的資料庫中，這張表作為原始表。

2.使用之前需要做一步測試，就是測試這個ip是否有效，方法就是利用curl訪問一個網站查看返回值，需要創建一張新表，循環讀取原始表有效則插入，驗證之後將其從原始表中刪除，驗證的同時能夠利用響應時間來計算這個ip的質量，和最大使用次數，有一個演算法能夠參考一種基於連接代理優化管理的多線程網路爬蟲處理方法。

3.把有效的ip寫入ip代理池的配置文件，重新載入配置文件。

4.讓爬蟲程序去指定的dailiy的服務ip和埠，進行爬取。