python爬蟲模擬點擊

A. python爬網頁

1、網路爬蟲基本原理
傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列,直到滿足系統的一定
停止條件。聚焦爬蟲的工作流程較為復雜，需要根據一定的網頁分析演算法過濾與主題無關的鏈接，保留有用的鏈接並將其放入等待抓取的URL隊列。然後，它將根
據一定的搜索策略從隊列中選擇下一步要抓取的網頁URL，並重復上述過程，直到達到系統的某一條件時停止。
2、設計基本思路
正如你所說，先到微博登陸頁面模擬登錄，抓取頁面，從頁面中找出所有URL，選擇滿足要求的URL文本說明，模擬點擊這些URL，重復上面的抓取動作，直到滿足要求退出。
3、現有的項目
google project網站有一個項目叫做sinawler，就是專門的新浪微博爬蟲，用來抓取微博內容。網站上不去，這個你懂的。不過可以網路一下「python編寫的新浪微博爬蟲（現在的登陸方法見新的一則微博）「，可以找到一個參考的源碼，他是用python2寫的。如果用python3寫，其實可以使用urllib.request模擬構建一個帶cookies的瀏覽器，省去對cookies的處理，代碼可以更加簡短。
4、此外
看下網路爬蟲的網路，裡面很多比較深入的內容，比如演算法分析、策略體系，會大有幫助，從理論角度提升代碼的技術層次。