python爬蟲403
『壹』 python爬蟲通過header偽裝後依舊403ERROR
403是說的伺服器處理你的請求了，但是決定你沒資格獲得你請求的資源。
如果是像你說的這樣一開始有成功的，後來的請求是403的話，也有可能是伺服器那邊有throttling，你可以試試發完一個請求之後，等一段時間，然後再發下一個請求。
『貳』 python 爬蟲更換useragent後還是403，怎麼解決，代碼如下
簡單說：除了User-Agent的header之前，還可能需要其他（更有效的，能防止被對方檢測出來你是爬蟲）的header。但是具體是哪個，則需要你自己調試找出來才行。
具體如何調試找出來，有哪些header？
答：詳見我教程（此處不給貼地址，只能給你看圖，你自己搜）：
『叄』 python爬蟲在爬B站網頁時出現403錯誤，已經添加了ua還是出錯怎麼辦
403是禁止訪問，就是伺服器不讓你訪問他的網站。
爬B站需要添加虛擬的瀏覽器信息，讓伺服器以為你是真人而不是解析器。
『肆』 python 爬蟲ip被封鎖怎麼辦
從程序本身是無法解決的。
有兩個辦法：
（1）自己裝幾個虛擬機，分別不同IP在上面跑爬蟲的時候頻率別太高了，加個過程里加個 time.sleep(1)或（2），通常情況只要頻率不是太高是無法區別是正常閱讀還是爬東西的。
（2）找proxy用代理，respose發現異常就換IP
『伍』 python爬蟲，遇到403 forbidden，求助
之前做過很多爬蟲處理，其實你要懂，不是每個網站都那麼好爬蟲的。
對方：例如豆瓣為了防止訪問量過大，伺服器壓力的承受，所以就啪啪啪整個403給你（伺服器理解客戶的請求，但拒絕處理它）。
他給你返回403，就是告訴你一種狀態，根據他告訴你的態度，你作為男朋友的是不是應該改改自己的脾氣。例如，對方發現你沒有加header，對方發現你Cookies不對，或者是發現你的訪問速度過快，所以就直接block你了。
很多這樣衍生的問題，作為一個聰明的Crawler，你應該知道怎麼爬對方的東西，才讓對方伺服器把你判斷為人，而不是爬蟲程序。
總之一句，根據反饋的錯誤信息，去思考應該怎麼處理問題。這里沒有給出詳細的答案，但是你可以嘗試著去理解豆瓣的block機制。
『陸』 python爬蟲，遇到403 forbidden，求助
遇到這種情況一般是爬蟲被網站發現而禁止了，在這種情況下就要考慮爬取策略，一般有以下幾種方法，從簡單到容易：
設置ua
添加requests的headers，如refer，content length等
添加cookie
爬取過於頻繁，每爬完一個網頁sleep一段時間，一般1-5秒，越長越不容易被檢測出來，也可以考慮sleep隨機的時間
終極大殺招，模擬瀏覽器，selenium工具
具體方法自行google
『柒』 python爬蟲前奏
在瀏覽器中發送http請求的過程:
1.當用戶在瀏覽器地址欄輸入URL並按回車鍵時，瀏覽器會向HTTP伺服器發送HTTP請求。HTTP請求主要分為「獲取」和「發布」兩種方法。
2.當我們輸入網址htp://www網路。com在瀏覽器中，瀏覽器發送Request請求獲取HTP/www Bai.com的html文件，伺服器將Response文件對象發回瀏覽器。
3.瀏覽器分析響應中的HTML，發現它引用了很多其他文件，比如Images文件、CSS文件、JS文件。瀏覽器會自動再次發送一個獲取圖片、CSS文件或JS文件的請求。
4.當所有文件下載成功後，網頁將完全按照HTML語法結構顯示。
#url解釋:
URL是統一資源定位符的縮寫，統一資源定位符。
網址由以下部分組成:
scheme://host:port/path/> query-string = XXX # ancho
方案:表示訪問的協議，如http或https、ftp等。
主機:主機名、域名，如www..com。
埠:埠號。當您訪問網站時，瀏覽器默認使用埠80。
路徑:找到路徑。例如，在www.jianshu.com/trending/now,，以下趨勢/現在是路徑。
查詢字元串:查詢字元串，如www..com/s?. Wd=python，後跟Wd = python，是搜索字元串。
錨點:錨點，背景一般忽略，前端用於頁面定位。
瀏覽器中的一個ufl，瀏覽器將對這個url進行編碼。除了英文字母、數字和一些符號之外，所有其他符號都用百分號加上十六進制代碼值進行編碼。
#請求頭通用參數:
在http協議中，當向伺服器發送請求時，數據被分成三部分。第一個是把數據放在url中，第二個是把數據放在正文中(在post請求中)，第三個是把數據放在頭部。這里，我們介紹一些經常在網路爬蟲中使用的請求頭參數:
用戶代理:瀏覽器名稱。這通常用於網路爬蟲。當請求網頁時，伺服器可以通過這個參數知道哪個瀏覽器發送了請求。如果我們通過爬蟲發送請求，那麼我們的用戶代理就是Python。對於那些有反爬蟲機制的網站，很容易判斷你的請求是爬蟲。因此，我們應該始終將此值設置為某些瀏覽器的值，以偽裝我們的爬蟲。
引用者:指示當前請求來自哪個網址。這也可以作為反爬蟲技術。如果不是來自指定頁面，則不會做出相關響應。
http協議是無狀態的。也就是說，同一個人發送了兩個請求，伺服器無法知道這兩個請求是否來自同一個人。因此，此時使用cookie進行標識。一般來說，如果你想成為一個登錄後才能訪問的網站，你需要發送cookie信息。
常見的請求方法有:
在Http協議中，定義了八種請求方法。這里介紹兩種常見的請求方法，即get請求和post請求。
Get request:一般來說，get request只在從伺服器獲取數據時使用，不會對伺服器資源產生任何影響。
發布請求:發送數據(登錄)、上傳文件等。，並在會影響伺服器資源時使用post請求。
這是網站開發中常用的兩種方法。並且一般會遵循使用原則。然而，為了成為一個反爬蟲機制，一些網站和伺服器經常出於常識玩牌。應該使用get方法的請求可能必須更改為post請求，這取決於具體情況。
常見響應狀態代碼:
00:請求正常，伺服器正常最近數據。
31:永久重定向。例如，當您訪問www.jingdong.com時，您將被重定向到www.jd.com。
32:臨時重定向。例如，當訪問需要登錄的頁面時，此時沒有登錄，您將被重定向到登錄頁面。
400:在伺服器上找不到請求的網址。換句話說，盾請求ur1錯誤。
403:伺服器拒絕訪問，許可權不足。
50:伺服器內部錯誤。可能是伺服器有bug。
『捌』 關於Python爬蟲 403的錯誤
那是網站檢測到你的是爬蟲，拒絕了連接。可以減少訪問頻率，偽裝多種headers試試
『玖』 Python爬蟲採集遇到403問題怎麼辦
403是網頁狀態碼，表示訪問拒絕或者禁止訪問。
應該是你觸發到網站的反爬蟲機制了。
解決方法是：
1.偽造報文頭部user-agent（網上有詳細教程不用多說）
2.使用可用代理ip，如果你的代理不可用也會訪問不了
3.是否需要帳戶登錄，使用cookielib模塊登錄帳戶操作
4.如果以上方法還是不行，那麼你的ip已被拉入黑名單靜止訪問了。等一段時間再操作。如果等等了還是不行的話：
使用phatomjs或者selenium模塊試試。
還不行使用scrapy等爬蟲框架看看。
以上都不行，說明這網站反爬機製做的很好，爬不了了，沒法了，不過我覺得很少有這種做得很好的網站