當前位置:首頁 » 編程語言 » python爬蟲保存圖片

python爬蟲保存圖片

發布時間: 2024-04-13 03:13:58

① 如何用python做爬蟲

在我們日常上網瀏覽網頁的時候,經常會看到一些好看的圖片,我們就希望把這些圖片保存下載,或者用戶用來做桌面壁紙,或者用來做設計的素材。

我們最常規的做法就是通過滑鼠右鍵,選擇另存為。但有些圖片滑鼠右鍵的時候並沒有另存為選項,還有辦法就通過就是通過截圖工具截取下來,但這樣就降低圖片的清晰度。好吧其實你很厲害的,右鍵查看頁面源代碼。

我們可以通過python來實現這樣一個簡單的爬蟲功能,把我們想要的代碼爬取到本地。下面就看看如何使用python來實現這樣一個功能。

② 使用Python爬蟲下載圖片,得到的圖片不顯示

你需要檢查一下你的結果,看看是否請求成功了。可能伺服器返回的並不是一個圖片,但是你強制給他寫入到圖片格式文件中了,所以沒辦法顯示。
你可以通過輸出response或者使用抓包軟體來檢查。

③ python爬蟲如何創建image文件夾

有自動創建功能,也可以使用代碼。1.觀察網頁,找到img標簽;2.通過requests和BS庫來提取網頁中的img標簽;3.抓取

_mg標簽後,再把裡面的src給提取出來,接下來就可以下載圖片了;

?

?4.通過urllib的urllib.urlretrieve來下載圖片並且放進文件夾裡面(第一之前的准備工作就是獲取當前路徑然後新建一個文件夾);

?5.如果有多張圖片,不斷的重復3-4。

linux下python怎麼寫爬蟲獲取圖片

跟linux有什麼關系,python是跨平台的,爬取圖片的代碼如下:

import urllib.requestimport osimport randomdef url_open(url):
req=urllib.request.Request(url) #為請求設置user-agent,使得程序看起來更像一個人類
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0') #代理IP,使用戶能以不同IP訪問,從而防止被伺服器發現
'''iplist=['1.193.162.123:8000','1.193.162.91:8000','1.193.163.32:8000']
proxy_support=urllib.request.ProxyHandler({'http':random.choice(iplist)})
opener=urllib.request.build_opener(proxy_support)
opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.154 Safari/537.36 LBBROWSER')]

urllib.request.install_opener(opener)'''

response=urllib.request.urlopen(req)
html=response.read() return htmldef get_page(url):

html=url_open(url).decode('utf-8')
a=html.find('current-comment-page')+23
b=html.find(']',a) #print(html[a:b])
return html[a:b]def find_imgs(url):
html=url_open(url).decode('utf-8')
img_addrs=[]

a=html.find('img src=') while a!=-1:
b=html.find('.jpg',a,a+140) if b!=-1: if html[a+9]!='h':
img_addrs.append('http:'+html[a+9:b+4]) else:
img_addrs.append(html[a+9:b+4]) else:
b=a+9

a=html.find('img src=',b) for each in img_addrs:
print(each+'我的列印') return img_addrsdef save_imgs(folder,img_addrs):
for each in img_addrs: #print('one was saved')
filename=each.split('/')[-1] with open(filename,'wb') as f:
img=url_open(each)
f.write(img)def download_mm(folder='ooxx',pages=10):
os.mkdir(folder)
os.chdir(folder)

url=""
page_num=int(get_page(url)) for i in range(pages):
page_num=page_num-1
page_url=url+'page-'+str(page_num)+'#comments'
img_addrs=find_imgs(page_url)
save_imgs(folder,img_addrs)if __name__=='__main__':
download_mm()

完成

運行結果

⑤ python 如何將大量圖片的url保存到本地

你如果要保存圖片的url,直接把imgsrc寫入本地文件就可以了,urllib.request.urlretrieve(imgsrc)這個的意思是你要保存的不是圖片的url,而是要把圖片下載下來,這個是要批量爬取網站上的圖片,需要考慮網站的反爬蟲措施了。

⑥ python爬蟲 將在線html網頁中的圖片鏈接替換成本地鏈接並將html文件下載到本地

正則匹配原鏈接替換為本地路徑即可

熱點內容
apriori演算法改進 發布:2024-05-04 19:24:08 瀏覽:44
為什麼我要自己寫腳本 發布:2024-05-04 19:19:13 瀏覽:183
手機照片重命名為什麼還有文件夾 發布:2024-05-04 19:19:06 瀏覽:308
安卓手機為什麼連不上iphone的熱點 發布:2024-05-04 19:18:58 瀏覽:208
海量小文件存儲ftp 發布:2024-05-04 19:13:21 瀏覽:273
真我手機如何解除手機密碼 發布:2024-05-04 18:24:44 瀏覽:708
資料庫嵌套 發布:2024-05-04 18:24:29 瀏覽:146
豌豆莢源碼 發布:2024-05-04 18:10:54 瀏覽:117
蘋果消息的聲音安卓怎麼弄 發布:2024-05-04 18:06:23 瀏覽:555
減配配置有哪些 發布:2024-05-04 18:04:58 瀏覽:963