python特徵提取
❶ python處理圖片數據
目錄
1.機器是如何存儲圖像的？
2.在Python中讀取圖像數據
3.從圖像數據中提取特徵的方法#1：灰度像素值特徵
4.從圖像數據中提取特徵的方法#2：通道的平均像素值
5.從圖像數據中提取特徵的方法#3：提取邊緣
是一張數字8的圖像，仔細觀察就會發現，圖像是由小方格組成的。這些小方格被稱為像素。
但是要注意，人們是以視覺的形式觀察圖像的，可以輕松區分邊緣和顏色，從而識別圖片中的內容。然而機器很難做到這一點，它們以數字的形式存儲圖像。請看下圖：
機器以數字矩陣的形式儲存圖像，矩陣大小取決於任意給定圖像的像素數。
假設圖像的尺寸為180 x 200或n x m，這些尺寸基本上是圖像中的像素數（高x寬）。
這些數字或像素值表示像素的強度或亮度，較小的數字（接近0）表示黑色，較大的數字（接近255）表示白色。通過分析下面的圖像，讀者就會弄懂到目前為止所學到的知識。
下圖的尺寸為22 x 16，讀者可以通過計算像素數來驗證：
圖片源於機器學習應用課程
剛才討論的例子是黑白圖像，如果是生活中更為普遍的彩色呢？你是否認為彩色圖像也以2D矩陣的形式存儲？
彩色圖像通常由多種顏色組成，幾乎所有顏色都可以從三原色（紅色，綠色和藍色）生成。
因此，如果是彩色圖像，則要用到三個矩陣（或通道）——紅、綠、藍。每個矩陣值介於0到255之間，表示該像素的顏色強度。觀察下圖來理解這個概念：
圖片源於機器學習應用課程
左邊有一幅彩色圖像（人類可以看到），而在右邊，紅綠藍三個顏色通道對應三個矩陣，疊加三個通道以形成彩色圖像。
請注意，由於原始矩陣非常大且可視化難度較高，因此這些不是給定圖像的原始像素值。此外，還可以用各種其他的格式來存儲圖像，RGB是最受歡迎的，所以筆者放到這里。讀者可以在此處閱讀更多關於其他流行格式的信息。
用Python讀取圖像數據
下面開始將理論知識付諸實踐。啟動Python並載入圖像以觀察矩陣：
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
from skimage.io import imread, imshow
image = imread('image_8_original.png', as_gray=True)
imshow(image)
#checking image shape
image.shape, image
（28，28）
矩陣有784個值，而且這只是整個矩陣的一小部分。用一個LIVE編碼窗口，不用離開本文就可以運行上述所有代碼並查看結果。
下面來深入探討本文背後的核心思想，並探索使用像素值作為特徵的各種方法。
方法#1：灰度像素值特徵
從圖像創建特徵最簡單的方法就是將原始的像素用作單獨的特徵。
考慮相同的示例，就是上面那張圖（數字『8』），圖像尺寸為28×28。
能猜出這張圖片的特徵數量嗎？答案是與像素數相同！也就是有784個。
那麼問題來了，如何安排這784個像素作為特徵呢？這樣，可以簡單地依次追加每個像素值從而生成特徵向量。如下圖所示：
下面來用Python繪制圖像，並為該圖像創建這些特徵：
image = imread('puppy.jpeg', as_gray=True)
image.shape, imshow(image)
（650，450）
該圖像尺寸為650×450，因此特徵數量應為297,000。可以使用NumPy中的reshape函數生成，在其中指定圖像尺寸：
#pixel features
features = np.reshape(image, (660*450))
features.shape, features
(297000,)
array([0.96470588, 0.96470588, 0.96470588, ..., 0.96862745, 0.96470588,
0.96470588])
這里就得到了特徵——長度為297,000的一維數組。很簡單吧？在實時編碼窗口中嘗試使用此方法提取特徵。
但結果只有一個通道或灰度圖像，對於彩色圖像是否也可以這樣呢？來看看吧！
方法#2：通道的平均像素值
在讀取上一節中的圖像時，設置了參數『as_gray = True』，因此在圖像中只有一個通道，可以輕松附加像素值。下面刪除參數並再次載入圖像：
image = imread('puppy.jpeg')
image.shape
(660, 450, 3)
這次，圖像尺寸為（660，450，3），其中3為通道數量。可以像之前一樣繼續創建特徵，此時特徵數量將是660*450*3 = 891,000。
或者，可以使用另一種方法：
生成一個新矩陣，這個矩陣具有來自三個通道的像素平均值，而不是分別使用三個通道中的像素值。
下圖可以讓讀者更清楚地了解這一思路：
這樣一來，特徵數量保持不變，並且還能考慮來自圖像全部三個通道的像素值。
image = imread('puppy.jpeg')
feature_matrix = np.zeros((660,450))
feature_matrix.shape
(660, 450)
現有一個尺寸為（660×450×3）的三維矩陣，其中660為高度，450為寬度，3是通道數。為獲取平均像素值，要使用for循環：
for i in range(0,iimage.shape[0]):
for j in range(0,image.shape[1]):
feature_matrix[i][j] = ((int(image[i,j,0]) + int(image[i,j,1]) + int(image[i,j,2]))/3)
新矩陣具有相同的高度和寬度，但只有一個通道。現在，可以按照與上一節相同的步驟進行操作。依次附加像素值以獲得一維數組：
features = np.reshape(feature_matrix, (660*450))
features.shape
(297000,)
方法#3：提取邊緣特徵
請思考，在下圖中，如何識別其中存在的對象：
識別出圖中的對象很容易——狗、汽車、還有貓，那麼在區分的時候要考慮哪些特徵呢？形狀是一個重要因素，其次是顏色，或者大小。如果機器也能像這樣識別形狀會怎麼樣？
類似的想法是提取邊緣作為特徵並將其作為模型的輸入。稍微考慮一下，要如何識別圖像中的邊緣呢？邊緣一般都是顏色急劇變化的地方，請看下圖：
筆者在這里突出了兩個邊緣。這兩處邊緣之所以可以被識別是因為在圖中，可以分別看到顏色從白色變為棕色，或者由棕色變為黑色。如你所知，圖像以數字的形式表示，因此就要尋找哪些像素值發生了劇烈變化。
假設圖像矩陣如下：
圖片源於機器學習應用課程
該像素兩側的像素值差異很大，於是可以得出結論，該像素處存在顯著的轉變，因此其為邊緣。現在問題又來了，是否一定要手動執行此步驟？
當然不！有各種可用於突出顯示圖像邊緣的內核，剛才討論的方法也可以使用Prewitt內核（在x方向上）來實現。以下是Prewitt內核：
獲取所選像素周圍的值，並將其與所選內核（Prewitt內核）相乘，然後可以添加結果值以獲得最終值。由於±1已經分別存在於兩列之中，因此添加這些值就相當於獲取差異。
還有其他各種內核，下面是四種最常用的內核：
圖片源於機器學習應用課程
現在回到筆記本，為同一圖像生成邊緣特徵：
#importing the required libraries
import numpy as np
from skimage.io import imread, imshow
from skimage.filters import prewitt_h,prewitt_v
import matplotlib.pyplot as plt
%matplotlib inline
#reading the image
image = imread('puppy.jpeg',as_gray=True)
#calculating horizontal edges using prewitt kernel
edges_prewitt_horizontal = prewitt_h(image)
#calculating vertical edges using prewitt kernel
edges_prewitt_vertical = prewitt_v(image)
imshow(edges_prewitt_vertical, cmap='gray')
❷ 提取顏色特徵並計算熵，使用python實現
正好學到這，練下手。比較晚了，所以寫的比較簡單，不明白了明天再說
❸ python可以用來處理圖像嗎
可以的，
PythonWare公司提供了免費的Python圖像處理工具包PIL(Python Image Library),該軟體包提供了基本的圖像處理功能，如：
改變圖像大小，旋轉圖像，圖像格式轉換，色場空間轉換，圖像增強，直方圖處理，插值和濾波等等。雖然在這個軟體包上要實現類似MATLAB中的復雜的圖像處理演算法並不太適合，但是Python的快速開發能力以及面向對象等等諸多特點使得它非常適合用來進行原型開發。
在PIL中，任何一副圖像都是用一個Image對象表示，而這個類由和它同名的模塊導出，因此，最簡單的形式是這樣的：
import Image img = Image.open(「dip.jpg」)
注意：第一行的Image是模塊名；第二行的img是一個Image對象；
Image類是在Image模塊中定義的。關於Image模塊和Image類，切記不要混淆了。現在，我們就可以對img進行各種操作了，所有對img的
操作最終都會反映到到dip.img圖像上。
PIL提供了豐富的功能模塊：Image,ImageDraw,ImageEnhance,ImageFile等等。最常用到的模塊是
Image,ImageDraw,ImageEnhance這三個模塊。下面我對此分別做一介紹。關於其它模塊的使用請參見說明文檔.有關PIL軟體包和
相關的說明文檔可在PythonWare的站點www.Pythonware.com上獲得。
Image模塊：
Image模塊是PIL最基本的模塊，其中導出了Image類，一個Image類實例對象就對應了一副圖像。同時，Image模塊還提供了很多有用的函數。
（1）打開一文件：
import Image img = Image.open(「dip.jpg」)
這將返回一個Image類實例對象，後面的所有的操作都是在img上完成的。
（2）調整文件大小:
import Image img = Image.open("img.jpg") new_img = img.resize
((128,128),Image.BILINEAR) new_img.save("new_img.jpg")
原來的圖像大小是256x256,現在，保存的new_img.jpg的大小是128x128。
就是這么簡單，需要說明的是Image.BILINEAR指定採用雙線性法對像素點插值。
在批處理或者簡單的Python圖像處理任務中，採用Python和PIL（Python Image Library）的組合來完成圖像處理任務是一個很不錯的選擇。設想有一個需要對某個文件夾下的所有圖像將對比度提高2倍的任務。用Python來做將是十分簡單的。當然，我也不得不承認Python在圖像處理方面的功能還比較弱，顯然還不適合用來進行濾波、特徵提取等等一些更為復雜的應用。我個人的觀點是，當你要實現這些「高級」的演算法的時候，好吧，把它交給MATLAB去完成。但是，如果你面對的只是一個通常的不要求很復雜演算法的圖像處理任務，那麼，Python圖像處理應該才是你的最佳搭檔。
❹ Python中extract_tags()怎麼對多行文本提取特徵詞而不是一行一行計算
[python] view plain
#coding:utf-8
import sys
reload(sys)
sys.setdefaultencoding("utf-8")
from multiprocessing import Pool,Queue,Process
import multiprocessing as mp
import time,random
import os
import codecs
import jieba.analyse
jieba.analyse.set_stop_words("yy_stop_words.txt")
def extract_keyword(input_string):
#print("Do task by process {proc}".format(proc=os.getpid()))
tags = jieba.analyse.extract_tags(input_string, topK=100)
#print("key words:{kw}".format(kw=" ".join(tags)))
return tags
#def parallel_extract_keyword(input_string,out_file):
def parallel_extract_keyword(input_string):
#print("Do task by process {proc}".format(proc=os.getpid()))
tags = jieba.analyse.extract_tags(input_string, topK=100)
#time.sleep(random.random())
#print("key words:{kw}".format(kw=" ".join(tags)))
#o_f = open(out_file,'w')
#o_f.write(" ".join(tags)+"\n")
return tags
if __name__ == "__main__":
data_file = sys.argv[1]
with codecs.open(data_file) as f:
lines = f.readlines()
f.close()
out_put = data_file.split('.')[0] +"_tags.txt"
t0 = time.time()
for line in lines:
parallel_extract_keyword(line)
#parallel_extract_keyword(line,out_put)
#extract_keyword(line)
print("串列處理花費時間{t}".format(t=time.time()-t0))
pool = Pool(processes=int(mp.cpu_count()*0.7))
t1 = time.time()
#for line in lines:
#pool.apply_async(parallel_extract_keyword,(line,out_put))
#保存處理的結果，可以方便輸出到文件
res = pool.map(parallel_extract_keyword,lines)
#print("Print keywords:")
#for tag in res:
#print(" ".join(tag))
pool.close()
pool.join()
print("並行處理花費時間{t}s".format(t=time.time()-t1))
運行：
python data_process_by_multiprocess.py message.txt
message.txt是每行是一個文檔，共581行，7M的數據
運行時間：
不使用sleep來掛起進程,也就是把time.sleep(random.random())注釋掉，運行可以大大節省時間。
❺ python中用tensorflow怎樣提取多張圖片的特徵
可以將多張圖片按照channel拼接，用2d卷積提取特徵。
拼接成3維圖片，用3d卷積提取特徵
❻ python 文本挖掘 怎麼無監督選取特徵
挖掘與文本分類的有關問題中，常採用特徵選擇方法。原因是文本的特徵一般都是單詞(term)，具有語義信息，使用特徵選擇找出的k維子集，仍然是單詞作為特徵，保留了語義信息，而特徵提取則找k維新空間，將會喪失了語義信息。
❼ Python 用Keras訓練卷積網路，提取的特徵，如何保存，代碼如下
可以用
np.savez('xxx.npz',train_labels=train_labels)載入時用
np.load('xxx.npz')
❽ python怎麼從一堆數據中取數
數據存放在MySQL裡面，在資料庫裡面查詢發現有個欄位的數據是JSON格式，不方便進行後續的操作，比方說：統計分析，特徵提取等。所以想把這個欄位裡面的JSON格式數據進行解析，解析成功後，然後把以結構化表的形式存放到MySQL資料庫。
具體步驟：
通過Python3連接MySQL，
獲取MySQL數據集，
利用Python的相應庫解析JSON格式數據，
把解析好數據放到數據框，並回存到MySQL資料庫。
❾ 在Python中如何提取多個圖片的特徵值
importnumpyasnp
importmatplotlib.pyplotasplt
importscipy
caffe_root='/home/hser/Project/caffe/'
importsys
sys.path.insert(0,caffe_root+'python/')
importcaffe
plt.rcParams['figure.figsize']=(10,10)
plt.rcParams['image.interpolation']='nearest'
plt.rcParams['image.cmap']='gray'
net=caffe.Classifier(caffe_root+'models/bvlc_reference_caffenet/deploy.prototxt',
caffe_root+'models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel')
net.set_phase_test()
net.set_mode_cpu()
net.set_mean('data',np.load(caffe_root+'python/caffe/imagenet/ilsvrc_2012_mean.npy'))
net.set_raw_scale('data',255)
net.set_channel_swap('data',(2,1,0))
#infact,youcaninputalistofimages.
scores=net.predict([caffe.io.load_image(caffe_root+"examples/yilin/data/building.jpg"),caffe.io.load_image(caffe_root+"examples/yilin/data/thumb.jpg")])
output=open("feature.txt","w")
#printscores[0].argmax()
#print[(k,v.data.shape)fork,vinnet.blobs.items()]
#thefc6isthefc6layerfeature,data[4]meansthefivecropimages,-images.
#feat=net.blobs['fc6'].data[4]
feat=net.blobs['prob'].data[4]
plt.plot(feat.flat)
plt.show()
feat2=net.blobs['fc6'].data[14]
plt.plot(feat2.flat)
plt.show()
❿ 提取HSV顏色特徵，並計算維數的熵，最後保存特徵和熵，形式:圖像名、特徵和熵，用python實現，怎麼實現
可以使用Python版的opencv 來實現。
現讀取圖片：
importcv2
importnumpyasnp
image=cv2.imread('./src/q5.png')
HSV=cv2.cvtColor(image,cv2.COLOR_BGR2HSV)
計算熵
img=np.array(HSV)
foriinrange(len(img)):
forjinrange(len(img[i])):
val=img[i][j]
tmp[val]=float(tmp[val]+1)
k=float(k+1)
foriinrange(len(tmp)):
tmp[i]=float(tmp[i]/k)
foriinrange(len(tmp)):
if(tmp[i]==0):
res=res
else:
res=float(res-tmp[i]*(math.log(tmp[i])/math.log(2.0)))
保存：
HSV圖形可以直接存儲,特徵可以存xml中~
cv2.imwrite("具體路徑",HSV)