python特征提取
❶ python处理图片数据
目录
1.机器是如何存储图像的？
2.在Python中读取图像数据
3.从图像数据中提取特征的方法#1：灰度像素值特征
4.从图像数据中提取特征的方法#2：通道的平均像素值
5.从图像数据中提取特征的方法#3：提取边缘
是一张数字8的图像，仔细观察就会发现，图像是由小方格组成的。这些小方格被称为像素。
但是要注意，人们是以视觉的形式观察图像的，可以轻松区分边缘和颜色，从而识别图片中的内容。然而机器很难做到这一点，它们以数字的形式存储图像。请看下图：
机器以数字矩阵的形式储存图像，矩阵大小取决于任意给定图像的像素数。
假设图像的尺寸为180 x 200或n x m，这些尺寸基本上是图像中的像素数（高x宽）。
这些数字或像素值表示像素的强度或亮度，较小的数字（接近0）表示黑色，较大的数字（接近255）表示白色。通过分析下面的图像，读者就会弄懂到目前为止所学到的知识。
下图的尺寸为22 x 16，读者可以通过计算像素数来验证：
图片源于机器学习应用课程
刚才讨论的例子是黑白图像，如果是生活中更为普遍的彩色呢？你是否认为彩色图像也以2D矩阵的形式存储？
彩色图像通常由多种颜色组成，几乎所有颜色都可以从三原色（红色，绿色和蓝色）生成。
因此，如果是彩色图像，则要用到三个矩阵（或通道）——红、绿、蓝。每个矩阵值介于0到255之间，表示该像素的颜色强度。观察下图来理解这个概念：
图片源于机器学习应用课程
左边有一幅彩色图像（人类可以看到），而在右边，红绿蓝三个颜色通道对应三个矩阵，叠加三个通道以形成彩色图像。
请注意，由于原始矩阵非常大且可视化难度较高，因此这些不是给定图像的原始像素值。此外，还可以用各种其他的格式来存储图像，RGB是最受欢迎的，所以笔者放到这里。读者可以在此处阅读更多关于其他流行格式的信息。
用Python读取图像数据
下面开始将理论知识付诸实践。启动Python并加载图像以观察矩阵：
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
from skimage.io import imread, imshow
image = imread('image_8_original.png', as_gray=True)
imshow(image)
#checking image shape
image.shape, image
（28，28）
矩阵有784个值，而且这只是整个矩阵的一小部分。用一个LIVE编码窗口，不用离开本文就可以运行上述所有代码并查看结果。
下面来深入探讨本文背后的核心思想，并探索使用像素值作为特征的各种方法。
方法#1：灰度像素值特征
从图像创建特征最简单的方法就是将原始的像素用作单独的特征。
考虑相同的示例，就是上面那张图（数字‘8’），图像尺寸为28×28。
能猜出这张图片的特征数量吗？答案是与像素数相同！也就是有784个。
那么问题来了，如何安排这784个像素作为特征呢？这样，可以简单地依次追加每个像素值从而生成特征向量。如下图所示：
下面来用Python绘制图像，并为该图像创建这些特征：
image = imread('puppy.jpeg', as_gray=True)
image.shape, imshow(image)
（650，450）
该图像尺寸为650×450，因此特征数量应为297,000。可以使用NumPy中的reshape函数生成，在其中指定图像尺寸：
#pixel features
features = np.reshape(image, (660*450))
features.shape, features
(297000,)
array([0.96470588, 0.96470588, 0.96470588, ..., 0.96862745, 0.96470588,
0.96470588])
这里就得到了特征——长度为297,000的一维数组。很简单吧？在实时编码窗口中尝试使用此方法提取特征。
但结果只有一个通道或灰度图像，对于彩色图像是否也可以这样呢？来看看吧！
方法#2：通道的平均像素值
在读取上一节中的图像时，设置了参数‘as_gray = True’，因此在图像中只有一个通道，可以轻松附加像素值。下面删除参数并再次加载图像：
image = imread('puppy.jpeg')
image.shape
(660, 450, 3)
这次，图像尺寸为（660，450，3），其中3为通道数量。可以像之前一样继续创建特征，此时特征数量将是660*450*3 = 891,000。
或者，可以使用另一种方法：
生成一个新矩阵，这个矩阵具有来自三个通道的像素平均值，而不是分别使用三个通道中的像素值。
下图可以让读者更清楚地了解这一思路：
这样一来，特征数量保持不变，并且还能考虑来自图像全部三个通道的像素值。
image = imread('puppy.jpeg')
feature_matrix = np.zeros((660,450))
feature_matrix.shape
(660, 450)
现有一个尺寸为（660×450×3）的三维矩阵，其中660为高度，450为宽度，3是通道数。为获取平均像素值，要使用for循环：
for i in range(0,iimage.shape[0]):
for j in range(0,image.shape[1]):
feature_matrix[i][j] = ((int(image[i,j,0]) + int(image[i,j,1]) + int(image[i,j,2]))/3)
新矩阵具有相同的高度和宽度，但只有一个通道。现在，可以按照与上一节相同的步骤进行操作。依次附加像素值以获得一维数组：
features = np.reshape(feature_matrix, (660*450))
features.shape
(297000,)
方法#3：提取边缘特征
请思考，在下图中，如何识别其中存在的对象：
识别出图中的对象很容易——狗、汽车、还有猫，那么在区分的时候要考虑哪些特征呢？形状是一个重要因素，其次是颜色，或者大小。如果机器也能像这样识别形状会怎么样？
类似的想法是提取边缘作为特征并将其作为模型的输入。稍微考虑一下，要如何识别图像中的边缘呢？边缘一般都是颜色急剧变化的地方，请看下图：
笔者在这里突出了两个边缘。这两处边缘之所以可以被识别是因为在图中，可以分别看到颜色从白色变为棕色，或者由棕色变为黑色。如你所知，图像以数字的形式表示，因此就要寻找哪些像素值发生了剧烈变化。
假设图像矩阵如下：
图片源于机器学习应用课程
该像素两侧的像素值差异很大，于是可以得出结论，该像素处存在显着的转变，因此其为边缘。现在问题又来了，是否一定要手动执行此步骤？
当然不！有各种可用于突出显示图像边缘的内核，刚才讨论的方法也可以使用Prewitt内核（在x方向上）来实现。以下是Prewitt内核：
获取所选像素周围的值，并将其与所选内核（Prewitt内核）相乘，然后可以添加结果值以获得最终值。由于±1已经分别存在于两列之中，因此添加这些值就相当于获取差异。
还有其他各种内核，下面是四种最常用的内核：
图片源于机器学习应用课程
现在回到笔记本，为同一图像生成边缘特征：
#importing the required libraries
import numpy as np
from skimage.io import imread, imshow
from skimage.filters import prewitt_h,prewitt_v
import matplotlib.pyplot as plt
%matplotlib inline
#reading the image
image = imread('puppy.jpeg',as_gray=True)
#calculating horizontal edges using prewitt kernel
edges_prewitt_horizontal = prewitt_h(image)
#calculating vertical edges using prewitt kernel
edges_prewitt_vertical = prewitt_v(image)
imshow(edges_prewitt_vertical, cmap='gray')
❷ 提取颜色特征并计算熵，使用python实现
正好学到这，练下手。比较晚了，所以写的比较简单，不明白了明天再说
❸ python可以用来处理图像吗
可以的，
PythonWare公司提供了免费的Python图像处理工具包PIL(Python Image Library),该软件包提供了基本的图像处理功能，如：
改变图像大小，旋转图像，图像格式转换，色场空间转换，图像增强，直方图处理，插值和滤波等等。虽然在这个软件包上要实现类似MATLAB中的复杂的图像处理算法并不太适合，但是Python的快速开发能力以及面向对象等等诸多特点使得它非常适合用来进行原型开发。
在PIL中，任何一副图像都是用一个Image对象表示，而这个类由和它同名的模块导出，因此，最简单的形式是这样的：
import Image img = Image.open(“dip.jpg”)
注意：第一行的Image是模块名；第二行的img是一个Image对象；
Image类是在Image模块中定义的。关于Image模块和Image类，切记不要混淆了。现在，我们就可以对img进行各种操作了，所有对img的
操作最终都会反映到到dip.img图像上。
PIL提供了丰富的功能模块：Image,ImageDraw,ImageEnhance,ImageFile等等。最常用到的模块是
Image,ImageDraw,ImageEnhance这三个模块。下面我对此分别做一介绍。关于其它模块的使用请参见说明文档.有关PIL软件包和
相关的说明文档可在PythonWare的站点www.Pythonware.com上获得。
Image模块：
Image模块是PIL最基本的模块，其中导出了Image类，一个Image类实例对象就对应了一副图像。同时，Image模块还提供了很多有用的函数。
（1）打开一文件：
import Image img = Image.open(“dip.jpg”)
这将返回一个Image类实例对象，后面的所有的操作都是在img上完成的。
（2）调整文件大小:
import Image img = Image.open("img.jpg") new_img = img.resize
((128,128),Image.BILINEAR) new_img.save("new_img.jpg")
原来的图像大小是256x256,现在，保存的new_img.jpg的大小是128x128。
就是这么简单，需要说明的是Image.BILINEAR指定采用双线性法对像素点插值。
在批处理或者简单的Python图像处理任务中，采用Python和PIL（Python Image Library）的组合来完成图像处理任务是一个很不错的选择。设想有一个需要对某个文件夹下的所有图像将对比度提高2倍的任务。用Python来做将是十分简单的。当然，我也不得不承认Python在图像处理方面的功能还比较弱，显然还不适合用来进行滤波、特征提取等等一些更为复杂的应用。我个人的观点是，当你要实现这些“高级”的算法的时候，好吧，把它交给MATLAB去完成。但是，如果你面对的只是一个通常的不要求很复杂算法的图像处理任务，那么，Python图像处理应该才是你的最佳搭档。
❹ Python中extract_tags()怎么对多行文本提取特征词而不是一行一行计算
[python] view plain
#coding:utf-8
import sys
reload(sys)
sys.setdefaultencoding("utf-8")
from multiprocessing import Pool,Queue,Process
import multiprocessing as mp
import time,random
import os
import codecs
import jieba.analyse
jieba.analyse.set_stop_words("yy_stop_words.txt")
def extract_keyword(input_string):
#print("Do task by process {proc}".format(proc=os.getpid()))
tags = jieba.analyse.extract_tags(input_string, topK=100)
#print("key words:{kw}".format(kw=" ".join(tags)))
return tags
#def parallel_extract_keyword(input_string,out_file):
def parallel_extract_keyword(input_string):
#print("Do task by process {proc}".format(proc=os.getpid()))
tags = jieba.analyse.extract_tags(input_string, topK=100)
#time.sleep(random.random())
#print("key words:{kw}".format(kw=" ".join(tags)))
#o_f = open(out_file,'w')
#o_f.write(" ".join(tags)+"\n")
return tags
if __name__ == "__main__":
data_file = sys.argv[1]
with codecs.open(data_file) as f:
lines = f.readlines()
f.close()
out_put = data_file.split('.')[0] +"_tags.txt"
t0 = time.time()
for line in lines:
parallel_extract_keyword(line)
#parallel_extract_keyword(line,out_put)
#extract_keyword(line)
print("串行处理花费时间{t}".format(t=time.time()-t0))
pool = Pool(processes=int(mp.cpu_count()*0.7))
t1 = time.time()
#for line in lines:
#pool.apply_async(parallel_extract_keyword,(line,out_put))
#保存处理的结果，可以方便输出到文件
res = pool.map(parallel_extract_keyword,lines)
#print("Print keywords:")
#for tag in res:
#print(" ".join(tag))
pool.close()
pool.join()
print("并行处理花费时间{t}s".format(t=time.time()-t1))
运行：
python data_process_by_multiprocess.py message.txt
message.txt是每行是一个文档，共581行，7M的数据
运行时间：
不使用sleep来挂起进程,也就是把time.sleep(random.random())注释掉，运行可以大大节省时间。
❺ python中用tensorflow怎样提取多张图片的特征
可以将多张图片按照channel拼接，用2d卷积提取特征。
拼接成3维图片，用3d卷积提取特征
❻ python 文本挖掘 怎么无监督选取特征
挖掘与文本分类的有关问题中，常采用特征选择方法。原因是文本的特征一般都是单词(term)，具有语义信息，使用特征选择找出的k维子集，仍然是单词作为特征，保留了语义信息，而特征提取则找k维新空间，将会丧失了语义信息。
❼ Python 用Keras训练卷积网络，提取的特征，如何保存，代码如下
可以用
np.savez('xxx.npz',train_labels=train_labels)加载时用
np.load('xxx.npz')
❽ python怎么从一堆数据中取数
数据存放在MySQL里面，在数据库里面查询发现有个字段的数据是JSON格式，不方便进行后续的操作，比方说：统计分析，特征提取等。所以想把这个字段里面的JSON格式数据进行解析，解析成功后，然后把以结构化表的形式存放到MySQL数据库。
具体步骤：
通过Python3连接MySQL，
获取MySQL数据集，
利用Python的相应库解析JSON格式数据，
把解析好数据放到数据框，并回存到MySQL数据库。
❾ 在Python中如何提取多个图片的特征值
importnumpyasnp
importmatplotlib.pyplotasplt
importscipy
caffe_root='/home/hser/Project/caffe/'
importsys
sys.path.insert(0,caffe_root+'python/')
importcaffe
plt.rcParams['figure.figsize']=(10,10)
plt.rcParams['image.interpolation']='nearest'
plt.rcParams['image.cmap']='gray'
net=caffe.Classifier(caffe_root+'models/bvlc_reference_caffenet/deploy.prototxt',
caffe_root+'models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel')
net.set_phase_test()
net.set_mode_cpu()
net.set_mean('data',np.load(caffe_root+'python/caffe/imagenet/ilsvrc_2012_mean.npy'))
net.set_raw_scale('data',255)
net.set_channel_swap('data',(2,1,0))
#infact,youcaninputalistofimages.
scores=net.predict([caffe.io.load_image(caffe_root+"examples/yilin/data/building.jpg"),caffe.io.load_image(caffe_root+"examples/yilin/data/thumb.jpg")])
output=open("feature.txt","w")
#printscores[0].argmax()
#print[(k,v.data.shape)fork,vinnet.blobs.items()]
#thefc6isthefc6layerfeature,data[4]meansthefivecropimages,-images.
#feat=net.blobs['fc6'].data[4]
feat=net.blobs['prob'].data[4]
plt.plot(feat.flat)
plt.show()
feat2=net.blobs['fc6'].data[14]
plt.plot(feat2.flat)
plt.show()
❿ 提取HSV颜色特征，并计算维数的熵，最后保存特征和熵，形式:图像名、特征和熵，用python实现，怎么实现
可以使用Python版的opencv 来实现。
现读取图片：
importcv2
importnumpyasnp
image=cv2.imread('./src/q5.png')
HSV=cv2.cvtColor(image,cv2.COLOR_BGR2HSV)
计算熵
img=np.array(HSV)
foriinrange(len(img)):
forjinrange(len(img[i])):
val=img[i][j]
tmp[val]=float(tmp[val]+1)
k=float(k+1)
foriinrange(len(tmp)):
tmp[i]=float(tmp[i]/k)
foriinrange(len(tmp)):
if(tmp[i]==0):
res=res
else:
res=float(res-tmp[i]*(math.log(tmp[i])/math.log(2.0)))
保存：
HSV图形可以直接存储,特征可以存xml中~
cv2.imwrite("具体路径",HSV)