python英文停用词
① 如何删除“使用NLTK或者python停用词"
Nltk是python下处理语言的主要工具包，可以实现去除停用词、词性标注以及分词和分句等。
安装nltk,写python一般使用的是集成环境EPD，其中有包管理，可以在线进行安装。如果不是集成环境，可以通过pip install nltk安装。
》pip install nltk #安装nltk
》nltk.download() #弹出一个选择框，可以按照自己需要的语义或者是功能进行安装
一般要实现分词，分句，以及词性标注和去除停用词的功能时，需要安装stopwords,punkt以及
当出现LookupError时一般就是由于缺少相关模块所导致的
则是需要安装punkt，这个模块主要负责的是分词功能。同stopwords一样有两种方式安装。
② python jieba停用词该如何设置
你把你的停用词排一下序，然后再给结巴看看。
或者加两个停用词，一个河北、一个西南部。
停用词通常是很短的高频出现的词语，真实情况你这样的不多。
如果你这种情况，不妨先分词，也不去停用词。
然后自己再来后续处理。
③ python 中文切词使用停用词表问题
python中最好不要在list遍历中使用list.remove方法:
remove 仅仅 删除一个值的首次出现。
如果在 list 中没有找到值，程序会抛出一个异常
- 最后，你遍历自己时候对自己的内容进行删除操作，效率显然不高，还容易出现各种难debug的问题
建议使用新的list存储要保留的内容，然后返回这个新list。比如
a_list=[1,2,3,4,5]
needs_to_be_removed=[3,4,5]
result=[]
forvina_list:
ifvnotinneeds_to_be_removed:
result.append(v)
printresult
④ 如何用python对一个文件夹下的多个txt文本进行去停用词
在用 for 循环去停用词的部分，出错，仅去掉了 stopwords 中的部分停用词，且相同停用词只去除了一次。求大神告知错误之处，贴上代码再好不过！！
#encoding=utf-8
import sys
import re
import codecs
import os
import shutil
import jieba
import jieba.analyse
#导入自定义词典
#jieba.load_userdict("dict_.txt")
#Read file and cut
def read_file_cut():
#create path
stopwords = {}.fromkeys([ line.strip() for line in open('stopword.txt') ])
path = "Lon\\"
respath = "Lon_Result\\"
if os.path.isdir(respath): #如果respath这个路径存在
shutil.rmtree(respath, True) #则递归移除这个路径
os.makedirs(respath) #重新建立一个respath目录
num = 1
while num<=20:
name = "%d" % num
fileName = path + str(name) + ".txt"
resName = respath + str(name) + ".txt"
source = open(fileName, 'r')
if os.path.exists(resName):
os.remove(resName)
result = codecs.open(resName, 'w', 'utf-8')
line = source.readline()
line = line.rstrip('\n')
while line!="":
line = unicode(line, "utf-8")
output=''
seglist = jieba.cut(line,cut_all=False)
for seg in seglist:
seg=seg.encode('utf-8')
if seg not in stopwords:
output+=seg
output = ' '.join(list(seglist))#空格拼接
print output
result.write(output + '\r\n')
line = source.readline()
else:
print 'End file: ' + str(num)
source.close()
result.close()
num = num + 1
else:
print 'End All'
#Run function
if __name__ == '__main__':
read_file_cut()
我觉得是这样啦:
...
seglist = jieba.cut(line,cut_all=False)
seglist = (seg.encode('utf-8') for seg in seglist)
seglist = [seg for seg in seglist if seg not in stopwords]
output = ' '.join(seglist)
print output
...
不太懂你这两行的意思:
output+=seg
output = ' '.join(list(seglist))#空格拼接
每次 output 都会被设定成 ' '.join(list(seglist)) 那 output+=seg 好像就没有意义了。
⑤ 求教大神关于python 停用词如何处理
给两个示列文本
一个是jieba分词好的txt示列，一个是stopword的txt
⑥ python jieba分词如何去除停用词
-*- coding: utf-8 -*-
import jieba
import jieba.analyse
import sys
import codecs
reload(sys)
sys.setdefaultencoding('utf-8')
#使用其他编码读取停用词表
#stoplist = codecs.open('../../file/stopword.txt','r',encoding='utf8').readlines()
#stoplist = set(w.strip() for w in stoplist)
#停用词文件是utf8编码
stoplist = {}.fromkeys([ line.strip() for line in open("../../file/stopword.txt") ])
#经过分词得到的应该是unicode编码，先将其转成utf8编码
⑦ python 怎么向textblob中加停用词
把语料从数据库提取出来以后就要进行分词啦，我是在linux环境下做的，先把jieba安装好，然后找到内容是build jieba PKG-INFO setup.py test的那个文件夹（我这边是jieba-0.38），把自己的自定义词典（选用，目的是为了分出原始词库中没有的词以及优先分出一些词），停用词词典（选用），需要分词的语料文件，调用jieba的python程序都放到这个文件夹里，就可以用啦。至于词典要什么样的格式，在网上一查就可以了。
之前有看到别的例子用自定义词典替换掉jieba本身词典，但是我试了一下好像效果不行，假设原始词典中有’云‘，’计算‘而没有’云计算‘，我想要分出’云计算‘这个词，加载自定义词典可以成功，但替换原始词典就不一定成功了。（当然我说的也不一定对）
还有停用词词典，我之前是把停用词在程序里存入一个列表，然后分每个词时都循环一遍列表，这样特别浪费时间。后来把停用词做成字典就很快了。
for eachline in fin可避免memory error。如果还是报memory error，那应该就是输入语料文件单行数据多长了。
#!/usr/bin/python #-*- encoding:utf-8 -*- import jieba #导入jieba模块import re
jieba.load_userdict("newdict.txt") #加载自定义词典 import jieba.posseg as pseg
def splitSentence(inputFile, outputFile): #把停用词做成字典
stopwords = {}
fstop = open('stop_words.txt', 'r') for eachWord in fstop:
stopwords[eachWord.strip().decode('utf-8', 'ignore')] = eachWord.strip().decode('utf-8', 'ignore')
fstop.close()
fin = open(inputFile, 'r') #以读的方式打开文件
fout = open(outputFile, 'w') #以写得方式打开文件
jieba.enable_parallel(4) #并行分词
for eachLine in fin:
line = eachLine.strip().decode('utf-8', 'ignore') #去除每行首尾可能出现的空格，并转为Unicode进行处理
line1 = re.sub("[0-9s+.!/_,$%^*()?;；:-【】+"']+|[+——！，;:。？、~@#￥%……&*（）]+".decode("utf8"), "".decode("utf8"),line)
wordList = list(jieba.cut(line1)) #用结巴分词，对每行内容进行分词
outStr = ''
for word in wordList: if word not in stopwords:
outStr += word
outStr += ' '
fout.write(outStr.strip().encode('utf-8') + '
') #将分词好的结果写入到输出文件 fin.close()
fout.close()
splitSentence('ss.txt', 'tt.txt')
⑧ python怎么读
python的读法：
英式发音为['paɪθən] ；美式发音为['paɪθɑːn]
发元音时，气流从肺部通过声门冲击声带，使声带发出均匀震动，然后震音气流不受阻碍地通过口腔，通过舌、唇的调节而发出不同的声音。发元音时声带必然震动的叫浊元音。有些语言发元音时声带不振动，发出清元音。
发辅音时，气流受到发音器官的各种阻碍，声带不一定振动，不够清晰响亮的音素叫辅音。气流从肺里出来不一定振动声带，通过口腔时受到一定的阻碍，这种主要依靠阻碍发出的音叫辅音。
(8)python英文停用词扩展阅读
相关概念——
半元音（semivowel）：语音学上指摩擦似有似无，发音方式上与元音相似，介于元音和辅音之间，时长较短且被视为辅音的音。如普通话衣yī、乌wū 中的 y、w。半元音往往有对应的元音。半元音属于近音。
流音（liquid）：不属于半元音的近音。如普通话流liú 中的 l 。
近音（approximant），即接近音、无擦通音：发音时两个发音部位彼此靠拢，有足够空间予气流流动，产生的湍流较弱。（如果发音部位收窄程度加剧，湍流会产生，形成擦音。）半元音和流音都属于近音；近音属于辅音。
⑨ python英文去停用词，报错 'str' object has no attribute 'word'
你把w.word改成w就可以了
⑩ 在Python中，我有一个字典，想在字典中删除停用词表中的单词，程序应该怎么编。
en_dict={}
stop_en_dict={}
forkeyinstop_en_dict.keys():
ifkeyinen_dict:
delen_dict[key]
printen_dict