pythonlda
1. python lda 粘貼代碼後出現這樣的問題,求救
好好看代碼,不要沾別人的,一般網上的代碼只是重點代碼,不是完整代碼
2. lda得到的主題單詞分布可以用來做什麼
主題模型一般可以用來進行多兼容分類和標簽識別。
比如一篇文章描述了基於Python演算法的LDA模型實現,那麼它的標簽可能是:
「演算法理解」,「python語言」,「機器學習」等。
每個標簽可以單獨認為是文章的一個主題。假設文章LDA主題關鍵詞生成後就是上面的三個詞,就可以直接作為這篇文章的標簽了。另一種思路是,也可以作為文章的多兼容分類,即同一篇文章同時屬於多個類別。
3. python lda 主題模型 需要使用什麼包
python lda 主題模型 需要使用什麼包
數據結構是程序構成的重要部分,鏈表、樹、圖這些在用C 編程時需要仔細表達的問題在Python 中簡單了很多。在Python 中,最基本的數據結構就是數組、序列和哈希表,用它們想要表達各種常見的數據結構是非常容易的。沒了定義指針、分配內存的任務,編程變得有趣了。CORBA 是一種高級的軟體體系結構,它是語言無關平台無關的。C++、Java 等語言都有CORBA 綁定,但與它們相比,Python 的 CORBA 綁定卻容易很多,因為在程序員看來,一個 CORBA 的類和 Python 的類用起來以及實現起來並沒有什麼差別。
4. python中的lda包怎麼用
安裝
$ pip install lda --user
示例
from __future__ import division, print_function
import numpy as np
import lda
import lda.datasets
# document-term matrix
X = lda.datasets.load_reuters()
print("type(X): {}".format(type(X)))
print("shape: {}\n".format(X.shape))
print(X[:5, :5])
'''輸出:
type(X): <type 'numpy.ndarray'>
shape: (395L, 4258L)
[[ 1 0 1 0 0]
[ 7 0 2 0 0]
[ 0 0 0 1 10]
[ 6 0 1 0 0]
[ 0 0 0 2 14]]
'''
5. 用python怎樣從語句中分析人們討論的熱點
簡單一點的方法:分詞-->去除停用詞-->統計高頻詞彙
稍微復雜一點的方法:分詞-->去除停用詞-->LDA主題模型訓練-->言論主題分類並得到主題詞
更復雜一點的方法:在上一個方法的基礎上,添加「情緒識別」、「實體識別」等。
PS:建議將此問題添加到「機器學習」、「自然語言處理」話題下。
6. LDA主題模型,有人用過JGibbLDA這個lda實現么
有很多啊,python裡面都有標準的庫了,其實有了JGibbsLDA也就夠了,想要其他語言的版本,自己改寫一個吧
7. Python中用LDA計算困惑度時出現代碼錯誤,這行代碼表示模型文件名的迭代公式
LDA主題模型的評價指標是困惑度,困惑度越小,模型越好。
所以,可以跑一組實驗,看不同迭代次數對應的困惑度是多少,畫一條曲線,最小困惑度對應的迭代次數即為最佳次數。
迭代次數太少,會導致模型尚未收斂,迭代次數太多,又會浪費計算資源。
8. Python LDA降維中不能輸出指定維度(n_components)的新數據集
LDA降維後的維度區間在[1,C-1],C為特徵空間的維度,與原始特徵數n無關,對於二值分類,最多投影到1維,所以我估計你是因為這是個二分類問題,所以只能降到一維。
9. 有沒有老師了解Python用於Meta分析的工具包
Python在科學計算領域,有兩個重要的擴展模塊:Numpy和Scipy。其中Numpy是一個用python實現的科學計算包。包括:
一個強大的N維數組對象Array;
比較成熟的(廣播)函數庫;
用於整合C/C++和Fortran代碼的工具包;
實用的線性代數、傅里葉變換和隨機數生成函數。
SciPy是一個開源的Python演算法庫和數學工具包,SciPy包含的模塊有最優化、線性代數、積分、插值、特殊函數、快速傅里葉變換、信號處理和圖像處理、常微分方程求解和其他科學與工程中常用的計算。其功能與軟體MATLAB、Scilab和GNU Octave類似。
Numpy和Scipy常常結合著使用,Python大多數機器學習庫都依賴於這兩個模塊,繪圖和可視化依賴於matplotlib模塊,matplotlib的風格與matlab類似。Python機器學習庫非常多,而且大多數開源,主要有:
1.scikit-learn
scikit-learn是一個基於SciPy和Numpy的開源機器學習模塊,包括分類、回歸、聚類系列演算法,主要演算法有SVM、邏輯回歸、樸素貝葉斯、Kmeans、DBSCAN等,目前由INRI資助,偶爾Google也資助一點。
項目主頁:
https://pypi.python.org/pypi/scikit-learn/
http://scikit-learn.org/
https://github.com/scikit-learn/scikit-learn
2.NLTK
NLTK(Natural Language Toolkit)是Python的自然語言處理模塊,包括一系列的字元處理和語言統計模型。NLTK常用於學術研究和教學,應用的領域有語言學、認知科學、人工智慧、信息檢索、機器學習等。NLTK提供超過50個語料庫和詞典資源,文本處理庫包括分類、分詞、詞干提取、解析、語義推理。可穩定運行在Windows, Mac OS X和linux平台上.
項目主頁:
http://sourceforge.net/projects/nltk/
https://pypi.python.org/pypi/nltk/
http://nltk.org/
3.Mlpy
Mlpy是基於NumPy/SciPy的Python機器學習模塊,它是Cython的擴展應用。包含的機器學習演算法有:
l回歸
least squares,ridge regression, least angle regression,elastic net, kernel ridge regression,support vector machines(SVM),partial least squares(PLS)
l分類
linear discriminant analysis(LDA), Basicperceptron, Elastic Net,logistic regression, (Kernel) Support Vector Machines (SVM), Diagonal Linear Discriminant Analysis (DLDA), Golub Classifier, Parzen-based, (kernel) Fisher Discriminant Classifier, k-nearest neighbor, Iterative RELIEF, Classification Tree, Maximum Likelihood Classifier
l聚類
hierarchical clustering, Memory-saving Hierarchical Clustering,k-means
l維度約減
(Kernel)Fisher discriminant analysis(FDA), Spectral Regression Discriminant Analysis (SRDA), (kernel)Principal component analysis(PCA)
項目主頁:
http://sourceforge.net/projects/mlpy
https://mlpy.fbk.eu/
4.Shogun
Shogun是一個開源的大規模機器學習工具箱。目前Shogun的機器學習功能分為幾個部分:feature表示,feature預處理,核函數表示,核函數標准化,距離表示,分類器表示,聚類方法,分布,性能評價方法,回歸方法,結構化輸出學習器。
SHOGUN的核心由C++實現,提供Matlab、R、Octave、Python介面。主要應用在linux平台上。
項目主頁:
http://www.shogun-toolbox.org/
5.MDP
The Molar toolkit for Data Processing (MDP),用於數據處理的模塊化工具包,一個Python數據處理框架。
從用戶的觀點,MDP是能夠被整合到數據處理序列和更復雜的前饋網路結構的一批監督學習和非監督學習演算法和其他數據處理單元。計算依照速度和內存需求而高效的執行。從科學開發者的觀點,MDP是一個模塊框架,它能夠被容易地擴展。新演算法的實現是容易且直觀的。新實現的單元然後被自動地與程序庫的其餘部件進行整合。MDP在神經科學的理論研究背景下被編寫,但是它已經被設計為在使用可訓練數據處理演算法的任何情況中都是有用的。其站在用戶一邊的簡單性,各種不同的隨時可用的演算法,及應用單元的可重用性,使得它也是一個有用的教學工具。
項目主頁:
http://mdp-toolkit.sourceforge.net/
https://pypi.python.org/pypi/MDP/
10. python數據挖掘常用工具有哪幾種
python有強大的第三方庫,廣泛用於數據分析,數據挖掘、機器學習等領域,下面小編整理了python數據挖掘的一些常用庫,希望對各位小夥伴學習python數據挖掘有所幫助。
1. Numpy
能夠提供數組支持,進行矢量運算,並且高效地處理函數,線性代數處理等。提供真正的數組,比起python內置列表來說, Numpy速度更快。同時,Scipy、Matplotlib、Pandas等庫都是源於 Numpy。因為 Numpy內置函數處理數據速度與C語言同一級別,建議使用時盡量用內置函數。
2.Scipy
基於Numpy,能夠提供了真正的矩陣支持,以及大量基於矩陣的數值計算模塊,包括:插值運算,線性代數、圖像信號,快速傅里葉變換、優化處理、常微分方程求解等。
3. Pandas
源於NumPy,提供強大的數據讀寫功能,支持類似SQL的增刪改查,數據處理函數非常豐富,並且支持時間序列分析功能,靈活地對數據進行分析與探索,是python數據挖掘,必不可少的工具。
Pandas基本數據結構是Series和DataFrame。Series是序列,類似一維數組,DataFrame相當於一張二維表格,類似二維數組,DataFrame的每一列都是一個Series。
4.Matplotlib
數據可視化最常用,也是醉好用的工具之一,python中著名的繪圖庫,主要用於2維作圖,只需簡單幾行代碼可以生成各式的圖表,例如直方圖,條形圖,散點圖等,也可以進行簡單的3維繪圖。
4.Scikit-Learn
Scikit-Learn源於NumPy、Scipy和Matplotlib,是一 款功能強大的機器學習python庫,能夠提供完整的學習工具箱(數據處理,回歸,分類,聚類,預測,模型分析等),使用起來簡單。不足是沒有提供神經網路,以及深度學習等模型。
5.Keras
基於Theano的一款深度學習python庫,不僅能夠用來搭建普通神經網路,還能建各種深度學習模型,例如:自編碼器、循環神經網路、遞歸神經網路、卷積神經網路等,重要的是,運行速度幾塊,對搭建各種神經網路模型的步驟進行簡化,能夠允許普通用戶,輕松地搭建幾百個輸入節點的深層神經網路,定製程度也非常高。
6.Genism
Genism主要用來處理語言方面的任務,如文本相似度計算、LDA、Word2Vec等。
7.TensorFlow
google開源的數值計算框架,採用數據流圖的方式,可靈活搭建深度學習模型。