學習圖像演算法

『壹』 零基礎入行圖像演算法工程師需要學習哪些課程

零基礎入行 圖像演算法工程師課程（只說課程）：
1 計算機方面：《c語言》，《數據結構》
2 演算法理論方面：《高等數學》《概率論》《矩陣論》或《線性代數》 《最優化方法》 《模式識別》 《數字圖像處理》《matlab圖像處理與模式識別》等
另外：學習圖像，最好先從matlab或者python入門，然後再用c。
以上就夠了，電子書網上應該能搜索到。

『貳』 圖像識別演算法都有哪些

圖像識別，是指利用計算機對圖像進行處理、分析和理解，以識別各種不同模式的目標和對像的技術。一般工業使用中，採用工業相機拍攝圖片，然後再利用軟體根據圖片灰階差做進一步識別處理，圖像識別軟體國外代表的有康耐視等，國內代表的有圖智能等。另外在地理學中指將遙感圖像進行分類的技術。

『叄』 圖像分割演算法總結

       圖像處理的很多任務都離不開圖像分割。因為圖像分割在cv中實在太重要(有用)了，就先把圖像分割的常用演算法做個總結。

        接觸機器學習和深度學習時間已經不短了。期間看過各種相關知識但從未總結過。本文過後我會盡可能詳細的從工程角度來總結，從傳統機器學習演算法，傳統計算機視覺庫演算法到深度學習目前常用演算法和論文，以及模型在各平台的轉化，量化，服務化部署等相關知識總結。

        圖像分割常用演算法大致分為下面幾類。由於圖像的能量范函，邊緣追蹤等方法的效果往往只能解決特定問題，效果並不理想，這里不再闡述。當然二值化本身也可以分割一些簡單圖像的。但是二值化演算法較多，我會專門做一個文章來總結。這里不再贅述。

        1.基於邊緣的圖像分割演算法：

            有利用圖像梯度的傳統演算法運算元的sobel，roberts，prewitt,拉普拉斯以及canny等。

            這些演算法的基本思想都是採用合適的卷積運算元，對圖像做卷積。從而求出圖像對應的梯度圖像。(至於為什麼通過如圖1這樣的運算元卷積，即可得到圖像的梯度圖像，請讀者復習下卷積和倒數的概念自行推導)由於圖像的邊緣處往往是圖像像素差異較大，梯度較大地方。因此我們通過合適的卷積核得到圖像的梯度圖像，即得到了圖像的邊緣圖像。至於二階運算元的推導，與一階類似。優點：傳統運算元梯度檢測，只需要用合適的卷積核做卷積，即可快速得出對應的邊緣圖像。缺點：圖像邊緣不一定準確，復雜圖像的梯度不僅僅出現在圖像邊緣，可以能出現在圖像內部的色彩和紋理上。

             也有基於深度學習方法hed，rcf等。由於這類網路都有同一個比較嚴重的缺陷，這里只舉例hed網路。hed是基於FCN和VGG改進，同時引出6個loss進行優化訓練，通過多個層輸出不同scale的粒度的邊緣，然後通過一個訓練權重融合各個層的邊緣結果。hed網路結構如下：

可以得到一個比較完整的梯度圖像，可參考github的hed實現。優點：圖像的梯度細節和邊緣完整性，相比傳統的邊緣運算元要好很多。但是hed對於邊緣的圖像內部的邊緣並不能很好的區分。當然我們可以自行更改loss來嘗試只擬合外部的圖像邊緣。但最致命的問題在於，基於vgg的hed的網路表達能力有限，對於圖像和背景接近，或者圖像和背景部分相融的圖片，hed似乎就有點無能為力了。

        2.基於區域分割的演算法：

            區域分割比較常用的如傳統的演算法結合遺傳演算法，區域生長演算法，區域分裂合並，分水嶺演算法等。這里傳統演算法的思路是比較簡單易懂的，如果有無法理解的地方，歡迎大家一起討論學習。這里不再做過多的分析。

            基於區域和語意的深度學習分割演算法，是目前圖像分割成果較多和研究的主要方向。例如FCN系列的全卷積網路，以及經典的醫學圖像分割常用的unet系列，以及rcnn系列發展下的maskrcnn，以及18年底的PAnet。基於語意的圖像分割技術，無疑會成為圖像分割技術的主流。

            其中，基於深度學習語意的其他相關演算法也可以間接或直接的應用到圖像分割。如經典的圖像matting問題。18年又出現了許多非常優秀的演算法和論文。如Deep-Image-Matting，以及效果非常優秀的MIT的 semantic soft segmentation(sss).

            基於語意的圖像分割效果明顯要好於其他的傳統演算法。我在解決圖像分割的問題時，首先嘗試用了hed網路。最後的效果並不理想。雖然也參考github，做了hed的一些fine-tune,但是還是上面提到的原因，在我多次嘗試後，最終放棄。轉而適用FCN系列的網路。但是fcn也無法解決圖像和背景相融的問題。圖片相融的分割，感覺即需要大的感受野，又需要未相融部分原圖像細節，所以單原FCN的網路，很難做出准確的分割。中間還測試過很多其他相關的網路，但都效果不佳。考慮到感受野和原圖像細節，嘗試了resnet和densenet作為圖像特徵提取的底層。最終我測試了unet系列的網路：

                unet的原始模型如圖所示。在自己拍照爬蟲等手段採集了將近1000張圖片。去掉了圖片質量太差的，圖片內容太過類似的。爬蟲最終收集160多張，自己拍照收集200張圖片後，又用ps手動p了邊緣圖像，採用圖像增強變換，大約有300*24張圖片。原生unet網路的表現比較一般。在將unet普通的卷積層改為resnet後，網路的表達能力明顯提升。在將resnet改為resnet101，此時，即使對於部分相融的圖像，也能較好的分割了。但是unet的模型體積已經不能接受。

                在最後階段，看到maskrcnn的實例分割。maskrcnn一路由rcnn,fasterrcnn發展過來。於是用maskrcnn來加入自己的訓練數據和label圖像進行訓練。maskrcnn的結果表現並不令人滿意，對於邊緣的定位，相比於其他演算法，略顯粗糙。在產品應用中，明顯還不合適。                

        3.基於圖的分割演算法

            基於深度學習的deepgrab,效果表現並不是十分理想。deepgrab的git作者backbone採用了deeplabv2的網路結構。並沒有完全安裝原論文來做。

論文原地址參考： https://arxiv.org/pdf/1707.00243.pdf

整體結構類似於encode和decoder。並沒有太仔細的研究，因為基於resent101的結構，在模型體積，速度以及deeplab的分割精度上，都不能滿足當前的需求。之前大致總結過計算機視覺的相關知識點，既然目前在討論移動端模型，那後面就分模塊總結下移動端模型的應用落地吧。

由於時間實在有限。這里並沒有針對每個演算法進行詳細的講解。後續我會從基礎的機器學習演算法開始總結。

『肆』 圖像處理的演算法有哪些

圖像處理基本演算法操作從處理對象的多少可以有如下劃分：
一）點運算：處理點單元信息的運算
二）群運算：處理群單元 （若干個相鄰點的集合）的運算
1.二值化操作
圖像二值化是圖像處理中十分常見且重要的操作，它是將灰度圖像轉換為二值圖像或灰度圖像的過程。二值化操作有很多種，例如一般二值化、翻轉二值化、截斷二值化、置零二值化、置零翻轉二值化。
2.直方圖處理
直方圖是圖像處理中另一重要處理過程，它反映圖像中不同像素值的統計信息。從這句話我們可以了解到直方圖信息僅反映灰度統計信息，與像素具體位置沒有關系。這一重要特性在許多識別類演算法中直方圖處理起到關鍵作用。
3.模板卷積運算
模板運算是圖像處理中使用頻率相當高的一種運算，很多操作可以歸結為模板運算，例如平滑處理，濾波處理以及邊緣特徵提取處理等。這里需要說明的是模板運算所使用的模板通常說來就是NXN的矩陣（N一般為奇數如3,5,7,...），如果這個矩陣是對稱矩陣那麼這個模板也稱為卷積模板，如果不對稱則是一般的運算模板。我們通常使用的模板一般都是卷積模板。如邊緣提取中的Sobel運算元模板。

『伍』 [圖像演算法]-Faster RCNN詳解

paper： Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
Tensorflow-faster r-cnn github: Tensorflow Faster RCNN for Object Detection

faster rcnn是何凱明等大神在2015年提出目標檢測演算法，該演算法在2015年的ILSVRV和COCO競賽中獲得多項第一。該演算法在fast rcnn基礎上提出了RPN候選框生成演算法，使得目標檢測速度大大提高。

(1)image input；
(2)利用selective search 演算法在圖像中從上到下提取2000個左右的Region Proposal；
(3)將每個Region Proposal縮放(warp)成227*227的大小並輸入到CNN，將CNN的fc7層的輸出作為特徵；
(4)將每個Region Proposal提取的CNN特徵輸入到SVM進行分類；
(5)對於SVM分好類的Region Proposal做邊框回歸，用Bounding box回歸值校正原來的建議窗口，生成預測窗口坐標.
缺陷:
(1) 訓練分為多個階段，步驟繁瑣：微調網路+訓練SVM+訓練邊框回歸器；
(2) 訓練耗時，佔用磁碟空間大；5000張圖像產生幾百G的特徵文件；
(3) 速度慢：使用GPU，VGG16模型處理一張圖像需要47s；
(4) 測試速度慢：每個候選區域需要運行整個前向CNN計算；
(5) SVM和回歸是事後操作，在SVM和回歸過程中CNN特徵沒有被學習更新.

(1)image input；
(2)利用selective search 演算法在圖像中從上到下提取2000個左右的建議窗口(Region Proposal)；
(3)將整張圖片輸入CNN，進行特徵提取；
(4)把建議窗口映射到CNN的最後一層卷積feature map上；
(5)通過RoI pooling層使每個建議窗口生成固定尺寸的feature map；
(6)利用Softmax Loss(探測分類概率) 和Smooth L1 Loss(探測邊框回歸)對分類概率和邊框回歸(Bounding box regression)聯合訓練.

相比R-CNN，主要兩處不同:
(1)最後一層卷積層後加了一個ROI pooling layer；
(2)損失函數使用了多任務損失函數(multi-task loss)，將邊框回歸直接加入到CNN網路中訓練
改進:
(1) 測試時速度慢：R-CNN把一張圖像分解成大量的建議框，每個建議框拉伸形成的圖像都會單獨通過CNN提取特徵.實際上這些建議框之間大量重疊，特徵值之間完全可以共享，造成了運算能力的浪費.
FAST-RCNN將整張圖像歸一化後直接送入CNN，在最後的卷積層輸出的feature map上，加入建議框信息，使得在此之前的CNN運算得以共享.
(2) 訓練時速度慢：R-CNN在訓練時，是在採用SVM分類之前，把通過CNN提取的特徵存儲在硬碟上.這種方法造成了訓練性能低下，因為在硬碟上大量的讀寫數據會造成訓練速度緩慢.
FAST-RCNN在訓練時，只需要將一張圖像送入網路，每張圖像一次性地提取CNN特徵和建議區域，訓練數據在GPU內存里直接進Loss層，這樣候選區域的前幾層特徵不需要再重復計算且不再需要把大量數據存儲在硬碟上.
(3) 訓練所需空間大：R-CNN中獨立的SVM分類器和回歸器需要大量特徵作為訓練樣本，需要大量的硬碟空間.FAST-RCNN把類別判斷和位置回歸統一用深度網路實現，不再需要額外存儲.
(4) 由於ROI pooling的提出，不需要再input進行Corp和wrap操作，避免像素的損失，巧妙解決了尺度縮放的問題.

(1)輸入測試圖像；
(2)將整張圖片輸入CNN，進行特徵提取；
(3)用RPN先生成一堆Anchor box，對其進行裁剪過濾後通過softmax判斷anchors屬於前景(foreground)或者後景(background)，即是物體or不是物體，所以這是一個二分類；同時，另一分支bounding box regression修正anchor box，形成較精確的proposal（註：這里的較精確是相對於後面全連接層的再一次box regression而言）
(4)把建議窗口映射到CNN的最後一層卷積feature map上；
(5)通過RoI pooling層使每個RoI生成固定尺寸的feature map；
(6)利用Softmax Loss(探測分類概率) 和Smooth L1 Loss(探測邊框回歸)對分類概率和邊框回歸(Bounding box regression)聯合訓練.

相比FASTER-RCNN，主要兩處不同:
(1)使用RPN(Region Proposal Network)代替原來的Selective Search方法產生建議窗口；
(2)產生建議窗口的CNN和目標檢測的CNN共享

改進:
(1) 如何高效快速產生建議框？
FASTER-RCNN創造性地採用卷積網路自行產生建議框，並且和目標檢測網路共享卷積網路，使得建議框數目從原有的約2000個減少為300個，且建議框的質量也有本質的提高.

從上面的三張圖可以看出，Faster R CNN由下面幾部分組成：
1.數據集，image input
2.卷積層CNN等基礎網路，提取特徵得到feature map
3-1.RPN層，再在經過卷積層提取到的feature map上用一個3x3的slide window，去遍歷整個feature map,在遍歷過程中每個window中心按rate，scale（1:2,1:1,2:1）生成9個anchors，然後再利用全連接對每個anchors做二分類（是前景還是背景）和初步bbox regression，最後輸出比較精確的300個ROIs。
3-2.把經過卷積層feature map用ROI pooling固定全連接層的輸入維度。
4.然後把經過RPN輸出的rois映射到ROIpooling的feature map上進行bbox回歸和分類。

SPP-Net是出自論文《Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition》
由於一般的網路結構中都伴隨全連接層，全連接層的參數就和輸入圖像大小有關，因為它要把輸入的所有像素點連接起來,需要指定輸入層神經元個數和輸出層神經元個數，所以需要規定輸入的feature的大小。而SPP-NET正好解決了這個問題。

如果原圖輸入是224x224，對於conv5出來後的輸出，是13x13x256的，可以理解成有256個這樣的filter，每個filter對應一張13x13的activation map.如果像上圖那樣將activation map pooling成4x4 2x2 1x1三張子圖，做max pooling後，出來的特徵就是固定長度的(16+4+1)x256那麼多的維度了.如果原圖的輸入不是224x224，出來的特徵依然是(16+4+1)x256；直覺地說，可以理解成將原來固定大小為(3x3)窗口的pool5改成了自適應窗口大小，窗口的大小和activation map成比例，保證了經過pooling後出來的feature的長度是一致的.

總結而言，當網路輸入的是一張任意大小的圖片，這個時候我們可以一直進行卷積、池化，直到網路的倒數幾層的時候，也就是我們即將與全連接層連接的時候，就要使用金字塔池化，使得任意大小的特徵圖都能夠轉換成固定大小的特徵向量，這就是空間金字塔池化的意義（多尺度特徵提取出固定大小的特徵向量）。

ROI pooling layer實際上是SPP-NET的一個精簡版，SPP-NET對每個proposal使用了不同大小的金字塔映射，而ROI pooling layer只需要下采樣到一個7x7的特徵圖.對於VGG16網路conv5_3有512個特徵圖，這樣所有region proposal對應了一個7*7*512維度的特徵向量作為全連接層的輸入.

為什麼要pooling成7×7的尺度？是為了能夠共享權重。Faster RCNN除了用到VGG前幾層的卷積之外，最後的全連接層也可以繼續利用。當所有的RoIs都被pooling成（512\×7\×7）的feature map後，將它reshape 成一個一維的向量，就可以利用VGG16預訓練的權重，初始化前兩層全連接.

那麼經過何種變換才能從圖11中的窗口P變為窗口呢？比較簡單的思路就是：

注意：只有當Proposal和Ground Truth比較接近時（線性問題），我們才能將其作為訓練樣本訓練我們的線性回歸模型，否則會導致訓練的回歸模型不work（當Proposal跟GT離得較遠，就是復雜的非線性問題了，此時用線性回歸建模顯然不合理）.這個也是G-CNN: an Iterative Grid Based Object Detector多次迭代實現目標准確定位的關鍵. 線性回歸就是給定輸入的特徵向量X，學習一組參數W，使得經過線性回歸後的值跟真實值Y(Ground Truth)非常接近.即.那麼Bounding-box中我們的輸入以及輸出分別是什麼呢？

如上圖中標識：
① rpn_cls：60*40*512-d ⊕ 1*1*512*18 > 60*40*92 逐像素對其9個Anchor box進行二分類
② rpn_bbox：60*40*512-d ⊕ 1*1*512*36>60*40*9*4 逐像素得到其9個Anchor box四個坐標信息

逐像素對Anchors分類標記
① 去除掉超過1000*600這原圖的邊界的anchor box
② 如果anchor box與ground truth的IoU值最大，標記為正樣本，label=1
③ 如果anchor box與ground truth的IoU>0.7，標記為正樣本，label=1
④ 如果anchor box與ground truth的IoU<0.3，標記為負樣本，label=0
剩下的既不是正樣本也不是負樣本，不用於最終訓練，label=-1

逐像素Bbox回歸糾正
除了對anchor box進行標記外，另一件事情就是計算anchor box與ground truth之間的偏移量
令：ground truth:標定的框也對應一個中心點位置坐標x ,y 和寬高w ,h
anchor box: 中心點位置坐標x_a,y_a和寬高w_a,h_a
所以，偏移量：
△x=(x -x_a)/w_a △y=(y -y_a)/h_a
△w=log(w /w_a) △h=log(h /h_a)
通過ground truth box與預測的anchor box之間的差異來進行學習，從而是RPN網路中的權重能夠學習到預測box的能力

接著進一步對Anchors進行越界剔除和使用nms非最大值抑制，剔除掉重疊的框；比如，設定IoU為0.7的閾值，即僅保留覆蓋率不超過0.7的局部最大分數的box（粗篩）。最後留下大約2000個anchor，然後再取前N個box（比如300個）；這樣，進入到下一層ROI Pooling時region proposal大約只有300個。

參考文獻：

『陸』 想了解學習一下圖像演算法， 零基礎小白，不會什麼代碼的! 求大神推薦書籍，資料讓我入入門!

關於計算機圖像處理專業方面的演算法知識，由於涉及到較多的數學方面理論知識，所以如果自己真的是沒有扎實的數學基礎，只憑靠自己的興趣閱讀相關書籍來學習圖像演算法，那是非常困難的。我的建議最好還是去相關的系別至少：旁聽一些相關的數學課程和計算機圖像處理的課程，這樣對學習計算機圖像處理方面的知識效率是最高的。

『柒』 學習fpga需要多久多少程度才能搞到圖像處理和圖像演算法

FPGA范圍比較廣，從編程到製版到調試到生產都可以算到裡面。既然你是想搞演算法，我就幫你盡量跳過FPGA費時費力不出成績的底層鑽研階段。
如果你只是想做演算法而不是做應用，只需要了解FPGA的優勢和實現原理，10-30天學習FPGA基礎語法，這部分跟C比較相似應該能很快入門，這時候你差不多就了解FPGA跟CPU的區別和優勢了，然後把重點放在演算法研究上。根據演算法復雜度研究時間不定。
比如圖像處理，FPGA的優勢在於可以一個時鍾周期處理多個點或者矩陣，這時候你的演算法就要偏向於怎麼讓不同點或者矩陣之間的運算盡量獨立沒有前後相關性。速度上4Ghz的CPU一次處理16個點速度就是64G點每秒，FPGA看資源如果一次可以處理1000點，200MHZ的速度就是200G點每秒，這圖像處理速度的優勢就出來了。而且CPU可能還要跑系統還有宕機風險，FPGA說多快就多快，穩定高效能長時間運行。
之前我們做4K視頻的採集和預處理，FPGA很輕松就實現了。設計的時候最好找個高手聽一下你的設計方案，幫忙做一下時序約束和PipeLine規劃，這樣保證你的演算法盡量穩定，或者乾脆點你演算法完成直接找人給你寫代碼，你把代碼看懂之後再慢慢調參數就行了。
直接根據自己需求買個成品板卡，這樣上面的外接器件什麼的都有現成example可以使用，比如DDR控制、視頻輸入輸出、引腳約束這之類的，你可以直接用板卡資料，不需要浪費時間去自己調試，專心做演算法。

『捌』 如何自學圖像演算法工程師

因為我學的就是計算機軟體專業，所以我可以告訴你：你會 C 語言編程固然很好，但是如果僅僅依靠會 C 語言編程，想成為某一個具體領域的工程師（例如：計算機圖像處理、或者是語音識別、漢字手寫體識別等），那是絕對不可能的。

你還必須要學習其他的很多理論課程。例如：各種數學（高等數學、高等代數、概率統計、離散數學等）的學習就是必不可少的，因為在進行計算機圖像演算法程序設計時，就百分之百需要依靠建立數學模型。如果沒有扎實的數學基礎，就無法建立數學模型，那麼即使會熟練使用 C 語言編程，那麼也是無法成為一個合格的圖像演算法工程師。
另外，還有計算機軟體的其它專業課：數據結構及其各種演算法、計算機圖形學等都是必須要熟練掌握的。

『玖』 在圖像處理中有哪些演算法

1、圖像變換：

由於圖像陣列很大，直接在空間域中進行處理，涉及計算量很大。採用各種圖像變換的方法，如傅立葉變換、沃爾什變換、離散餘弦變換等間接處理技術，將空間域的處理轉換為變換域處理，可減少計算量，獲得更有效的處理。它在圖像處理中也有著廣泛而有效的應用。

2、圖像編碼壓縮：

圖像編碼壓縮技術可減少描述圖像的數據量，以便節省圖像傳輸、處理時間和減少所佔用的存儲器容量。

壓縮可以在不失真的前提下獲得，也可以在允許的失真條件下進行。

編碼是壓縮技術中最重要的方法，它在圖像處理技術中是發展最早且比較成熟的技術。

3、圖像增強和復原：

圖像增強和復原的目的是為了提高圖像的質量，如去除雜訊，提高圖像的清晰度等。

圖像增強不考慮圖像降質的原因，突出圖像中所感興趣的部分。如強化圖像高頻分量，可使圖像中物體輪廓清晰，細節明顯；如強化低頻分量可減少圖像中雜訊影響。

4、圖像分割：

圖像分割是數字圖像處理中的關鍵技術之一。

圖像分割是將圖像中有意義的特徵部分提取出來，其有意義的特徵有圖像中的邊緣、區域等，這是進一步進行圖像識別、分析和理解的基礎。

5、圖像描述：

圖像描述是圖像識別和理解的必要前提。

一般圖像的描述方法採用二維形狀描述，它有邊界描述和區域描述兩類方法。對於特殊的紋理圖像可採用二維紋理特徵描述。

6、圖像分類：

圖像分類屬於模式識別的范疇，其主要內容是圖像經過某些預處理（增強、復原、壓縮）後，進行圖像分割和特徵提取，從而進行判決分類。

圖像分類常採用經典的模式識別方法，有統計模式分類和句法模式分類。

(9)學習圖像演算法擴展閱讀：

圖像處理主要應用在攝影及印刷、衛星圖像處理、醫學圖像處理、面孔識別、特徵識別、顯微圖像處理和汽車障礙識別等。

數字圖像處理技術源於20世紀20年代，當時通過海底電纜從英國倫敦到美國紐約傳輸了一幅照片，採用了數字壓縮技術。

數字圖像處理技術可以幫助人們更客觀、准確地認識世界，人的視覺系統可以幫助人類從外界獲取3/4以上的信息，而圖像、圖形又是所有視覺信息的載體，盡管人眼的鑒別力很高，可以識別上千種顏色，

但很多情況下，圖像對於人眼來說是模糊的甚至是不可見的，通過圖象增強技術，可以使模糊甚至不可見的圖像變得清晰明亮。

『拾』 零基礎入行圖像演算法工程師需要學習哪些課程

我們實驗室就是做FPGA圖像處理的。建議你學習一下《信號與系統》，《數字信號處理》。然後學習一下岡薩雷斯寫的《數字圖像處理》那本書。有了基礎之後，選定一個方向進行具體研究。圖像處理的方向比較多，圖像增強，圖像復原，圖像壓縮，圖像分割等等。個人感覺FPGA做圖像預處理（譬如圖像去噪）比較好，如果涉及較為復雜的演算法，用FPGA就需要深厚的功底。畢竟FPGA的計算能力不強。總之，你先把基礎打好，然後選定一個喜歡的方向深入研究。FPGA只是實現的工具。