演算法網路結構

① [圖像演算法]-卷積神經網路(CNN)的結構設計都有哪些思想

LeNet5不是CNN的起點，但卻是它的hello world，讓大家看到了卷積神經網路商用的前景。

  1*1卷積本身只是N*N卷積的卷積核半徑大小退化為1時的特例，但是由於它以較小的計算代價增強了網路的非線性表達能力，給網路結構在橫向和縱向拓展提供了非常好的工具，常用於升維和降維操作，尤其是在深層網路和對計算效率有較高要求的網路中廣泛使用。

  GoogLeNet奪得ImageNet2014年分類冠軍，也被稱為Inception V1。Inception V1有22層深，參數量為5M。同一時期的VGGNet性能和Inception V1差不多，但是參數量卻遠大於Inception V1。Inception的優良特性得益於Inception Mole，結構如下圖：

  脫胎於Xception的網路結構MobileNets使用Depthwise Separable Convolution(深度可分離卷積)構建了輕量級的28層神經網路，成為了移動端上的高性能優秀基準模型。

  當深層網路陷身於梯度消失等問題而導致不能很有效地訓練更深的網路時，脫胎於highway network的殘差網路應運而生，附帶著MSRA和何凱明的學術光環，詮釋了因為簡單，所以有效，但你未必能想到和做到的樸素的道理。

② 計算機網路體系分為哪四層

1.、應用層

應用層對應於OSI參考模型的高層，為用戶提供所需要的各種服務，例如：FTP、Telnet、DNS、SMTP等.

2.、傳輸層

傳輸層對應於OSI參考模型的傳輸層，為應用層實體提供端到端的通信功能，保證了數據包的順序傳送及數據的完整性。該層定義了兩個主要的協議：傳輸控制協議（TCP）和用戶數據報協議（UDP).

TCP協議提供的是一種可靠的、通過「三次握手」來連接的數據傳輸服務；而UDP協議提供的則是不保證可靠的（並不是不可靠）、無連接的數據傳輸服務.

3.、網際互聯層

網際互聯層對應於OSI參考模型的網路層，主要解決主機到主機的通信問題。它所包含的協議設計數據包在整個網路上的邏輯傳輸。注重重新賦予主機一個IP地址來完成對主機的定址，它還負責數據包在多種網路中的路由。

該層有三個主要協議：網際協議（IP）、互聯網組管理協議（IGMP）和互聯網控制報文協議（ICMP）。

IP協議是網際互聯層最重要的協議，它提供的是一個可靠、無連接的數據報傳遞服務。

4.、網路接入層（即主機-網路層）

網路接入層與OSI參考模型中的物理層和數據鏈路層相對應。它負責監視數據在主機和網路之間的交換。事實上，TCP/IP本身並未定義該層的協議，而由參與互連的各網路使用自己的物理層和數據鏈路層協議，然後與TCP/IP的網路接入層進行連接。地址解析協議（ARP）工作在此層，即OSI參考模型的數據鏈路層。

(2)演算法網路結構擴展閱讀：

OSI將計算機網路體系結構(architecture）劃分為以下七層：

物理層: 將數據轉換為可通過物理介質傳送的電子信號相當於郵局中的搬運工人。

數據鏈路層: 決定訪問網路介質的方式。

在此層將數據分幀，並處理流控制。本層指定拓撲結構並提供硬體定址，相當於郵局中的裝拆箱工人。

網路層: 使用權數據路由經過大型網路 相當於郵局中的排序工人。

傳輸層: 提供終端到終端的可靠連接 相當於公司中跑郵局的送信職員。

會話層: 允許用戶使用簡單易記的名稱建立連接 相當於公司中收寄信、寫信封與拆信封的秘書。

表示層: 協商數據交換格式 相當公司中簡報老闆、替老闆寫信的助理。

應用層: 用戶的應用程序和網路之間的介面老闆。

③ CRNN演算法詳解

文字識別是對序列的預測方法，所以採用了對序列預測的RNN網路。通過CNN將圖片的特徵提取出來後採用RNN對序列進行預測，最後通過一個CTC的翻譯層得到最終結果。

所以CRNN演算法主要採用的是CNN+RNN+CTC三層網路結構，從下到上，依次為：

（1）卷積層，使用CNN，從輸入圖像中提取特徵序列；

（2）循環層，使用RNN，預測從卷積層獲取的特徵序列的標簽（真實值）分布；

（3）轉錄層，使用CTC，把從循環層獲取的標簽分布通過去重整合等操作轉換成最終的識別結果。

卷積層共包含7層卷積神經網路，基礎結構採用的是VGC的結構，其中輸入是把灰度圖縮放到尺寸為W*32,即固定高。在第三個和第四個池化層的時候，為了追求真實的高寬比例，採用的核尺寸為1*2（並非2*2）。為了加速收斂並引入了BN層。 把CNN提取到的特徵圖按列切分，每一列的512維特徵，輸入到兩層各256單元的雙向LSTM進行分類。在訓練過程中，通過CTC損失函數的指導，實現字元位置與類標的近似軟對齊。

如圖：

現在需要從CNN模型產生的特徵圖中提取特徵向量序列，每一個特徵向量（紅色框）在特徵圖上按列從左到右生成，每一列包含512維特徵，這意味著第i個特徵向量是所有的特徵圖第i列像素的連接，這些特徵向量就構成一個序列。

由於卷積層，最大池化層和激活函數在局部區域上執行，因此它們是平移不變的。因此特徵圖的每列（即一個特徵向量）對應於原始圖像的一個矩形區域（成為感受野），並且這些矩形區域與特徵圖上從左到右的相應列具有相同的順序。特徵序列中的每個向量關聯一個感受野。

提取的特徵序列中的向量是從特徵圖上從左到右按照順序生成的，每個特徵向量表示了圖像上一定寬度上的特徵，論文中使用的這個寬度是1,就是單個像素。

如果一張包含10個字元的圖片大小為100×32，經過上述的CNN網路得到的特徵尺度為25×1（這里忽略通道數），這樣得到一個序列，每一列特徵對應原圖的一個矩形區域(如下圖所示)，這樣就很方便作為RNN的輸入進行下一步的計算了，而且每個特徵與輸入有一個一對一的對應關系。

從上圖可以看出，對VGG的調整如下：

1.為了能將CNN提取的特徵作為輸入，輸入到RNN網路中，文章將第三和第四個maxpooling的核尺度從2×2改為了1×2
2.為了加速網路的訓練，在第五和第六個卷積層後面加上了BN層。

為什麼將第三和第四個maxpooling的核尺度從2×2改為1×2是為了方便的將CNN的提取特徵作為RNN的輸入.首先要注意的是這個網路的輸入為W×32，也就是說該網路對輸入圖片的寬沒有特殊的要求，但是高都必須resize到32。

假設現在輸入有個圖像，為了將特徵輸入到Recurrent Layers，做如下處理：

關於CNN原理詳解，具體可以參考： https://www.jianshu.com/writer#/notebooks/46006121/notes/71156459

因為 RNN 有梯度消失的問題，不能獲取更多上下文信息，所以 CRNN 中使用的是 LSTM，LSTM 的特殊設計允許它捕獲長距離依賴。

RNN網路是對於CNN輸出的特徵序列x=x1,⋯⋯,xt，每一個輸入xt，都有一個輸出yt， 為了防止訓練時梯度的消失，文章採用了LSTM神經單元作為RNN的單元。文章認為對於序列的預測，序列的前向信息和後向信息都有助於序列的預測，所以文章採用了雙向RNN網路。LSTM神經元的結構和雙向RNN結構如下圖所示。

示例：
通過上面一步，我們得到了40個特徵向量，每個特徵向量長度為512，在 LSTM 中一個時間步就傳入一個特徵向量進行分類，這里一共有40個時間步。

我們知道一個特徵向量就相當於原圖中的一個小矩形區域，RNN 的目標就是預測這個矩形區域為哪個字元，即根據輸入的特徵向量，進行預測，得到所有字元的softmax概率分布，這是一個長度為字元類別數的向量，作為CTC層的輸入。

因為每個時間步都會有一個輸入特徵向量 ，輸出一個所有字元的概率分布 ，所以輸出為 40 個長度為字元類別數的向量構成的後驗概率矩陣，然後將這個後驗概率矩陣傳入轉錄層。

測試時，翻譯分為兩種，一種是帶字典的，一種是沒有字典的。
帶字典的就是在測試的時候，測試集是有字典的，測試的輸出結果計算出所有字典的概率，取最大的即為最終的預測字元串
不帶字典的，是指測試集沒有給出測試集包含哪些字元串，預測時就選取輸出概率最大的作為最終的預測字元串。

端到端OCR識別的難點在於怎麼處理不定長序列對齊的問題！（因為是不定長序列，按照以前的方法我們很難去計算loss，如果是定長的話容易造成信息的丟失，而且局限性太大！）

轉錄是將 RNN 對每個特徵向量所做的預測轉換成標簽序列的過程。數學上，轉錄是根據每幀預測找到具有最高概率組合的標簽序列。
具體可以參考： https://www.jianshu.com/writer#/notebooks/46006121/notes/71156474

④ 網路與編程中常用的演算法與數據結構有哪些

演算法就是計算機處理解決問題的計算機能理解的方法。
比如算一個階乘 , 計算機的演算法就是寫一個循環,從高到底, 一直乘下去,直到 1 為止。
復雜的演算法比如一個強連通帶權網路,求兩點間的最短路徑,這個很有用啊....比如採用廣度優先演算法,或深度優先演算法
數據結構指數據在計算機中存儲存在的方式。
比如文件在硬碟中,有二進制,文本等形式存放, 程序中的一組數字可能放在數組裡面,也可能在棧裡面,也肯能在鏈表裡面

⑤ 深入淺出BP神經網路演算法的原理

深入淺出BP神經網路演算法的原理
相信每位剛接觸神經網路的時候都會先碰到BP演算法的問題，如何形象快速地理解BP神經網路就是我們學習的高級樂趣了（畫外音：樂趣？你在跟我談樂趣？）
本篇博文就是要簡單粗暴地幫助各位童鞋快速入門採取BP演算法的神經網路。
BP神經網路是怎樣的一種定義？看這句話：一種按「誤差逆傳播演算法訓練」的多層前饋網路。
BP的思想就是：利用輸出後的誤差來估計輸出層前一層的誤差，再用這層誤差來估計更前一層誤差，如此獲取所有各層誤差估計。這里的誤差估計可以理解為某種偏導數，我們就是根據這種偏導數來調整各層的連接權值，再用調整後的連接權值重新計算輸出誤差。直到輸出的誤差達到符合的要求或者迭代次數溢出設定值。
說來說去，「誤差」這個詞說的很多嘛，說明這個演算法是不是跟誤差有很大的關系？
沒錯，BP的傳播對象就是「誤差」，傳播目的就是得到所有層的估計誤差。
它的學習規則是：使用最速下降法，通過反向傳播（就是一層一層往前傳）不斷調整網路的權值和閾值，最後使全局誤差系數最小。
它的學習本質就是：對各連接權值的動態調整。

拓撲結構如上圖：輸入層（input），隱藏層（hide layer），輸出層（output）
BP網路的優勢就是能學習和儲存大量的輸入輸出的關系，而不用事先指出這種數學關系。那麼它是如何學習的？
BP利用處處可導的激活函數來描述該層輸入與該層輸出的關系，常用S型函數δ來當作激活函數。

我們現在開始有監督的BP神經網路學習演算法：
1、正向傳播得到輸出層誤差e
=>輸入層輸入樣本=>各隱藏層=>輸出層
2、判斷是否反向傳播
=>若輸出層誤差與期望不符=>反向傳播
3、誤差反向傳播
=>誤差在各層顯示=>修正各層單元的權值，直到誤差減少到可接受程度。
演算法闡述起來比較簡單，接下來通過數學公式來認識BP的真實面目。
假設我們的網路結構是一個含有N個神經元的輸入層，含有P個神經元的隱層，含有Q個神經元的輸出層。

這些變數分別如下：

認識好以上變數後，開始計算：
一、用（-1，1）內的隨機數初始化誤差函數，並設定精度ε，最多迭代次數M
二、隨機選取第k個輸入樣本及對應的期望輸出

重復以下步驟至誤差達到要求：
三、計算隱含層各神經元的輸入和輸出

四、計算誤差函數e對輸出層各神經元的偏導數，根據輸出層期望輸出和實際輸出以及輸出層輸入等參數計算。

五、計算誤差函數對隱藏層各神經元的偏導數，根據後一層（這里即輸出層）的靈敏度（稍後介紹靈敏度）δo(k)，後一層連接權值w，以及該層的輸入值等參數計算
六、利用第四步中的偏導數來修正輸出層連接權值

七、利用第五步中的偏導數來修正隱藏層連接權值

八、計算全局誤差（m個樣本，q個類別）

比較具體的計算方法介紹好了，接下來用比較簡潔的數學公式來大致地概括這個過程，相信看完上述的詳細步驟都會有些了解和領悟。
假設我們的神經網路是這樣的，此時有兩個隱藏層。
我們先來理解靈敏度是什麼？
看下面一個公式：

這個公式是誤差對b的一個偏導數，這個b是怎麼？它是一個基，靈敏度δ就是誤差對基的變化率，也就是導數。
因為?u/?b=1，所以?E/?b=?E/?u=δ，也就是說bias基的靈敏度?E/?b=δ等於誤差E對一個節點全部輸入u的導數?E/?u。
也可以認為這里的靈敏度等於誤差E對該層輸入的導數，注意了，這里的輸入是上圖U級別的輸入，即已經完成層與層權值計算後的輸入。
每一個隱藏層第l層的靈敏度為：

這里的「?」表示每個元素相乘，不懂的可與上面詳細公式對比理解
而輸出層的靈敏度計算方法不同，為：

而最後的修正權值為靈敏度乘以該層的輸入值，注意了，這里的輸入可是未曾乘以權值的輸入，即上圖的Xi級別。

對於每一個權值(W)ij都有一個特定的學習率ηIj，由演算法學習完成。

⑥ 計算機網路結構分幾種哪幾種

計算機網路的分類方式有很多種,可以按地理范圍、拓撲結構、傳輸速率和傳輸介質等分類。

⑴按地理范圍分類

①區域網LAN(Local Area Network)

區域網地理范圍一般幾百米到10km之內,屬於小范圍內的連網。如一個建築物內、一個學校內、一個工廠的廠區內等。區域網的組建簡單、靈活,使用方便。

②城域網MAN(Metropolitan Area Network)

城域網地理范圍可從幾十公里到上百公里,可覆蓋一個城市或地區,是一種中等形式的網路。

③廣域網WAN(Wide Area Network)

廣域網地理范圍一般在幾千公里左右,屬於大范圍連網。如幾個城市,一個或幾個國家,是網路系統中的最大型的網路,能實現大范圍的資源共享,如國際性的Internet網路。

⑵按傳輸速率分類

網路的傳輸速率有快有慢,傳輸速率快的稱高速網,傳輸速率慢的稱低速網。傳輸速率的單位是b/s(每秒比特數,英文縮寫為bps)。一般將傳輸速率在Kb/s—Mb/s范圍的網路稱低速網,在Mb/s—Gb/s范圍的網稱高速網。也可以將Kb/s網稱低速網,將Mb/s網稱中速網,將Gb/s網稱高速網。

網路的傳輸速率與網路的帶寬有直接關系。帶寬是指傳輸信道的寬度,帶寬的單位是Hz(赫茲)。按照傳輸信道的寬度可分為窄帶網和寬頻網。一般將KHz—MHz帶寬的網稱為窄帶網,將MHz—GHz的網稱為寬頻網,也可以將kHz帶寬的網稱窄帶網,將MHz帶寬的網稱中帶網,將GHz帶寬的網稱寬頻網。通常情況下,高速網就是寬頻網,低速網就是窄帶網。

⑶按傳輸介質分類

傳輸介質是指數據傳輸系統中發送裝置和接受裝置間的物理媒體,按其物理形態可以劃分為有線和無線兩大類。

①有線網

傳輸介質採用有線介質連接的網路稱為有線網,常用的有線傳輸介質有雙絞線、同軸電纜和光導纖維。

●雙絞線是由兩根絕緣金屬線互相纏繞而成,這樣的一對線作為一條通信線路,由四對雙絞線構成雙絞線電纜。雙絞線點到點的通信距離一般不能超過100m。目前,計算機網路上使用的雙絞線按其傳輸速率分為三類線、五類線、六類線、七類線,傳輸速率在10Mbps到600Mbps之間,雙絞線電纜的連接器一般為RJ-45。

●同軸電纜由內、外兩個導體組成,內導體可以由單股或多股線組成,外導體一般由金屬編織網組成。內、外導體之間有絕緣材料,其阻抗為50Ω。同軸電纜分為粗纜和細纜,粗纜用DB-15連接器,細纜用BNC和T連接器。

●光纜由兩層折射率不同的材料組成。內層是具有高折射率的玻璃單根纖維體組成,外層包一層折射率較低的材料。光纜的傳輸形式分為單模傳輸和多模傳輸,單模傳輸性能優於多模傳輸。所以,光纜分為單模光纜和多模光纜,單模光纜傳送距離為幾十公里,多模光纜為幾公里。光纜的傳輸速率可達到每秒幾百兆位。光纜用ST或SC連接器。光纜的優點是不會受到電磁的干擾,傳輸的距離也比電纜遠,傳輸速率高。光纜的安裝和維護比較困難,需要專用的設備。

②無線網

採用無線介質連接的網路稱為無線網。目前無線網主要採用三種技術：微波通信,紅外線通信和激光通信。這三種技術都是以大氣為介質的。其中微波通信用途最廣,目前的衛星網就是一種特殊形式的微波通信,它利用地球同步衛星作中繼站來轉發微波信號,一個同步衛星可以覆蓋地球的三分之一以上表面,三個同步衛星就可以覆蓋地球上全部通信區域。

⑷按拓撲結構分類

計算機網路的物理連接形式叫做網路的物理拓撲結構。連接在網路上的計算機、大容量的外存、高速列印機等設備均可看作是網路上的一個節點,也稱為工作站。計算機網路中常用的拓撲結構有匯流排型、星型、環型等。

①匯流排拓撲結構

匯流排拓撲結構是一種共享通路的物理結構。這種結構中匯流排具有信息的雙向傳輸功能，普遍用於區域網的連接,匯流排一般採用同軸電纜或雙絞線。

匯流排拓撲結構的優點是：安裝容易,擴充或刪除一個節點很容易,不需停止網路的正常工作,節點的故障不會殃及系統。由於各個節點共用一個匯流排作為數據通路,信道的利用率高。但匯流排結構也有其缺點：由於信道共享,連接的節點不宜過多，並且匯流排自身的故障可以導致系統的崩潰。

②星型拓撲結構

星型拓撲結構是一種以中央節點為中心,把若干外圍節點連接起來的輻射式互聯結構。這種結構適用於區域網,特別是近年來連接的區域網大都採用這種連接方式。這種連接方式以雙絞線或同軸電纜作連接線路。

星型拓撲結構的特點是：安裝容易,結構簡單,費用低,通常以集線器(Hub)作為中央節點,便於維護和管理。中央節點的正常運行對網路系統來說是至關重要的。

③環型拓撲結構

環型拓撲結構是將網路節點連接成閉合結構。信號順著一個方向從一台設備傳到另一台設備,每一台設備都配有一個收發器,信息在每台設備上的延時時間是固定的。

這種結構特別適用於實時控制的區域網系統。

環型拓撲結構的特點是：安裝容易,費用較低,電纜故障容易查找和排除。有些網路系統為了提高通信效率和可靠性,採用了雙環結構,即在原有的單環上再套一個環,使每個節點都具有兩個接收通道。環型網路的弱點是,當節點發生故障時,整個網路就不能正常工作。

④樹型拓撲結構

樹型拓撲結構就像一棵「根」朝上的樹,與匯流排拓撲結構相比,主要區別在於匯流排拓撲結構中沒有「根」。這種拓撲結構的網路一般採用同軸電纜,用於軍事單位、政府部門等上、下界限相當嚴格和層次分明的部門。

樹型拓撲結構的特點：優點是容易擴展、故障也容易分離處理,缺點是整個網路對根的依賴性很大,一旦網路的根發生故障,整個系統就不能正常工作。

⑦ 神經網路演算法的人工神經網路

人工神經網路（Artificial Neural Networks，ANN）系統是 20 世紀 40 年代後出現的。它是由眾多的神經元可調的連接權值連接而成，具有大規模並行處理、分布式信 息存儲、良好的自組織自學習能力等特點。BP（Back Propagation）演算法又稱為誤差 反向傳播演算法，是人工神經網路中的一種監督式的學習演算法。BP 神經網路演算法在理 論上可以逼近任意函數，基本的結構由非線性變化單元組成，具有很強的非線性映射能力。而且網路的中間層數、各層的處理單元數及網路的學習系數等參數可根據具體情況設定，靈活性很大，在優化、信號處理與模式識別、智能控制、故障診斷等許 多領域都有著廣泛的應用前景。 人工神經元的研究起源於腦神經元學說。19世紀末，在生物、生理學領域，Waldeger等人創建了神經元學說。人們認識到復雜的神經系統是由數目繁多的神經元組合而成。大腦皮層包括有100億個以上的神經元，每立方毫米約有數萬個，它們互相聯結形成神經網路，通過感覺器官和神經接受來自身體內外的各種信息，傳遞至中樞神經系統內，經過對信息的分析和綜合，再通過運動神經發出控制信息，以此來實現機體與內外環境的聯系，協調全身的各種機能活動。
神經元也和其他類型的細胞一樣，包括有細胞膜、細胞質和細胞核。但是神經細胞的形態比較特殊，具有許多突起，因此又分為細胞體、軸突和樹突三部分。細胞體內有細胞核，突起的作用是傳遞信息。樹突是作為引入輸入信號的突起，而軸突是作為輸出端的突起，它只有一個。
樹突是細胞體的延伸部分，它由細胞體發出後逐漸變細，全長各部位都可與其他神經元的軸突末梢相互聯系，形成所謂「突觸」。在突觸處兩神經元並未連通，它只是發生信息傳遞功能的結合部，聯系界面之間間隙約為（15～50)×10米。突觸可分為興奮性與抑制性兩種類型，它相應於神經元之間耦合的極性。每個神經元的突觸數目正常，最高可達10個。各神經元之間的連接強度和極性有所不同，並且都可調整、基於這一特性，人腦具有存儲信息的功能。利用大量神經元相互聯接組成人工神經網路可顯示出人的大腦的某些特徵。
人工神經網路是由大量的簡單基本元件——神經元相互聯接而成的自適應非線性動態系統。每個神經元的結構和功能比較簡單，但大量神經元組合產生的系統行為卻非常復雜。
人工神經網路反映了人腦功能的若干基本特性，但並非生物系統的逼真描述，只是某種模仿、簡化和抽象。
與數字計算機比較，人工神經網路在構成原理和功能特點等方面更加接近人腦，它不是按給定的程序一步一步地執行運算，而是能夠自身適應環境、總結規律、完成某種運算、識別或過程式控制制。
人工神經網路首先要以一定的學習准則進行學習，然後才能工作。現以人工神經網路對於寫「A」、「B」兩個字母的識別為例進行說明，規定當「A」輸入網路時，應該輸出「1」，而當輸入為「B」時，輸出為「0」。
所以網路學習的准則應該是：如果網路作出錯誤的的判決，則通過網路的學習，應使得網路減少下次犯同樣錯誤的可能性。首先，給網路的各連接權值賦予(0，1)區間內的隨機值，將「A」所對應的圖象模式輸入給網路，網路將輸入模式加權求和、與門限比較、再進行非線性運算，得到網路的輸出。在此情況下，網路輸出為「1」和「0」的概率各為50%，也就是說是完全隨機的。這時如果輸出為「1」(結果正確)，則使連接權值增大，以便使網路再次遇到「A」模式輸入時，仍然能作出正確的判斷。
如果輸出為「0」(即結果錯誤)，則把網路連接權值朝著減小綜合輸入加權值的方向調整，其目的在於使網路下次再遇到「A」模式輸入時，減小犯同樣錯誤的可能性。如此操作調整，當給網路輪番輸入若干個手寫字母「A」、「B」後，經過網路按以上學習方法進行若干次學習後，網路判斷的正確率將大大提高。這說明網路對這兩個模式的學習已經獲得了成功，它已將這兩個模式分布地記憶在網路的各個連接權值上。當網路再次遇到其中任何一個模式時，能夠作出迅速、准確的判斷和識別。一般說來，網路中所含的神經元個數越多，則它能記憶、識別的模式也就越多。 （1）人類大腦有很強的自適應與自組織特性，後天的學習與訓練可以開發許多各具特色的活動功能。如盲人的聽覺和觸覺非常靈敏；聾啞人善於運用手勢；訓練有素的運動員可以表現出非凡的運動技巧等等。
普通計算機的功能取決於程序中給出的知識和能力。顯然，對於智能活動要通過總結編製程序將十分困難。
人工神經網路也具有初步的自適應與自組織能力。在學習或訓練過程中改變突觸權重值，以適應周圍環境的要求。同一網路因學習方式及內容不同可具有不同的功能。人工神經網路是一個具有學習能力的系統，可以發展知識，以致超過設計者原有的知識水平。通常，它的學習訓練方式可分為兩種，一種是有監督或稱有導師的學習，這時利用給定的樣本標准進行分類或模仿；另一種是無監督學習或稱無為導師學習，這時，只規定學習方式或某些規則，則具體的學習內容隨系統所處環境 （即輸入信號情況）而異，系統可以自動發現環境特徵和規律性，具有更近似人腦的功能。
（2）泛化能力
泛化能力指對沒有訓練過的樣本，有很好的預測能力和控制能力。特別是，當存在一些有雜訊的樣本，網路具備很好的預測能力。
(3)非線性映射能力
當對系統對於設計人員來說，很透徹或者很清楚時，則一般利用數值分析，偏微分方程等數學工具建立精確的數學模型，但當對系統很復雜，或者系統未知，系統信息量很少時，建立精確的數學模型很困難時，神經網路的非線性映射能力則表現出優勢，因為它不需要對系統進行透徹的了解，但是同時能達到輸入與輸出的映射關系，這就大大簡化設計的難度。
(4)高度並行性
並行性具有一定的爭議性。承認具有並行性理由：神經網路是根據人的大腦而抽象出來的數學模型，由於人可以同時做一些事，所以從功能的模擬角度上看，神經網路也應具備很強的並行性。
多少年以來，人們從醫學、生物學、生理學、哲學、信息學、計算機科學、認知學、組織協同學等各個角度企圖認識並解答上述問題。在尋找上述問題答案的研究過程中，這些年來逐漸形成了一個新興的多學科交叉技術領域，稱之為「神經網路」。神經網路的研究涉及眾多學科領域，這些領域互相結合、相互滲透並相互推動。不同領域的科學家又從各自學科的興趣與特色出發，提出不同的問題，從不同的角度進行研究。
下面將人工神經網路與通用的計算機工作特點來對比一下：
若從速度的角度出發，人腦神經元之間傳遞信息的速度要遠低於計算機，前者為毫秒量級，而後者的頻率往往可達幾百兆赫。但是，由於人腦是一個大規模並行與串列組合處理系統，因而，在許多問題上可以作出快速判斷、決策和處理，其速度則遠高於串列結構的普通計算機。人工神經網路的基本結構模仿人腦，具有並行處理特徵，可以大大提高工作速度。
人腦存貯信息的特點為利用突觸效能的變化來調整存貯內容，也即信息存貯在神經元之間連接強度的分布上，存貯區與計算機區合為一體。雖然人腦每日有大量神經細胞死亡 （平均每小時約一千個），但不影響大腦的正常思維活動。
普通計算機是具有相互獨立的存貯器和運算器，知識存貯與數據運算互不相關，只有通過人編出的程序使之溝通，這種溝通不能超越程序編制者的預想。元器件的局部損壞及程序中的微小錯誤都可能引起嚴重的失常。 心理學家和認知科學家研究神經網路的目的在於探索人腦加工、儲存和搜索信息的機制，弄清人腦功能的機理，建立人類認知過程的微結構理論。
生物學、醫學、腦科學專家試圖通過神經網路的研究推動腦科學向定量、精確和理論化體系發展，同時也寄希望於臨床醫學的新突破；信息處理和計算機科學家研究這一問題的目的在於尋求新的途徑以解決不能解決或解決起來有極大困難的大量問題，構造更加逼近人腦功能的新一代計算機。
人工神經網路早期的研究工作應追溯至上世紀40年代。下面以時間順序，以著名的人物或某一方面突出的研究成果為線索，簡要介紹人工神經網路的發展歷史。
1943年，心理學家W·Mcculloch和數理邏輯學家W·Pitts在分析、總結神經元基本特性的基礎上首先提出神經元的數學模型。此模型沿用至今，並且直接影響著這一領域研究的進展。因而，他們兩人可稱為人工神經網路研究的先驅。
1945年馮·諾依曼領導的設計小組試製成功存儲程序式電子計算機，標志著電子計算機時代的開始。1948年，他在研究工作中比較了人腦結構與存儲程序式計算機的根本區別，提出了以簡單神經元構成的再生自動機網路結構。但是，由於指令存儲式計算機技術的發展非常迅速，迫使他放棄了神經網路研究的新途徑，繼續投身於指令存儲式計算機技術的研究，並在此領域作出了巨大貢獻。雖然，馮·諾依曼的名字是與普通計算機聯系在一起的，但他也是人工神經網路研究的先驅之一。
50年代末，F·Rosenblatt設計製作了「感知機」，它是一種多層的神經網路。這項工作首次把人工神經網路的研究從理論探討付諸工程實踐。當時，世界上許多實驗室仿效製作感知機，分別應用於文字識別、聲音識別、聲納信號識別以及學習記憶問題的研究。然而，這次人工神經網路的研究高潮未能持續很久，許多人陸續放棄了這方面的研究工作，這是因為當時數字計算機的發展處於全盛時期，許多人誤以為數字計算機可以解決人工智慧、模式識別、專家系統等方面的一切問題，使感知機的工作得不到重視；其次，當時的電子技術工藝水平比較落後，主要的元件是電子管或晶體管，利用它們製作的神經網路體積龐大，價格昂貴，要製作在規模上與真實的神經網路相似是完全不可能的；另外，在1968年一本名為《感知機》的著作中指出線性感知機功能是有限的，它不能解決如異感這樣的基本問題，而且多層網路還不能找到有效的計算方法，這些論點促使大批研究人員對於人工神經網路的前景失去信心。60年代末期，人工神經網路的研究進入了低潮。
另外，在60年代初期，Widrow提出了自適應線性元件網路，這是一種連續取值的線性加權求和閾值網路。後來，在此基礎上發展了非線性多層自適應網路。當時，這些工作雖未標出神經網路的名稱，而實際上就是一種人工神經網路模型。
隨著人們對感知機興趣的衰退，神經網路的研究沉寂了相當長的時間。80年代初期，模擬與數字混合的超大規模集成電路製作技術提高到新的水平，完全付諸實用化，此外，數字計算機的發展在若干應用領域遇到困難。這一背景預示，向人工神經網路尋求出路的時機已經成熟。美國的物理學家Hopfield於1982年和1984年在美國科學院院刊上發表了兩篇關於人工神經網路研究的論文，引起了巨大的反響。人們重新認識到神經網路的威力以及付諸應用的現實性。隨即，一大批學者和研究人員圍繞著 Hopfield提出的方法展開了進一步的工作，形成了80年代中期以來人工神經網路的研究熱潮。
1985年，Ackley、Hinton和Sejnowski將模擬退火演算法應用到神經網路訓練中，提出了Boltzmann機，該演算法具有逃離極值的優點，但是訓練時間需要很長。
1986年，Rumelhart、Hinton和Williams提出了多層前饋神經網路的學習演算法，即BP演算法。它從證明的角度推導演算法的正確性，是學習演算法有理論依據。從學習演算法角度上看，是一個很大的進步。
1988年，Broomhead和Lowe第一次提出了徑向基網路：RBF網路。
總體來說，神經網路經歷了從高潮到低谷，再到高潮的階段，充滿曲折的過程。