神經網路的發展歷史

『壹』 BP神經網路的發展歷史

人工神經網路早期的研究工作應追溯至上世紀40年代。下面以時間順序，以著名的人物或某一方面突出的研究成果為線索，簡要介紹人工神經網路的發展歷史。
1943年，心理學家W·Mcculloch和數理邏輯學家W·Pitts在分析、總結神經元基本特性的基礎上首先提出神經元的數學模型。此模型沿用至今，並且直接影響著這一領域研究的進展。因而，他們兩人可稱為人工神經網路研究的先驅。
1945年馮·諾依曼領導的設計小組試製成功存儲程序式電子計算機，標志著電子計算機時代的開始。1948年，他在研究工作中比較了人腦結構與存儲程序式計算機的根本區別，提出了以簡單神經元構成的再生自動機網路結構。但是，由於指令存儲式計算機技術的發展非常迅速，迫使他放棄了神經網路研究的新途徑，繼續投身於指令存儲式計算機技術的研究，並在此領域作出了巨大貢獻。雖然，馮·諾依曼的名字是與普通計算機聯系在一起的，但他也是人工神經網路研究的先驅之一。
50年代末，F·Rosenblatt設計製作了「感知機」，它是一種多層的神經網路。這項工作首次把人工神經網路的研究從理論探討付諸工程實踐。當時，世界上許多實驗室仿效製作感知機，分別應用於文字識別、聲音識別、聲納信號識別以及學習記憶問題的研究。然而，這次人工神經網路的研究高潮未能持續很久，許多人陸續放棄了這方面的研究工作，這是因為當時數字計算機的發展處於全盛時期，許多人誤以為數字計算機可以解決人工智慧、模式識別、專家系統等方面的一切問題，使感知機的工作得不到重視；其次，當時的電子技術工藝水平比較落後，主要的元件是電子管或晶體管，利用它們製作的神經網路體積龐大，價格昂貴，要製作在規模上與真實的神經網路相似是完全不可能的；另外，在1968年一本名為《感知機》的著作中指出線性感知機功能是有限的，它不能解決如異或這樣的基本問題，而且多層網路還不能找到有效的計算方法，這些論點促使大批研究人員對於人工神經網路的前景失去信心。60年代末期，人工神經網路的研究進入了低潮。
另外，在60年代初期，Widrow提出了自適應線性元件網路，這是一種連續取值的線性加權求和閾值網路。後來，在此基礎上發展了非線性多層自適應網路。當時，這些工作雖未標出神經網路的名稱，而實際上就是一種人工神經網路模型。
隨著人們對感知機興趣的衰退，神經網路的研究沉寂了相當長的時間。80年代初期，模擬與數字混合的超大規模集成電路製作技術提高到新的水平，完全付諸實用化，此外，數字計算機的發展在若干應用領域遇到困難。這一背景預示，向人工神經網路尋求出路的時機已經成熟。美國的物理學家Hopfield於1982年和1984年在美國科學院院刊上發表了兩篇關於人工神經網路研究的論文，引起了巨大的反響。人們重新認識到神經網路的威力以及付諸應用的現實性。隨即，一大批學者和研究人員圍繞著 Hopfield提出的方法展開了進一步的工作，形成了80年代中期以來人工神經網路的研究熱潮。

『貳』 人工智慧計算機的發展歷史是怎樣的呢

【1950-1956年是人工智慧的誕生年】
圖靈測試1950
Dartmouth 會議1956
（1956年夏季，以麥卡賽、明斯基、羅切斯特和申農等為首的一批有遠見卓識的年輕科學家在一起聚會，共同研究和探討用機器模擬智能的一系列有關問題，並首次提出了「人工智慧」這一術語，它標志著「人工智慧」這門新興學科的正式誕生。）

【1956-1974 年是人工智慧的黃金年】
第一個人工智慧程序LT邏輯理論家1958（西蒙和紐維爾）
LISP編程語言1958（約翰麥卡錫）
用於機器翻譯的語義網1960（馬斯特曼和劍橋大學同事）
模式識別-第一個機器學習論文發表（1963）
Dendral 專家系統1965
基於規則的Mycin醫學診斷程序1974

【1974-1980年是人工智慧第一個冬天】
人工智慧：綜合調查1973（來特希爾）
項目失敗，列強削減科研經費

【1980-1987年是人工智慧繁榮期】
AAAI在斯坦福大學召開第一屆全國大會1980
日本啟動第五代計算機用於知識處理1982
決策樹模型帶動機器學習復甦1980中期
ANN及多層神經網路1980中期

【1987-1993年是人工智慧第二個冬天】
Lisp機市場崩潰1987
列強再次取消科研經費1988
專家系統滑翔谷底1993
日本第五代機退場1990年代

『叄』 人工智慧的發展史是什麼

【1950-1956年是人工智慧的誕生年】
圖靈測試1950
Dartmouth 會議1956
（1956年夏季，以麥卡賽、明斯基、羅切斯特和申農等為首的一批有遠見卓識的年輕科學家在一起聚會，共同研究和探討用機器模擬智能的一系列有關問題，並首次提出了「人工智慧」這一術語，它標志著「人工智慧」這門新興學科的正式誕生。）

【1956-1974 年是人工智慧的黃金年】
第一個人工智慧程序ＬＴ邏輯理論家1958（西蒙和紐維爾）
LISP編程語言1958（約翰麥卡錫）
用於機器翻譯的語義網1960（馬斯特曼和劍橋大學同事）
模式識別-第一個機器學習論文發表（1963）
Dendral 專家系統1965
基於規則的Mycin醫學診斷程序1974

【1974-1980年是人工智慧第一個冬天】
人工智慧：綜合調查1973（來特希爾）
項目失敗，列強削減科研經費

【1980-1987年是人工智慧繁榮期】
AAAI在斯坦福大學召開第一屆全國大會1980
日本啟動第五代計算機用於知識處理1982
決策樹模型帶動機器學習復甦1980中期
ANN及多層神經網路1980中期

【1987-1993年是人工智慧第二個冬天】
Lisp機市場崩潰1987
列強再次取消科研經費1988
專家系統滑翔谷底1993
日本第五代機退場1990年代

【1993-現在突破期】
IBM深藍戰勝卡斯帕羅夫1997
斯坦福大學Stanley 贏得無人駕駛汽車挑戰賽2005
深度學習論文發表2006
IBM的沃森機器人問答比賽奪魁2011
谷歌啟動谷歌大腦2011
蘋果公司的Siri上線2012
微軟通用實時翻譯系統2012
微軟Cortana 上線2014
網路度秘2015
IBM發布truenorth晶元2014
阿爾法狗打敗人類棋手2016

『肆』 神經網路計算機的發展歷程

早在40年代，McCulloch和Pitts就已開始了以神經元作為邏輯器件的研究。60年代，Rosenblatt提出版了模擬學習和識別功權能的「感知機」模型，其構造和規則曾轟動一時，但終因此類機器嚴格的局限性而很快冷落下來。到1982年，Hopfield提出了一種新的理論模型。這一模型簡明地反映了大腦神經系統的分布式記憶存儲、內容定址、聯想以及局部細胞損壞不靈敏等特性。與此同時，神經網路在解決「推銷員旅行」問題、語音識別、音樂片斷的學習創作、英語智能讀音系統等方面，都取得了令人鼓舞的結果。因此人工神經網路的研究熱潮在80年代初期又重新興起，成為多學科共同關注的跨學科新領域。不同學科研究神經網路的方法雖不盡相同，但目的都是為了探索大腦智能的機制和實現智能計算機。人工神經網路研究的進展，使研製神經網路計算機的歷史任務落到了現代高科技的面前。這是社會對智能計算機的迫切需要。

『伍』 神經網路的研究內容

神經網抄絡的研究內容相當廣泛，襲反映了多學科交叉技術領域的特點。主要的研究工作集中在以下幾個方面： 在理論模型研究的基礎上構作具體的神經網路模型，以實現計算機模擬或准備製作硬體，包括網路學習演算法的研究。這方面的工作也稱為技術模型研究。
神經網路用到的演算法就是向量乘法，並且廣泛採用符號函數及其各種逼近。並行、容錯、可以硬體實現以及自我學習特性，是神經網路的幾個基本優點，也是神經網路計算方法與傳統方法的區別所在。 在網路模型與演算法研究的基礎上，利用人工神經網路組成實際的應用系統，例如，完成某種信號處理或模式識別的功能、構作專家系統、製成機器人、復雜系統控制等等。
縱觀當代新興科學技術的發展歷史，人類在征服宇宙空間、基本粒子，生命起源等科學技術領域的進程中歷經了崎嶇不平的道路。我們也會看到，探索人腦功能和神經網路的研究將伴隨著重重困難的克服而日新月異。

『陸』 脈沖神經網路的歷史

Alan Lloyd Hodgkin和Andrew Huxley在1952年提出了來第一個脈沖神源經網路模型，這個模型描述了動作電位是怎樣產生並傳播的。但是，脈沖並不是在神經元之間直接傳播的，它需要在突觸間隙間交換一種叫「神經遞質」的化學物質。這種生物體的復雜性和可變性導致了許多不同的神經元模型。
從資訊理論的觀點來看，找到一種可以解釋脈沖，也就是動作電位的模型是個問題。所以，神經科學的一個基本問題就是確定神經元是否通過時間編碼來交流。時間編碼表明單一的神經元可以取代上百個S型隱藏層節點。

『柒』 什麼是神經網路，舉例說明神經網路的應用

我想這可能是你想要的神經網路吧！

什麼是神經網路：
人工神經網路（Artificial Neural Networks，簡寫為ANNs）也簡稱為神經網路（NNs）或稱作連接模型（Connection Model），它是一種模仿動物神經網路行為特徵，進行分布式並行信息處理的演算法數學模型。這種網路依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。

神經網路的應用：

應用
在網路模型與演算法研究的基礎上，利用人工神經網路組成實際的應用系統，例如，完成某種信號處理或模式識別的功能、構作專家系統、製成機器人、復雜系統控制等等。
縱觀當代新興科學技術的發展歷史，人類在征服宇宙空間、基本粒子，生命起源等科學技術領域的進程中歷經了崎嶇不平的道路。我們也會看到，探索人腦功能和神經網路的研究將伴隨著重重困難的克服而日新月異。

神經網路的研究內容相當廣泛，反映了多學科交叉技術領域的特點。主要的研究工作集中在以下幾個方面：
生物原型
從生理學、心理學、解剖學、腦科學、病理學等方面研究神經細胞、神經網路、神經系統的生物原型結構及其功能機理。
建立模型
根據生物原型的研究，建立神經元、神經網路的理論模型。其中包括概念模型、知識模型、物理化學模型、數學模型等。
演算法
在理論模型研究的基礎上構作具體的神經網路模型，以實現計算機模擬或准備製作硬體，包括網路學習演算法的研究。這方面的工作也稱為技術模型研究。
神經網路用到的演算法就是向量乘法，並且廣泛採用符號函數及其各種逼近。並行、容錯、可以硬體實現以及自我學習特性，是神經網路的幾個基本優點，也是神經網路計算方法與傳統方法的區別所在。

『捌』 人工智慧的具體發展歷史是什麼

【1950-1956年是人工智慧的誕生年】
圖靈測試1950
Dartmouth 會議1956
（1956年夏季，以麥卡賽、明斯基、羅切斯特和申農等為首的一批有遠見卓識的年輕科學家在一起聚會，共同研究和探討用機器模擬智能的一系列有關問題，並首次提出了「人工智慧」這一術語，它標志著「人工智慧」這門新興學科的正式誕生。）

【1956-1974 年是人工智慧的黃金年】
第一個人工智慧程序LT邏輯理論家1958（西蒙和紐維爾）
LISP編程語言1958（約翰麥卡錫）
用於機器翻譯的語義網1960（馬斯特曼和劍橋大學同事）
模式識別-第一個機器學習論文發表（1963）
Dendral 專家系統1965
基於規則的Mycin醫學診斷程序1974

【1974-1980年是人工智慧第一個冬天】
人工智慧：綜合調查1973（來特希爾）
項目失敗，列強削減科研經費

【1980-1987年是人工智慧繁榮期】
AAAI在斯坦福大學召開第一屆全國大會1980
日本啟動第五代計算機用於知識處理1982
決策樹模型帶動機器學習復甦1980中期
ANN及多層神經網路1980中期

【1987-1993年是人工智慧第二個冬天】
Lisp機市場崩潰1987
列強再次取消科研經費1988
專家系統滑翔谷底1993
日本第五代機退場1990年代

【1993-現在突破期】
IBM深藍戰勝卡斯帕羅夫1997
斯坦福大學Stanley 贏得無人駕駛汽車挑戰賽2005
深度學習論文發表2006
IBM的沃森機器人問答比賽奪魁2011
谷歌啟動谷歌大腦2011
蘋果公司的Siri上線2012
微軟通用實時翻譯系統2012
微軟Cortana 上線2014
網路度秘2015
IBM發布truenorth晶元2014
阿爾法狗打敗人類棋手2016

『玖』 機器學習的發展史

機器學習是人工智慧研究較為年輕的分支，它的發展過程大體上可分為4個時期。
第一階段是在20世紀50年代中葉到60年代中葉，屬於熱烈時期。
第二階段是在20世紀60年代中葉至70年代中葉，被稱為機器學習的冷靜時期。
第三階段是從20世紀70年代中葉至80年代中葉，稱為復興時期。
機器學習的最新階段始於1986年。
機器學習進入新階段的重要表現在下列諸方面：
(1) 機器學習已成為新的邊緣學科並在高校形成一門課程。它綜合應用心理學、生物學和神經生理學以及數學、自動化和計算機科學形成機器學習理論基礎。
(2) 結合各種學習方法，取長補短的多種形式的集成學習系統研究正在興起。特別是連接學習符號學習的耦合可以更好地解決連續性信號處理中知識與技能的獲取與求精問題而受到重視。
(3) 機器學習與人工智慧各種基礎問題的統一性觀點正在形成。例如學習與問題求解結合進行、知識表達便於學習的觀點產生了通用智能系統SOAR的組塊學習。類比學習與問題求解結合的基於案例方法已成為經驗學習的重要方向。
(4) 各種學習方法的應用范圍不斷擴大，一部分已形成商品。歸納學習的知識獲取工具已在診斷分類型專家系統中廣泛使用。連接學習在聲圖文識別中占優勢。分析學習已用於設計綜合型專家系統。遺傳演算法與強化學習在工程式控制制中有較好的應用前景。與符號系統耦合的神經網路連接學習將在企業的智能管理與智能機器人運動規劃中發揮作用。
(5) 與機器學習有關的學術活動空前活躍。國際上除每年一次的機器學習研討會外，還有計算機學習理論會議以及遺傳演算法會議。

『拾』 人工神經網路的發展歷史

1943年，心理學家W.S.McCulloch和數理邏輯學家W.Pitts建立了神經網路和數學模型，稱為MP模型。他們通過MP模型提出了神經元的形式化數學描述和網路結構方法，證明了單個神經元能執行邏輯功能，從而開創了人工神經網路研究的時代。1949年，心理學家提出了突觸聯系強度可變的設想。60年代，人工神經網路得到了進一步發展，更完善的神經網路模型被提出，其中包括感知器和自適應線性元件等。M.Minsky等仔細分析了以感知器為代表的神經網路系統的功能及局限後，於1969年出版了《Perceptron》一書，指出感知器不能解決高階謂詞問題。他們的論點極大地影響了神經網路的研究，加之當時串列計算機和人工智慧所取得的成就，掩蓋了發展新型計算機和人工智慧新途徑的必要性和迫切性，使人工神經網路的研究處於低潮。在此期間，一些人工神經網路的研究者仍然致力於這一研究，提出了適應諧振理論（ART網）、自組織映射、認知機網路，同時進行了神經網路數學理論的研究。以上研究為神經網路的研究和發展奠定了基礎。1982年，美國加州工學院物理學家J.J.Hopfield提出了Hopfield神經網格模型，引入了「計算能量」概念，給出了網路穩定性判斷。 1984年，他又提出了連續時間Hopfield神經網路模型，為神經計算機的研究做了開拓性的工作，開創了神經網路用於聯想記憶和優化計算的新途徑，有力地推動了神經網路的研究，1985年，又有學者提出了波耳茲曼模型，在學習中採用統計熱力學模擬退火技術，保證整個系統趨於全局穩定點。1986年進行認知微觀結構地研究，提出了並行分布處理的理論。1986年，Rumelhart, Hinton, Williams發展了BP演算法。Rumelhart和McClelland出版了《Parallel distribution processing: explorations in the microstructures of cognition》。迄今，BP演算法已被用於解決大量實際問題。1988年，Linsker對感知機網路提出了新的自組織理論，並在Shanon資訊理論的基礎上形成了最大互信息理論，從而點燃了基於NN的信息應用理論的光芒。1988年，Broomhead和Lowe用徑向基函數(Radial basis function, RBF)提出分層網路的設計方法，從而將NN的設計與數值分析和線性適應濾波相掛鉤。90年代初，Vapnik等提出了支持向量機(Support vector machines, SVM)和VC(Vapnik-Chervonenkis)維數的概念。人工神經網路的研究受到了各個發達國家的重視，美國國會通過決議將1990年1月5日開始的十年定為「腦的十年」，國際研究組織號召它的成員國將「腦的十年」變為全球行為。在日本的「真實世界計算（RWC）」項目中，人工智慧的研究成了一個重要的組成部分。