粒子群演算法的發展歷史

A. 粒子群演算法的優缺點

優點：PSO同遺傳演算法類似，是一種基於迭代的優化演算法。系統初始化為一組隨機解，通過迭代搜尋最優值。同遺傳演算法比較，PSO的優勢在於簡單容易實現，並且沒有許多參數需要調整。

缺點：在某些問題上性能並不是特別好。網路權重的編碼而且遺傳運算元的選擇有時比較麻煩。最近已經有一些利用PSO來代替反向傳播演算法來訓練神經網路的論文。

(1)粒子群演算法的發展歷史擴展閱讀：

注意事項：

基礎粒子群演算法步驟較為簡單。粒子群優化演算法是由一組粒子在搜索空間中運動，受其自身的最佳過去位置pbest和整個群或近鄰的最佳過去位置gbest的影響。

對於有些改進演算法，在速度更新公式最後一項會加入一個隨機項，來平衡收斂速度與避免早熟。並且根據位置更新公式的特點，粒子群演算法更適合求解連續優化問題。

B. pso的來源背景

為了說明粒子群優化演算法的發展和形成背景，首先介紹一下早期的簡單模型，即Boid（Bird-oid）模型。這個模型是為了模擬鳥群的行為而設計的，它也是粒子群優化演算法的直接來源。
一個最簡單的模型是這樣的：每一個鳥的個體用直角坐標繫上的點表示，隨機地給它們賦一個初速度和初位置，程序運行的每一步都按照「最近鄰速度匹配」規則，很快就會使得所有點的速度變得一樣。因為這個模擬太簡單而且遠離真實情況，於是在速度項中增加了一個隨機變數，即在迭代的每一步，除了滿足「最近鄰速度匹配」之外，每一步速度還要添加一個隨機變化的量，這樣使得整個模擬看起來更為真實。
Heppner設計了一個「谷地模型」來模擬鳥群的覓食行為。假設在平面上存在一個「谷地」，即食物所在地，鳥群開始時隨機地分散在平面上，為了尋覓食物所在地，它們按照如下規則運動：
首先假設谷地的位置坐標為(x0,y0)，單個鳥的位置和速度坐標分別為和(x,y)，用當前位置到谷地的距離s：來衡量當前位置和速度的「好壞程度」，離谷地的距離越近，則越「好」，反之越「壞」。假設每一個鳥具有記憶能力，能夠記住曾經達到的最好位置，記作pBest，並記a為系統規定的速度調節常數，rand為一個[0,1]間的隨機數，設定速度項按照下述規則變化：
然後假設群體之間可以以某種方式通訊，每個個體能夠知道並記住到當前為止整個群體的最好位置，記為gBest，記b為系統規定的速度調節常數，Rand為一個[0,1]間的隨機數，則速度項在經過以上調整後，還必須按照下述規則變化：
在計算機上模擬的結果顯示：當a/b較大時，所有的個體很快地聚集到「谷地」上；反之，粒子緩慢地搖擺著聚集到「谷地」的四周。通過這個簡單的模擬，發現群體能很快地找到一個簡單函數（2-1）的最優點。受該模型啟發，Kennedy和Eberhart設計出了一種演化優化演算法，並通過不斷的試驗和試錯，最後將此演算法的基本型固定為：
其中符號的意義同上。研究者認為每個個體被抽象為沒有質量和體積，而僅僅具有速度和位置的微粒，故將此方法稱為「粒子群」優化演算法。
據此，可對粒子群演算法小結如下：粒子群演算法是一種基於種群的搜索過程，其中每個個體稱作微粒，定義為在D維搜索空間中待優化問題的潛在解，保存有其歷史最優位置和所有粒子的最優位置的記憶，以及速度。在每一演化代，微粒的信息被組合起來調整速度關於每一維上的分量，繼而被用來計算新的微粒位置。微粒在多維搜索空間中不斷改變它們的狀態，直到到達平衡或最優狀態，或者超過了計算限制為止。問題空間的不同維度之間唯一的聯系是通過目標函數引入的。很多經驗證據已經顯示該演算法是一個非常有效的優化工具。微粒群優化演算法的流程圖見圖2-1。
以下給出微粒群演算法的比較完整的形式化表述。在連續空間坐標系中，微粒群演算法的數學描述如下：設微粒群體規模為N，其中每個微粒在D維空間中的坐標位置向量表示為，速度向量表示為，微粒個體最優位置（即該微粒經歷過的最優位置）記為，群體最優位置（即該微粒群中任意個體經歷過的最優位置）記為。不失一般性，以最小化問題為例，在最初版本的微粒群演算法中，個體最優位置的迭代公式為：
群體最優位置為個體最優位置中最好的位置。速度和位置迭代公式分別為：
由於初始版本在優化問題中應用時效果並不太好，所以初始演算法提出不久之後就出現了一種改進演算法，在速度迭代公式中引入了慣性權重ω，速度迭代公式變為：
雖然該改進演算法與初始版本相比復雜程度並沒有太大的增加，但是性能卻有了很大的提升，因而被廣泛使用。一般的，將該改進演算法稱為標准微粒群演算法，而將初始版本的演算法稱為原始微粒群演算法。
通過分析PSO演算法的收斂行為，Clerc介紹了一種帶收縮因子的PSO演算法變種，收縮因子保證了收斂性並提高了收斂速度。此時的速度迭代公式為：
顯然，迭代公式（2-7）和（2-8）並無本質區別，只要適當選取參數，二者完全相同。
微粒群演算法有兩種版本，分別稱為全局版本和局部版本。在全局版本中，微粒跟蹤的兩個極值為自身最優位置pBest和種群最優位置gBest。對應的，在局部版本中，微粒除了追隨自身最優位置pBest之外，不跟蹤種群最優位置gBest，而是跟蹤拓撲鄰域中的所有微粒的最優位置nBest。對於局部版本，速度更新公式（2-7）變為：
其中為局部鄰域中的最優位置。
每一代中任意微粒迭代的過程見圖2-2所示。從社會學的角度來看速度迭代公式，其中第一部分為微粒先前速度的影響，表示微粒對當前自身運動狀態的信任，依據自身的速度進行慣性運動，因此參數ω稱為慣性權重（Inertia Weight）；第二部分取決於微粒當前位置與自身最優位置之間的距離，為「認知（Cognition）」部分，表示微粒本身的思考，即微粒的運動來源於自己經驗的部分，因此參數c1稱為認知學習因子（也可稱為認知加速因子）；第三部分取決於微粒當前位置與群體中全局（或局部）最優位置之間的距離，為「社會（Social）」部分，表示微粒間的信息共享與相互合作，即微粒的運動來源於群體中其他微粒經驗的部分，它通過認知模擬了較好同伴的運動，因此參數c2稱為社會學習因子（也可稱為社會加速因子）。
自從PSO演算法被提出以來，由於它直觀的背景，簡單而容易實現的特點，以及對於不同類型函數廣泛的適應性，逐漸得到研究者的注意。十餘年來，PSO演算法的理論與應用研究都取得了很大的進展，對於演算法的原理已經有了初步的了解，演算法的應用也已經在不同學科中得以實現。
PSO演算法是一種隨機的、並行的優化演算法。它的優點是：不要求被優化函數具有可微、可導、連續等性質，收斂速度較快，演算法簡單，容易編程實現。然而，PSO演算法的缺點在於：（1）對於有多個局部極值點的函數，容易陷入到局部極值點中，得不到正確的結果。造成這種現象的原因有兩種，其一是由於待優化函數的性質；其二是由於微粒群演算法中微粒的多樣性迅速消失，造成早熟收斂。這兩個因素通常密不可分地糾纏在一起。（2）由於缺乏精密搜索方法的配合，PSO演算法往往不能得到精確的結果。造成這種問題的原因是PSO演算法並沒有很充分地利用計算過程中獲得的信息，在每一步迭代中，僅僅利用了群體最優和個體最優的信息。（3）PSO演算法雖然提供了全局搜索的可能，但是並不能保證收斂到全局最優點上。（4）PSO演算法是一種啟發式的仿生優化演算法，當前還沒有嚴格的理論基礎，僅僅是通過對某種群體搜索現象的簡化模擬而設計的，但並沒有從原理上說明這種演算法為什麼有效，以及它適用的范圍。因此，PSO演算法一般適用於一類高維的、存在多個局部極值點而並不需要得到很高精度解的優化問題。
當前針對PSO演算法開展的研究工作種類繁多，經歸納整理分為如下八個大類：（1）對PSO演算法進行理論分析，試圖理解其工作機理；（2）改變PSO演算法的結構，試圖獲得性能更好的演算法；（3）研究各種參數配置對PSO演算法的影響；（4）研究各種拓撲結構對PSO演算法的影響；（5）研究離散版本的PSO演算法；（6）研究PSO演算法的並行演算法；（7）利用PSO演算法對多種情況下的優化問題進行求解；（8）將PSO演算法應用到各個不同的工程領域。以下從這八大類別著手，對PSO演算法的研究現狀作一梳理。由於文獻太多，無法面面俱到，僅撿有代表性的加以綜述。

C. 粒子群演算法的比較

大多數演化計算技術都是用同樣的過程 ：
1.種群隨機初始化
2. 對種群內的每一個個體計算適應值(fitness value).適應值與最優解的距離直接有關
3. 種群根據適應值進行復制
4. 如果終止條件滿足的話，就停止，否則轉步驟2
從以上步驟，我們可以看到PSO和GA有很多共同之處。兩者都隨機初始化種群，而且都使用適應值來評價系統，而且都根據適應值來進行一定的隨機搜索。兩個系統都不是保證一定找到最優解 。 但是，PSO 沒有遺傳操作如交叉(crossover)和變異(mutation). 而是根據自己的速度來決定搜索。粒子還有一個重要的特點，就是有記憶。
與遺傳演算法比較, PSO 的信息共享機制是很不同的. 在遺傳演算法中，染色體(chromosomes) 互相共享信息，所以整個種群的移動是比較均勻的向最優區域移動. 在PSO中, 只有gBest (or pBest) 給出信息給其他的粒子，這是單向的信息流動. 整個搜索更新過程是跟隨當前最優解的過程. 與遺傳演算法比較, 在大多數的情況下，所有的粒子可能更快的收斂於最優解

D. 什麼是粒子群演算法

粒子群演算法，也稱粒子群優化演算法（Partical Swarm Optimization），縮寫為 PSO， 是近年來發展起來的一種新的進化演算法(（Evolu2tionary Algorithm - EA）。PSO 演算法屬於進化演算法的一種，和遺傳演算法相似，它也是從隨機解出發，通過迭代尋找最優解，它也是通過適應度來評價解的品質，但它比遺傳演算法規則更為簡單，它沒有遺傳演算法的「交叉」(Crossover) 和「變異」(Mutation) 操作，它通過追隨當前搜索到的最優值來尋找全局最優。這種演算法以其實現容易、精度高、收斂快等優點引起了學術界的重視，並且在解決實際問題中展示了其優越性。設想這樣一個場景：一群鳥在隨機搜索食物。在這個區域里只有一塊食物。所有的鳥都不知道食物在那裡。但是他們知道當前的位置離食物還有多遠。那麼找到食物的最優策略是什麼呢。最簡單有效的就是搜尋目前離食物最近的鳥的周圍區域。 PSO從這種模型中得到啟示並用於解決優化問題。PSO中，每個優化問題的解都是搜索空間中的一隻鳥。我們稱之為「粒子」。所有的粒子都有一個由被優化的函數決定的適應值(fitness value)，每個粒子還有一個速度決定他們飛翔的方向和距離。然後粒子們就追隨當前的最優粒子在解空間中搜索。 PSO 初始化為一群隨機粒子(隨機解)。然後通過迭代找到最優解。在每一次迭代中，粒子通過跟蹤兩個"極值"來更新自己。第一個就是粒子本身所找到的最優解，這個解叫做個體極值pBest。另一個極值是整個種群目前找到的最優解，這個極值是全局極值gBest。另外也可以不用整個種群而只是用其中一部分作為粒子的鄰居，那麼在所有鄰居中的極值就是局部極值。 粒子公式 在找到這兩個最優值時，粒子根據如下的公式來更新自己的速度和新的位置： v[] = w * v[] + c1 * rand() * (pbest[] - present[]) + c2 * rand() * (gbest[] - present[]) (a) present[] = persent[] + v[] (b) v[] 是粒子的速度, w是慣性權重,persent[] 是當前粒子的位置. pbest[] and gbest[] 如前定義 rand () 是介於（0， 1）之間的隨機數. c1, c2 是學習因子. 通常 c1 = c2 = 2. 程序的偽代碼如下 For each particle ____Initialize particle END Do ____For each particle ________Calculate fitness value ________If the fitness value is better than the best fitness value (pBest) in history ____________set current value as the new pBest ____End ____Choose the particle with the best fitness value of all the particles as the gBest ____For each particle ________Calculate particle velocity according equation (a) ________Update particle position according equation (b) ____End While maximum iterations or minimum error criteria is not attained 在每一維粒子的速度都會被限制在一個最大速度Vmax，如果某一維更新後的速度超過用戶設定的Vmax，那麼這一維的速度就被限定為Vmax

E. 粒子群演算法及應用的介紹

粒子群演算法是一種新的模仿鳥類群體行為的智能優化演算法，現已成為進化演算法的一個新的重要分支。全書共分為八章，分別論述了基本粒子群演算法和改進粒子群演算法的原理，並且詳細介紹了粒子群演算法在函數優化、圖像壓縮和基因聚類中的應用，最後給出了粒子群演算法的應用綜述和相關程序代碼。

F. 粒子群演算法問題請教

不好意思，我只能回答第二個問題。 普遍認為，使用meta-heuristic （元啟發式演算法）是無法保證找到全局最優解的， 如果想證明找到的解是全局最優解，有兩種辦法你可以嘗試： 第一，使用數學方法證明是全局最優解（等於 Lower Bound） ， 第二， 排列出所有可能得解，如果沒有比你所得到的解更優秀的解， 則此解為全局最優解

G. 粒子群演算法的引言

優化問題是工業設計中經常遇到的問題,許多問題最後都可以歸結為優化問題. 為了解決各種各樣的優化問題,人們提出了許多優化演算法,比較著名的有爬山法、遺傳演算法、神經網路演算法等. 一是要求尋找全局最優點,
二是要求有較高的收斂速度. 近年來，一些學者將PSO演算法推廣到約束優化問題，其關鍵在於如何處理好約束，即解的可行性。如果約束處理的不好，其優化的結果往往會出現不能夠收斂和結果是空集的狀況。基於PSO演算法的約束優化工作主要分為兩類：
（1）罰函數法。罰函數的目的是將約束優化問題轉化成無約束優化問題。
（2）將粒子群的搜索范圍都限制在條件約束簇內，即在可行解范圍內尋優。
根據文獻介紹，Parsopoulos等採用罰函數法，利用非固定多段映射函數對約束優化問題進行轉化，再利用PSO演算法求解轉化後問題，模擬結果顯示PSO演算法相對遺傳演算法更具有優越性，但其罰函數的設計過於復雜，不利於求解；Hu等採用可行解保留政策處理約束，即一方面更新存儲中所有粒子時僅保留可行解，另一方面在初始化階段所有粒子均從可行解空間取值，然而初始可行解空間對於許多問題是很難確定的；Ray等提出了具有多層信息共享策略的粒子群原理來處理約束，根據約束矩陣採用多層Pareto排序機制來產生優良粒子，進而用一些優良的粒子來決定其餘個體的搜索方向。
但是，目前有關運用PSO演算法方便實用地處理多約束目標優化問題的理論成果還不多。處理多約束優化問題的方法有很多，但用PSO演算法處理此類問題目前技術並不成熟，這里就不介紹了。 粒子群優化演算法(PSO)是一種進化計算技術(evolutionary computation)，1995 年由Eberhart 博士和kennedy 博士提出，源於對鳥群捕食的行為研究 。該演算法最初是受到飛鳥集群活動的規律性啟發，進而利用群體智能建立的一個簡化模型。粒子群演算法在對動物集群活動行為觀察基礎上，利用群體中的個體對信息的共享使整個群體的運動在問題求解空間中產生從無序到有序的演化過程，從而獲得最優解。
PSO同遺傳演算法類似，是一種基於迭代的優化演算法。系統初始化為一組隨機解，通過迭代搜尋最優值。但是它沒有遺傳演算法用的交叉(crossover)以及變異(mutation)，而是粒子在解空間追隨最優的粒子進行搜索。同遺傳演算法比較，PSO的優勢在於簡單容易實現並且沒有許多參數需要調整。目前已廣泛應用於函數優化，神經網路訓練，模糊系統控制以及其他遺傳演算法的應用領域。

H. 粒子群演算法國內發展

粒子群演算法介紹（摘自http://blog.sina.com.cn/newtech）
優化問題是工業設計中經常遇到的問題,許多問題最後都可以歸結為優化問題. 為了解決各種各樣的優化問題,人們提出了許多優化演算法,比較著名的有爬山法、遺傳演算法等.優化問題有兩個主要問題:一是要求尋找全局最小點,二是要求有較高的收斂速度. 爬山法精度較高,但是易於陷入局部極小. 遺傳演算法屬於進化演算法( Evolutionary Algorithms) 的一種,它通過模仿自然界的選擇與遺傳的機理來尋找最優解. 遺傳演算法有三個基本運算元:選擇、交叉和變異. 但是遺傳演算法的編程實現比較復雜,首先需要對問題進行編碼,找到最優解之後還需要對問題進行解碼,另外三個運算元的實現也有許多參數,如交叉率和變異率,並且這些參數的選擇嚴重影響解的品質,而目前這些參數的選擇大部分是依靠經驗.1995 年Eberhart 博士和kennedy 博士提出了一種新的演算法;粒子群優化(Partical Swarm Optimization -PSO) 演算法 . 這種演算法以其實現容易、精度高、收斂快等優點引起了學術界的重視,並且在解決實際問題中展示了其優越性.

粒子群優化(Partical Swarm Optimization - PSO) 演算法是近年來發展起來的一種新的進化演算法( Evolu2tionary Algorithm - EA) .PSO 演算法屬於進化演算法的一種,和遺傳演算法相似,它也是從隨機解出發,通過迭代尋找最優解,它也是通過適應度來評價解的品質. 但是它比遺傳演算法規則更為簡單,它沒有遺傳演算法的「交叉」(Crossover) 和「變異」(Mutation) 操作. 它通過追隨當前搜索到的最優值來尋找全局最優 .

粒子群演算法

1. 引言

粒子群優化演算法(PSO)是一種進化計算技術(evolutionary computation)，有Eberhart博士和kennedy博士發明。源於對鳥群捕食的行為研究

PSO同遺傳演算法類似，是一種基於疊代的優化工具。系統初始化為一組隨機解，通過疊代搜尋最優值。但是並沒有遺傳演算法用的交叉(crossover)以及變異(mutation)。而是粒子在解空間追隨最優的粒子進行搜索。詳細的步驟以後的章節介紹

同遺傳演算法比較，PSO的優勢在於簡單容易實現並且沒有許多參數需要調整。目前已廣泛應用於函數優化，神經網路訓練，模糊系統控制以及其他遺傳演算法的應用領域

2. 背景: 人工生命

"人工生命"是來研究具有某些生命基本特徵的人工系統. 人工生命包括兩方面的內容

1. 研究如何利用計算技術研究生物現象
2. 研究如何利用生物技術研究計算問題

我們現在關注的是第二部分的內容. 現在已經有很多源於生物現象的計算技巧. 例如, 人工神經網路是簡化的大腦模型. 遺傳演算法是模擬基因進化過程的.

現在我們討論另一種生物系統- 社會系統. 更確切的是, 在由簡單個體組成的群落與環境以及個體之間的互動行為. 也可稱做"群智能"(swarm intelligence). 這些模擬系統利用局部信息從而可能產生不可預測的群體行為

例如floys 和 boids, 他們都用來模擬魚群和鳥群的運動規律, 主要用於計算機視覺和計算機輔助設計.

在計算智能(computational intelligence)領域有兩種基於群智能的演算法. 蟻群演算法(ant colony optimization)和粒子群演算法(particle swarm optimization). 前者是對螞蟻群落食物採集過程的模擬. 已經成功運用在很多離散優化問題上.

粒子群優化演算法(PSO) 也是起源對簡單社會系統的模擬. 最初設想是模擬鳥群覓食的過程. 但後來發現PSO是一種很好的優化工具.

3. 演算法介紹

如前所述，PSO模擬鳥群的捕食行為。設想這樣一個場景：一群鳥在隨機搜索食物。在這個區域里只有一塊食物。所有的鳥都不知道食物在那裡。但是他們知道當前的位置離食物還有多遠。那麼找到食物的最優策略是什麼呢。最簡單有效的就是搜尋目前離食物最近的鳥的周圍區域。

PSO從這種模型中得到啟示並用於解決優化問題。PSO中，每個優化問題的解都是搜索空間中的一隻鳥。我們稱之為「粒子」。所有的例子都有一個由被優化的函數決定的適應值(fitness value)，每個粒子還有一個速度決定他們飛翔的方向和距離。然後粒子們就追隨當前的最優粒子在解空間中搜索

PSO 初始化為一群隨機粒子(隨機解)。然後通過疊代找到最優解。在每一次疊代中，粒子通過跟蹤兩個"極值"來更新自己。第一個就是粒子本身所找到的最優解。這個解叫做個體極值pBest. 另一個極值是整個種群目前找到的最優解。這個極值是全局極值gBest。另外也可以不用整個種群而只是用其中一部分最為粒子的鄰居，那麼在所有鄰居中的極值就是局部極值。

在找到這兩個最優值時, 粒子根據如下的公式來更新自己的速度和新的位置

v[] = v[] + c1 * rand() * (pbest[] - present[]) + c2 * rand() * (gbest[] - present[]) (a)
present[] = persent[] + v[] (b)

v[] 是粒子的速度, persent[] 是當前粒子的位置. pbest[] and gbest[] 如前定義 rand () 是介於（0， 1）之間的隨機數. c1, c2 是學習因子. 通常 c1 = c2 = 2.

程序的偽代碼如下

For each particle
____Initialize particle
END

Do
____For each particle
________Calculate fitness value
________If the fitness value is better than the best fitness value (pBest) in history
____________set current value as the new pBest
____End

____Choose the particle with the best fitness value of all the particles as the gBest
____For each particle
________Calculate particle velocity according equation (a)
________Update particle position according equation (b)
____End
While maximum iterations or minimum error criteria is not attained

在每一維粒子的速度都會被限制在一個最大速度Vmax，如果某一維更新後的速度超過用戶設定的Vmax，那麼這一維的速度就被限定為Vmax

4. 遺傳演算法和 PSO 的比較

大多數演化計算技術都是用同樣的過程
1. 種群隨機初始化
2. 對種群內的每一個個體計算適應值(fitness value).適應值與最優解的距離直接有關
3. 種群根據適應值進行復制
4. 如果終止條件滿足的話，就停止，否則轉步驟2

從以上步驟，我們可以看到PSO和GA有很多共同之處。兩者都隨機初始化種群，而且都使用適應值來評價系統，而且都根據適應值來進行一定的隨機搜索。兩個系統都不是保證一定找到最優解

但是，PSO 沒有遺傳操作如交叉(crossover)和變異(mutation). 而是根據自己的速度來決定搜索。粒子還有一個重要的特點，就是有記憶。

與遺傳演算法比較, PSO 的信息共享機制是很不同的. 在遺傳演算法中，染色體(chromosomes) 互相共享信息，所以整個種群的移動是比較均勻的向最優區域移動. 在PSO中, 只有gBest (or lBest) 給出信息給其他的粒子，這是單向的信息流動. 整個搜索更新過程是跟隨當前最優解的過程. 與遺傳演算法比較, 在大多數的情況下，所有的粒子可能更快的收斂於最優解

5. 人工神經網路 和 PSO

人工神經網路(ANN)是模擬大腦分析過程的簡單數學模型，反向轉播演算法是最流行的神經網路訓練演算法。進來也有很多研究開始利用演化計算(evolutionary computation)技術來研究人工神經網路的各個方面。

演化計算可以用來研究神經網路的三個方面：網路連接權重，網路結構(網路拓撲結構，傳遞函數)，網路學習演算法。

不過大多數這方面的工作都集中在網路連接權重，和網路拓撲結構上。在GA中，網路權重和/或拓撲結構一般編碼為染色體(Chromosome)，適應函數(fitness function)的選擇一般根據研究目的確定。例如在分類問題中，錯誤分類的比率可以用來作為適應值

演化計算的優勢在於可以處理一些傳統方法不能處理的例子例如不可導的節點傳遞函數或者沒有梯度信息存在。但是缺點在於：在某些問題上性能並不是特別好。2. 網路權重的編碼而且遺傳運算元的選擇有時比較麻煩

最近已經有一些利用PSO來代替反向傳播演算法來訓練神經網路的論文。研究表明PSO 是一種很有潛力的神經網路演算法。PSO速度比較快而且可以得到比較好的結果。而且還沒有遺傳演算法碰到的問題

這里用一個簡單的例子說明PSO訓練神經網路的過程。這個例子使用分類問題的基準函數(Benchmark function)IRIS數據集。(Iris 是一種鳶尾屬植物) 在數據記錄中，每組數據包含Iris花的四種屬性：萼片長度，萼片寬度，花瓣長度，和花瓣寬度，三種不同的花各有50組數據. 這樣總共有150組數據或模式。

我們用3層的神經網路來做分類。現在有四個輸入和三個輸出。所以神經網路的輸入層有4個節點，輸出層有3個節點我們也可以動態調節隱含層節點的數目，不過這里我們假定隱含層有6個節點。我們也可以訓練神經網路中其他的參數。不過這里我們只是來確定網路權重。粒子就表示神經網路的一組權重，應該是4*6+6*3=42個參數。權重的范圍設定為[-100，100] (這只是一個例子，在實際情況中可能需要試驗調整).在完成編碼以後，我們需要確定適應函數。對於分類問題，我們把所有的數據送入神經網路，網路的權重有粒子的參數決定。然後記錄所有的錯誤分類的數目作為那個粒子的適應值。現在我們就利用PSO來訓練神經網路來獲得盡可能低的錯誤分類數目。PSO本身並沒有很多的參數需要調整。所以在實驗中只需要調整隱含層的節點數目和權重的范圍以取得較好的分類效果。

6. PSO的參數設置

從上面的例子我們可以看到應用PSO解決優化問題的過程中有兩個重要的步驟: 問題解的編碼和適應度函數
PSO的一個優勢就是採用實數編碼, 不需要像遺傳演算法一樣是二進制編碼(或者採用針對實數的遺傳操作.例如對於問題 f(x) = x1^2 + x2^2+x3^2 求解, 粒子可以直接編碼為 (x1, x2, x3), 而適應度函數就是f(x). 接著我們就可以利用前面的過程去尋優.這個尋優過程是一個疊代過程, 中止條件一般為設置為達到最大循環數或者最小錯誤

PSO中並沒有許多需要調節的參數,下面列出了這些參數以及經驗設置

粒子數: 一般取 20 – 40. 其實對於大部分的問題10個粒子已經足夠可以取得好的結果, 不過對於比較難的問題或者特定類別的問題, 粒子數可以取到100 或 200

粒子的長度: 這是由優化問題決定, 就是問題解的長度

粒子的范圍: 由優化問題決定,每一維可是設定不同的范圍

Vmax: 最大速度,決定粒子在一個循環中最大的移動距離,通常設定為粒子的范圍寬度,例如上面的例子里,粒子 (x1, x2, x3) x1 屬於 [-10, 10], 那麼 Vmax 的大小就是 20

學習因子: c1 和 c2 通常等於 2. 不過在文獻中也有其他的取值. 但是一般 c1 等於 c2 並且范圍在0和4之間

中止條件: 最大循環數以及最小錯誤要求. 例如, 在上面的神經網路訓練例子中, 最小錯誤可以設定為1個錯誤分類, 最大循環設定為2000, 這個中止條件由具體的問題確定.

全局PSO和局部PSO: 我們介紹了兩種版本的粒子群優化演算法: 全局版和局部版. 前者速度快不過有時會陷入局部最優. 後者收斂速度慢一點不過很難陷入局部最優. 在實際應用中, 可以先用全局PSO找到大致的結果,再有局部PSO進行搜索.

另外的一個參數是慣性權重, 由Shi 和Eberhart提出, 有興趣的可以參考他們1998年的論文(題目: A modified particle swarm optimizer)

I. 粒子群演算法的應用

這個問題樓主明顯可以google一下，比如
http://www.google.com/search?hl=en&source=hp&q=%E7%B2%92%E5%AD%90%E7%BE%A4%E7%AE%97%E6%B3%95%E4%BB%8B%E7%BB%8D&aq=1&aqi=g10&aql=&oq=%E7%B2%92%E5%AD%90%E7%BE%A4%E7%AE%97%E6%B3%95&gs_rfai=