最優化在航空航天、生命科學、水利科學、地球科學、工程技術等自然科學領域和經濟金融等社會科學領域有著廣泛和重要的應用, 它的研究和發展一直得到廣泛的關注. 最優化的研究包含理論、方法和應用.最優化理論主要研究問題解的最優性條件、靈敏度分析、解的存在性和一般復雜性等.而最優化方法研究包括構造新算法、證明解的收斂性、算法的比較和復雜性等.最優化的應用研究則包括算法的實現、算法的程序、軟件包及商業化、在實際問題的應用. 這里簡介一下線性和非線性最優化理論、方法及應用研究的發展狀況。

1. 線性最優化

線性最優化, 又稱線性規劃, 是運籌學中應用最廣泛的一個分支.這是因為自然科學和社會科學中許多問題都可以近似地化成線性規劃問題. 線性規劃理論和算法的研究及發展共經歷了三個高潮, 每個高潮都引起了社會的極大關注. 線性規劃研究的第一高潮是著名的單純形法的研究. 這一方法是Dantzig在1947年提出的,它以成熟的算法理論和完善的算法及軟件統治線性規劃達三十多年. 隨著60年代發展起來的計算復雜性理論的研究, 單純形法在七十年代末受到了挑戰. 1979年前蘇聯數學家Khachiyan提出了第一個理論上優于單純形法的所謂多項式時間算法--橢球法, 曾成為轟動一時的新聞, 并掀起了研究線性規劃的第二個高潮. 但遺憾的是廣泛的數值試驗表明, 橢球算法的計算比單純形方法差。

1984年Karmarkar提出了求解線性規劃的另一個多項式時間算法. 這個算法從理論和數值上都優于橢球法, 因而引起學術界的極大關注, 并由此掀起了研究線性規劃的第三個高潮. 從那以后, 許多學者致力于改進和完善這一算法,得到了許多改進算法.這些算法運用不同的思想方法均獲得通過可行區域內部的迭代點列, 因此統稱為解線性規劃問題的內點算法.目前內點算法正以不可抗拒的趨勢將超越和替代單純形法。

線性規劃的軟件, 特別是由單純形法所形成的軟件比較成熟和完善.這些軟件不僅可以解一般線性規劃問題, 而且可以解整數線性規劃問題、進行靈敏度分析, 同時可以解具有稀疏結構的大規模問題.CPLEX是Bixby基于單純形法研制的解線性和整數規劃的軟件 。此外,這個軟件也可以用來解凸二次規劃問題, 且特別適合解大規模問題. PROC LP是SAS軟件公司研制的SAS商業軟件中OR模塊的一個程序。

這個程序是根據兩階段單純形法研制的,可以用來解線性和整數規劃問題并可進行靈敏度分析, 是一個比較完善的程序.用戶可以根據需要選擇不同的參數來滿足不同的要求。關于內點法的軟件也在研制之中.BPMPD是Cs.Mzos基于原始對偶內點法研制的解線性和整數規劃的軟件。

此外,在互聯網上能訪問到的解線性和整數規劃問題的軟件還有:EQPS（線性，整數和非線性規劃）,FMP（線性和混合整數規劃），HS/LPLO（線性規劃），KORBX（線性規劃），LAMPS（線性和整數規劃），LPBLP（線性規劃），MILP（混合整數規劃），MINTO（混合整數規劃）， MPSIII（線性和混合整數規劃），OML（線性和混合整數規劃）， OSL（線性，二次和混合整數規劃），PROCLP（線性和整數規劃），WB（線性和混合整數規劃），WHIZARD（線性和混合整數規劃），XPRESSMP（線性和混合整數規劃）等。

2.非線性最優化

在實際研究工作和生產實踐中存在大量非線性最優化問題, 把它們完全簡化成線性問題來處理是不妥當的.隨著科學技術和計算機的發展, 這些實際問題具有這樣一些特點.一是問題的變量比較多, 因為問題涉及的因素越來越多; 二是問題的規模越來越大;三是問題越來越復雜, 問題的非線性程度越來越高. 這類問題通常描述成在一組非線性約束條件下尋求某一非線性目標函數的最小或最大值。

非線性規劃的一個重要理論是1951年Kuhn-Tucker最優條件(簡稱KT條件)的建立.此后的50年代主要是對梯度法和牛頓法的研究.以Davidon(1959), Fletcher和Powell(1963)提出的DFP方法為起點, 60年代是研究擬牛頓方法活躍時期, 同時對共軛梯度法也有較好的研究. 在1970年由Broyden,Fletcher,Goldfarb 和Shanno從不同的角度共同提出的BFGS方法是目前為止最有效的擬牛頓方法. 由于Broyden, Dennis 和More的工作使得擬牛頓方法的理論變得很完善. 70年代是非線性規劃飛速發展時期, 約束變尺度(SQP)方法(Han和Powell為代表)和Lagrange乘子法(代表人物是Powell 和Hestenes)是這一時期主要研究成果.計算機的飛速發展使非線性規劃的研究如虎添翼.80年代開始研究信賴域法、稀疏 擬牛頓法、大規模問題的方法和并行計算, 90年代研究解非線性規劃問題的內點法和有限儲存法. 可以毫不夸張的說, 這半個世紀是最優化發展的黃金時期。

與線性規劃相比，非線性規劃軟件還不夠完善. 但是已有大量解非線性規劃問題的軟件, 其中有相當一部分可從互聯網上免費下載.BTN是利用線搜索技術的塊截斷牛頓方法解無約束問題的軟件，近似牛頓方向是通過塊共軛梯度法解牛頓方程得到. 塊狀結構比較方便對線性代數方程和函數計算進行并行化處理. BTN有兩個版本: 簡本和用戶版本. 簡本不需并行化技術, 而用戶版本允許多種復雜運算，包含并行化處理。

BQPD是Fletcher研制的解二次規劃的軟件, 所使用的基本方法是零空間積極集法. DONLP2是Spellucci研制的用SQP方法解一般非線性約束問題的軟件，適合解小規模優化問題，HOOKE是解無約束最優化問題的一個直接方法的軟件，LANCELOT是由Conn,Gould和Toint研制的解大規模最優化問題的軟件包,適合解無約束最優化、非線性最小二乘、邊界約束最優化和一般約束最優化問題.這個軟件的基本思想是利用增廣Lagrange函數來處理約束條件, 在每步迭代中解一個邊界約束優化子問題, 其所用的方法結合信賴域和投影梯度等技術。

MINPACK是美國Argonne國家實驗室研制的軟件包，適合求解非線性方程組和非線性最小二乘問題, 所用的基本方法是阻尼最小二乘法, 此軟件可以從網上圖書館獲得. PROC NLP是SAS軟件公司研制的SAS商業軟件中OR模塊的一個程序，這個程序適合解無約束最優化、非線性最小二乘、線性約束最優化、二次規劃和一般約束最優化問題.TENMIN是Schnabel等研制的解中小規模問題的張量方法軟件。在互聯網上能訪問到的解非線性最優化問題的軟件還有:CONOPT（非線性規劃），DOT（優化設計工具箱），Excel and Quattro Pro Solvers（線性，整數和非線性規劃），FSQP（非線性規劃和極小極大問題），GRG2（非線性規劃)， LBFGS（有限儲存法），LINDO（線性、二次和混合整數規劃），LSSOL（最小二乘和二次規劃），MINOS（線性和非線性規劃），NLPJOB（非線性多目標規劃）， OPTPACK（約束和無約束最優化）,PETS（解非線性方程組和無約束問題的并行算法），QPOPT（線性和二次規劃）,SQOPT（大規模線性和凸二次規劃），SNOPT（大規模線性、二次和非線性規劃），SPRNLP（稀疏最小二乘,稀疏和稠密非線性規劃），SYSFIT（非線性方程組的參數估計），TENSOLVE（非線性方程組和最小二乘），VE10(非線性最小二乘)等。

3.最優化的應用

最優化的應用是非常廣泛的, 下面僅就最優化在金融和航空方面的應用作一點介紹。

3.1金融和最優化

隨著世界經濟的發展和知識經濟的到來, 金融數學已變成一個熱門研究課題,普遍得到各國政府的重視和支持. 而金融數學的一個重要方面是與優化理論及算法相聯系的. 諾貝爾經濟學獎得主馬爾柯維茨提出證券組合選擇的均值--方差模型(MV模型)便是一個二次規劃問題. 這個模型使得證券組合選擇方法實現了從定性描述到定量描述質的飛躍,使得人們可以科學而準確地分析與選擇投資策略。

3.2 航空和最優化

最優化在航空方面的應用也很多.從90年代引起國際學術界重視的"氣動數值優化設計"是計算流體力學和優化設計技術相結合來研究飛行器氣動性能及其它流動問題的方法. 這一方法的研究包含了大量的最優化算法和應用研究。

在航空航天廣泛應用的結構優化設計是最近三十多年來發展起來的一門新興的現代化科學技術它的發展是與最優化理論和方法的發展是密不可分的從60年代起, 結構設計問題開始用一般非線性規劃問題來處理. 此后, 一種新的優化理論和方法一出現并被用到結構設計問題上來, 從而推動了結構優化設計的快速發展.目前處于優化研究熱點的信賴域法被用于解飛機設計中顫振問題模型, 收到了良好效果。

編輯：fqj