Python實現所有算法-二分法

Python實現所有算法-力系統是否靜態平衡

Python實現所有算法-力系統是否靜態平衡（補篇）

Python實現所有算法-高斯消除法

Python實現所有算法-牛頓-拉夫遜（拉弗森）方法

Python實現所有算法-雅可比方法（Jacobian）

Python實現所有算法-矩陣的LU分解

Python實現所有算法-牛頓前向插值

兄弟們！今天的簡單，我直接給大家表演徒手求導。

求導是數學計算中的一個計算方法，它的定義就是，當自變量的增量趨于零時，因變量的增量與自變量的增量之商的極限。在一個函數存在導數時，稱這個函數可導或者可微分。可導的函數一定連續。不連續的函數一定不可導。

這個圖一定不可以錯過

基本的做法是這樣的

對于一種數學的運算，我們總是給出滿足的規則

其實哇，這些東西我寫的沒有意義，在座的各位都學過高等數學，數學分析，而且高中還學了兩年。概念不是啥問題。

如果是為了科普，我推薦這本可愛的漫畫書（是數學書啦~）

給大家看一個簡單的頁面，是不是很有趣

對一首歌的趨勢的曲線說明

書中的內容可能不深，但是這種寓教于樂的方式真的很好，至少這就是大眾接受的數學。

其次我推薦這本書，你有沒有想過微積分風風雨雨這么多年，誕生之初是什么樣的？

本書給你答案

這本書我可太喜歡了，點到為止，是我對本書的評價，是一本真的可以一本書讀下去的數學書。

隨便截圖一個，點明對我們的需求來說，這樣就足夠了

非常的簡潔，很OK

還有一套是托馬斯微積分，awesome的好書，1k5多的頁數，讓人直呼過癮

另外張景中院士的直來直去微積分真的很有特色，本書的特點是不使用極限和無窮小的概念，直截了當的給出函數的基本概念。

這段話是對書的最好詮釋

真的這些書給人以舍不得讀下去的感覺，因為讀完就沒有了

如果上面的你覺得太簡單了，微積分筆記這本書是對于數學分析方方面面的一個題集總結。

有代表性的習題加上簡短的定理總結，不可多得好書

因為Latex的排版，在美觀上面也是香的一比

emmmm，如果你想在通俗和嚴謹之間得到一個平衡，我個人覺得經濟學的教材是很好的。

最后讓我再推薦一下黃皮書，yyds！！！

同系列的還有這本，還有一本是線性代數就該這樣學

在最后讓我隆重的安利一下，全美經典的教材，統計學原理講的真的是NO.1

內容豐富嗷

內容也很好，推薦一讀

按照我老師的說法，我的理論已經ok了，所以要拉我去做題，emmmm。

這個我不用多說吧？？？

事實上，這次要講的確實是求導，但是比哪個東西高級。

在微積分中，牛頓法是一種迭代方法，用于求可微函數F的根，它是方程F （ x ） = 0的解。因此，牛頓法可以應用于二次可微函數f的導數f ‘以求導數的根（f ’（ x ） = 0的解），也稱為f的臨界點 。 這些解可能是最小值、最大值或鞍點。這與優化有關，優化旨在找到函數f的（全局）最小值。

優化的核心問題是函數的最小化。讓我們首先考慮單變量函數的情況，即單個實變量的函數。

找最小

這是基本牛頓法：

理論是這樣的

這是最終的更新公式

接下來再細講，并不是所有的方程都有求根公式，或者求根公式很復雜，導致求解困難。利用牛頓法，可以迭代求解。

原理是利用泰勒公式，在x0處展開，且展開到一階，即f（x） = f（x0）+（x－x0）f‘（x0）

求解方程f（x）=0，即f（x0）+（x-x0）*f’（x0）=0，求解x = x1=x0－f（x0）/f‘（x0），因為這是利用泰勒公式的一階展開，f（x） = f（x0）+（x－x0）f’（x0）處并不是完全相等，而是近似相等，這里求得的x1并不能讓f（x）=0，只能說f（x1）的值比f（x0）更接近f（x）=0，于是乎，迭代求解的想法就很自然了，可以進而推出x（n+1）=x（n）－f（x（n））/f‘（x（n）），通過迭代，這個式子必然在f（x*）=0的時候收斂。整個過程如下圖：

這是求根

接下來是最優化，對一個目標函數f，求函數f的極大極小問題，可以轉化為求解函數f的導數f’=0的問題，這樣求可以把優化問題看成方程求解問題（f‘=0）。

剩下的問題就和第一部分提到的牛頓法求解很相似了。為了求解f’=0的根，把f（x）的泰勒展開，展開到2階形式：

當且小三角無限趨于0 的時候

這個成立

我們的最終迭代公式就出來了

值得更新公式

牛頓法用于函數最優化求解”中對函數二階泰勒公式展開求最優值的方法稱為：Newton法，

牛頓法用于方程求解”中對函數一階泰勒展開求零點的方法稱為：Guass-Newton（高斯牛頓）法。

這次得比較難。。。就提前寫好求導：

這個公式就是上面的更新公式

我們提前把函數和求導的函數寫好

原文標題：Python實現所有算法-牛頓優化法

文章出處：【微信公眾號：云深之無跡】歡迎添加關注！文章轉載請注明出處。