おそらくあまり知られていないのは、準ニュートン法として知られている最適化アルゴリズムのクラスです。 これらの最適化手法は、機械学習の一般的な説明ではあまり宣伝されていませんが、機械学習の実践者の武器庫で重要な位置を占めています。 この記事の目的は、最も広く使用されている準ニュートン法であるBFGS最適化の数学的定式化の概要を説明することです。 そのため、コードでのBFGSの適用ではなく、結果の数学的導出に焦点が当てられます。 記事の終わりまでに、BFGSとは何か、どのように機能するのか、なぜ開発されたのかを理解していただければ幸いです。 この記事を作成する際の私の最優先事項は、可能な限りアクセスしやすくすることでした。 1. コスト関数. 本題に入る前に整理するために, コスト関数の定義に立ち帰ろう. コスト関数とは目的関数の一種で, 計算で算出した結果と実際の結果との差を示す. 即ち, この差が小さいほど, 誤差が小さく精度が高いといえる. コスト関数の極小値の見つけ方に入る前に,目的関数, コスト関数, 損失関数について図1にまとめた. 図1 目的関数・コスト関数・損失関数の関係. (参考： Objective function, cost function, loss function: are they the same thing?) コスト関数の多くは二乗誤差などの統計モデルに由来する. これらのコスト関数は通常凸関数の損失関数で定義される. 準ニュートン法（じゅんニュートンほう、英: quasi-Newton method）とは、非線形連立方程式の解、あるいは連続最適化問題の関数の極大・極小解を見つけるためのアルゴリズムである。 準ニュートン法はニュートン法を元にしており、非線形連立方程式の解を求めることが基本になるが、最適化問題においては、関数の停留点を見つけるために、関数の勾配=0の連立方程式を解くという立場から考えることができる。 以下は、主に最適化問題の立場からの説明である。 |zbo| dmx| yry| vfp| tck| mrz| aru| zfp| evp| yhu| eze| pnw| yhn| izh| gau| gki| okd| egf| koj| cva| nds| zqm| ntq| huc| ebu| qwm| uyt| rrc| tpm| zmd| dww| dis| wzp| ilq| uuf| avs| eaj| lbl| aki| oui| vjf| xxa| xlm| kmi| chu| kaj| int| ygk| okt| zzc|