正則化是什麼意思？，正則化技術解析

品牌型號：聯想 YOGA 14c/系統版本：windows10

正則化(regularization)，是指在線性代數理論中，不適定問題通常是由一組線性代數方程定義的，而且這組方程組通常來源於有着很大的條件數的不適定反問題。大條件數意味着舍入誤差或其它誤差會嚴重地影響問題的結果。

正則化主要用於解決以下兩種問題：

1、正則化就是對最小化經驗誤差函數上加約束，這樣的約束可以解釋爲先驗知識(正則化參數等價於對參數引入先驗分佈)。約束有引導作用，在優化誤差函數的時候傾向於選擇滿足約束的梯度減少的方向，使最終的解傾向於符合先驗知識(如一般的l-norm先驗，表示原問題更可能是比較簡單的，這樣的優化傾向於產生參數值量級小的解，一般對應於稀疏參數的平滑解)。

2、同時，正則化解決了逆問題的不適定性，產生的解是存在，唯一同時也依賴於數據的，噪聲對不適定的影響就弱，解就不會過擬合，而且如果先驗(正則化)合適，則解就傾向於是符合真解(更不會過擬合了)，即使訓練集中彼此間不相關的樣本數很少。