L1范数正则化（ L1 regularization 或 lasso ）是机器学习（machine learning）中重要的⼿段，在（support vector machine）学习过程中，实际是⼀种对于(cost function)求解最优的过程，因此，L1范数正则化通过向成本函数中添加L1范数，使得学习得到的结果满⾜稀疏化(sparsity)，从⽽⽅便⼈们提取特征。化学镀镍磷
声阻抗率L1范数正则化定义
L1范数（L1 norm）是指向量中各个元素绝对值之和，也有个美称叫“稀疏规则算⼦”（Lassoregularization）。
⽐如向量，那么A的L1范数为
L1范数正则化原理
在（support vectormachine）学习过程中，实际是⼀种对于(cost function)求解最优的过程。
保健食品良好生产规范
成本函数的构建原理：
例如，我们有⼀个数学模型的样⼦(structure)，，其中x是输⼊，y是输出。如果我们已知，那么我们可以根据任何输⼊x的值，知道输出y的值。这叫预测(prediction)。 因此，问题进化为，我们⼿⾥有很对很多组x对应的y，但是不知道！我们想通过测量很多组的x和y，来推断出为多少。
对二甲苯我们将T记为，记为。
那么原式则写为
若，那么
因此我们现在知道和，我们希望通过计算得到！
由于我们⼿中的很多组x和y都是通过实验的结果测试出来的。测量的结果就会有误差，因此不可能计算的精准，那么我们很容易想到使⽤(least square) 来计算。
我们构建⼀个⽅程，这个⽅程也是最⼩⼆乘法的核⼼
⽀持向量机的本质，就是到⼀组，能够让最⼩！
因此，就是我们的成本函数。
成都理工学院学报
⽤最⼩⼆乘法学习的问题：
如果我们的问题是’‘（grey box）（即我们已经知道数学模型，⽽不知道参数），直接⽤最⼩⼆乘法到是很简洁的。
山东国际商会出国留学服务中心如果我们的问题是‘⿊箱’（black box）（即我们既不知道数学模型，也不知道参数），在拟合时，我们就不知道我们需要⽤⼏阶的多项式模型来逼近（或者⼏个核函数来逼近（kernel function），为了简便，不在这⾥赘述）。那么我们甚⾄连的个数都不知道。
我们只能通过尝试和专家经验来猜测阶数。如果我们的阶数猜测多了，就会多出很多冗余的项。我们希望这些冗余项对应的权值为0，这样我们就知道哪些项是⽆关的，是冗余的项。
但是只⽤最⼩⼆乘法确定时，可能所有的的绝对值都极其巨⼤，这是很正常的现象，但是它使得我们⽆法剔除⽆关项，得到的模型也毫⽆实际意义，模型处于ill-condition状态 (即输⼊很⼩的变化，就会引起输出病态的巨⼤的变化)。
最⼤复杂度模型+L1正规化（惩罚项）
我们在成本函数中加⼊L1范数（其实就是惩罚项），成本函数变为
其中是我们⽤来控制L1正规化影响的权重系数。
因此，我们的⽬标成为了：到⼀组使得最⼩！
继⽽使⽤最⼩⼆乘法，完成运算。
为什么要这样构建成本函数
如上⽂所述，监督机器学习问题⽆⾮就是“minimize your error while regularizingyour parameters”，也就是在规则化参数的同时最⼩化误差（最⼩⼆乘法的原理）。最⼩化误差是为了让我们的模型拟合我们的训练数据，⽽规则化参数是防⽌我们的模型过分拟合我们的训练数据。因为参数太多，会导致我们的模型复杂度上升，容易过拟合，也就是我们的训练误差会很⼩。但训练误差⼩并不是我们的最终⽬标，我们的⽬标是希望模型的测试误差⼩，也就是能准确的预测新的样本。所以，我们需要保证模型“简单”的基础上最⼩化训练误差，这样得到的参数才具有好的泛化性能（也就是测试误差也⼩），⽽模型“简单”就是通过规则函数来实现的。另外，规则项的使⽤还可以约束我们的模型的特性。这样就可以将⼈对这个模型的先验知识融⼊到模型的学习当中，强⾏地让学习到的模型具有⼈想要的特性，例如稀疏、低秩、平滑等等。 [1]
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议