什么是范数（norm）？以及L1,L2范数的简单介绍 什么是范数？
范数，是具有“距离”概念的函数。我们知道距离的定义是⼀个宽泛的概念，只要满⾜⾮负、⾃反、三⾓不等式就可以称之为距离。范数是⼀种强化了的距离概念，它在定义上⽐距离多了⼀条数乘的运算法则。有时候为了便于理解，我们可以把范数当作距离来理解。 在数学上，范数包括向量范数和矩阵范数，向量范数表征向量空间中向量的⼤⼩，矩阵范数表征矩阵引起变化的⼤⼩。⼀种⾮严密的解释就是，对应向量范数，向量空间中的向量都是有⼤⼩的，这个⼤⼩如何度量，就是⽤范数来度量的，不同的范数都可以来度量这个⼤⼩，就好⽐⽶和尺都可以来度量远近⼀样；对于矩阵范数，学过线性代数，我们知道，通过运算AX=B，可以将向量X变化为B，矩阵范数就是来度量这个变化⼤⼩的。 这⾥简单地介绍以下⼏种向量范数的定义和含义
2、L0范数
当P=0时，也就是L0范数，由上⾯可知，L0范数并不是⼀个真正的范数，它主要被⽤来度量向量中⾮零元素的个数。⽤上⾯的L-P定义可以得到的L-0的定义为：
水泥厂脱硝
这⾥就有点问题了，我们知道⾮零元素的零次⽅为1，但零的零次⽅，⾮零数开零次⽅都是什么⿁，很不好说明L0的意义，所以在通常情况下，⼤家都⽤的是：表⽰向量x中⾮零元素的个数。对于L0范数，其优化问题为：
钢水取样器在实际应⽤中，由于L0范数本⾝不容易有⼀个好的数学表⽰形式，给出上⾯问题的形式化表⽰是⼀个很难的问题，故被⼈认为是⼀个NP难问题。所以在 实际情况中， L0的最优问题会被放宽到L1或L2下的最优化。
3、L1范数
L1范数是我们经常见到的⼀种范数，它的定义如下：
表⽰向量x中⾮零元素的绝对值之和。
L1范数有很多的名字，例如我们熟悉的 曼哈顿距离、最⼩绝对误差等。使⽤ L1范数可以度量两个向量间的差异，如绝对误差和（Sum of
Absolute Difference）：
对于L1范数，它的优化问题如下：
祛痘除皱美白面膜素
由于L1范数的天然性质，对L1优化的解是⼀个稀疏解， 因此L1范数也被叫做稀疏规则算⼦。 通过L1可以实现特征的稀疏，去掉⼀些没有信息的特征，例如在对⽤户的电影爱好做分类的时候，⽤户有100个特征，可能只有⼗⼏个特征是对分类有⽤的，⼤部分特征如⾝⾼体重等可能都是⽆⽤的，利⽤L1范数就可以过滤掉。 4、L2范数
L2范数是我们最常见最常⽤的范数了，我们⽤的最多的度量距离欧⽒距离就是⼀种L2范数，它的定义如下：
表⽰向量元素的平⽅和再开平⽅。
像L1范数⼀样，L2也可以度量两个向量间的差异，如平⽅差和（Sum of Squared Difference）:
对于L2范数，它的优化问题如下：
L2范数通常会被⽤来做优化⽬标函数的正则化项，防⽌模型为了迎合训练集⽽过于复杂造成过拟合的情况，从⽽提⾼模型的泛化能⼒。
5、L 范数
当 p=∞时，也就是L
防盗螺母范数，它主要被⽤来度量向量元素的最⼤值，与L0⼀样，通常情况下表⽰为
以上内容转载于SethChai 的博客，再次感谢博主的分享，转载请附上原⽂链接：
扩展⼀点：
使⽤机器学习⽅法解决实际问题时，我们通常要⽤L1或L2范数做正则化（regularization），从⽽限制权值⼤⼩，减少过拟合风险。特别是在使⽤梯度下降来做⽬标函数优化时，
L1和L2的区别懒人床
L1范数（L1 norm）是指向量中各个元素绝对值之和，也有个美称叫“稀疏规则算”（Lasso regularization）。
⽐如 向量A=[1，-1，3]， 那么A的L1范数为 |1|+|-1|+|3|.
∞∞
简单总结⼀下就是：
L1范数: 为x向量各个元素绝对值之和。
L2范数: 为x向量各个元素平⽅和的1/2次⽅，L2范数⼜称Euclidean范数或者Frobenius范数
Lp范数: 为x向量各个元素绝对值p次⽅和的1/p次⽅.香皂包装
L1正则化产⽣稀疏的权值, L2正则化产⽣平滑的权值为什么会这样？
在⽀持向量机学习过程中，L1范数实际是⼀种对于成本函数求解最优的过程，因此，L1范数正则化通过向成本函数中添加L1范数，使得学习得到的结果满⾜稀疏化，从⽽⽅便提取特征。
L1范数可以使权值稀疏，⽅便特征提取。 L2范数可以防⽌过拟合，提升模型的泛化能⼒。
L1和L2正则先验分别服从什么分布
⾯试中遇到的，L1和L2正则先验分别服从什么分布，L1是拉普拉斯分布，L2是⾼斯分布。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议