Metric Learning
ps:由于mathjax的缺陷,可能导致矢量箭头渲染有问题..就将就着看吧..
度量学习的概念由Eric Xing 在 NIPS 2002 提出.
度量学习通常的目标是使同类样本之间的距离尽可能缩小,不同类样本之间的距离尽可能放大.
度量学习的第一个要接触的概念就是距离.
相关概念
距离
曼哈顿距离 Manhattan distance
$d = |x_1 - x_2| + |y_1 - y_2|$
图来自维基百科
红蓝黄皆为曼哈顿距离，绿色为欧式距离。
欧几里得距离 Euclidean Metric
在欧几里得空间中，点$x =(x_1,…,x_n)$和 $y =(y_1,…,y_n)$之间的欧氏距离为
$d(x,y) := \sqrt {\sum (x_{i}-y_{i})^2},i=1,2,…$
向量 $\vec{x}$ 的自然长度，即该点到原点的距离为
$||\vec{x}||_2 = \sqrt{|x_1|^2+\cdots+|x_n|^2}$
在欧几里得度量下，两点之间线段最短。
缺点
它将样品的不同属性（即各指标或各变量）之间的差别等同看待，这一点有时不能满足实际要求。
马氏距离
马氏距离表示数据的协方差距离。与欧式距离不同的是它考虑到各种特性之间的联系,例如身高体重之间是有一定关联的,并且是尺度无关的(scale-invariant),即独立与测量尺度.对于一个均值为$\mu = (\mu_1,\mu_2,\cdots,\mu_p)^T$,协方差矩阵为$\sum$的多变量向量$x=(x_1,x_2,\cdots,x_p)^T$,其马氏距离为
$D_M(x)=\sqrt {(x-\mu)^T\sum^{-1}(x-\mu)}$
马氏距离也可以定义为两个服从统一发布的并且协方差矩阵为$\sum$的随机变量$\vec{x}$与$\vec{y}$的差异程度
$d(\vec{x},\vec{y})=\sqrt{(\vec{x}-\vec{y})^T \sum^{-1}(\vec{x}-\vec{y})}$
切比雪夫距离 Chebyshev distance
数学上，切比雪夫距离（Chebyshev distance）或是$L_∞$度量是向量空间中的一种度量，二个点之间的距离定义为其各座标数值差的最大值。以(x1,y1)和(x2,y2)二点为例，其切比雪夫距离为$max(|x_2-x_1|,|y_2-y_1|)$。切比雪夫距离得名自俄罗斯数学家切比雪夫。
若将国际象棋棋盘放在二维直角座标系中，格子的边长定义为1，座标的x轴及y轴和棋盘方格平行，原点恰落在某一格的中心点，则王从一个位置走到其他位置需要的步数恰为二个位置的切比雪夫距离，因此切比雪夫距离也称为棋盘距离。例如位置F6和位置E2的切比雪夫距离为4。任何一个不在棋盘边缘的位置，和周围八个位置的切比雪夫距离都是1。
图文摘自维基百科
明可夫斯基距离(明氏距离) Minkowski distance
明氏距离又叫做明可夫斯基距离，是欧氏空间中的一种测度，被看做是欧氏距离和曼哈顿距离的一种推广。
定义:
两点$P=(x_1,x_2,\cdots,x_n)$ , $Q=(y_1,y_2,\cdots,y_n)\in \mathbb{R}^n$
之间的明氏距离是:
$$(\sum_{i=1}^n{|x_i-y_i|^p})^{1/p}$$
p取1或2时的明氏距离是最为常用的，p=2即为欧氏距离，而p=1时则为曼哈顿距离。当p取无穷时的极限情况下，可以得到切比雪夫距离：
$$\lim\limits_{p \rightarrow \infty}(\sum_{i=1}^n|x_i-y_i|^p)^{1/p}=\max_{i=1}^n|x_i-y_i|$$
