關(guān)于距離計算的總結(jié)

距離計算在自然語言處理中得到廣泛使用，不同距離計算方式應(yīng)用與不同的環(huán)境，其中也產(chǎn)生了很多不同的效果。

1 余弦距離

余弦夾角也可以叫余弦相似度。集合中夾角可以用來衡量兩個向量方向的差異，機器學(xué)習(xí)中借用這一概念來衡量樣本向量之間的差異。

余弦取值范圍為[-1,1]。求得兩個向量的夾角，并得出夾角對應(yīng)的余弦值，詞余弦值就可以用來表示這兩個向量的相似性。夾角越小，趨近于0度，余弦值越接近于1，它們的方向就更加吻合，即更加相似。當(dāng)兩個向量的方向完全相反時，夾角的余弦取最小值-1。當(dāng)余弦值為0時，兩向量正交，夾角為90度。因此可以看出，余弦相似度于向量的幅值無關(guān)，于向量的方向相關(guān)。

公式描述：

Python代碼實現(xiàn)：

import numpy as np# np.dot(vec1,vec2) 量向量（數(shù)組）：兩個數(shù)組的點積，即元素對應(yīng)相乘后求和# np.linalg.norm(vec1)：即求vec1向量的二范數(shù)（向量的模）vec1 = [1,2,3,4]vec2 = [5,6,7,8]dist1 = np.dot(vec1, vec2)/(np.linalg.norm(vec1)*np.linalg.norm(vec2))print("余弦距離測試結(jié)果為：\t"+str(dist1))

2 歐氏距離

歐幾里得距離即歐幾里得空間中兩點間的直線距離。

Python實現(xiàn)：

import numpy as npvec1 = np.mat([1,2,3,4]) # 生成numpy矩陣vec2 = np.mat([5,6,7,8])# 根據(jù)公式求解1dist1 = np.sqrt(np.sum(np.square(vec1 - vec2)))print("歐式距離測試結(jié)果是：\t"+ str(dist1))dist2 = np.sqrt((vec1-vec2)*(vec1-vec2).T)# 根據(jù)公式求解2print("歐式距離測試結(jié)果是：\t"+ str(dist2))

3 曼哈頓距離

曼哈頓距離也成為城市街區(qū)距離。用來表示兩個點在標(biāo)準(zhǔn)坐標(biāo)系上的絕對軸距之和，即從一個路口到另外一個路口，駕駛距離不是兩點之間的直線距離。

Python實現(xiàn)

import numpy as npvec1 = np.mat([1,2,3,4])vec2 = np.mat([6,7,8,9])dist = np.sum(np.abs(vec1 - vec2))print("曼哈頓距離測試結(jié)果是：\t"+str(dist))

4 明可夫斯基距離

明氏距離又叫明可夫斯基距離，是歐氏空間中的一種測度，被看作歐氏距離和曼哈頓距離的一種推廣。

當(dāng)p=1時，就是曼哈頓距離

當(dāng)p=2時，就是歐氏距離

當(dāng)p=3時，就是切比雪夫距離

python實現(xiàn)

可參照之前代碼

5 切比雪夫距離

python實現(xiàn)

import numpy as npvec1 = np.mat([1,2,3,4])vec2 = np.mat([5,6,7,8])dist = np.max(np.abs(vec1 - vec2))print("切比雪夫距離測試結(jié)果是：\t" + str(dist))

6 杰卡德距離

杰卡德（Jaccard）相似系數(shù)：兩個集合A和B的交集在元素在A、B的并集中所占的比例，稱為兩個集合的杰卡德相似系數(shù)，用符號J(A,B)表示。杰卡德距離：在占比中所取的是兩個集合中不同元素。

Python實現(xiàn)：

import numpy as npv1 = np.random.random(10) > 0.5
# 生成10個true false數(shù)據(jù)（即0，1）v2 = np.random.random(10) > 0.5vec1 = np.asanyarray(v1, np.int32)
# 轉(zhuǎn)換位0、1矩陣vec2 = np.asanyarray(v2, np.int32)# 距離計算up = np.double(np.bitwise_and((vec1 != vec2),np.bitwise_or(vec1 !=0,vec2!=0)).sum())
# 涉及到數(shù)學(xué)邏輯運算down = np.double(np.bitwise_or(vec1 !=0 ,vec2!=0).sum())
# 取并集, (vec1 !=0 ,vec2!=0)先轉(zhuǎn)對應(yīng)元素為true ，false的矩陣dist = (up/down)print("杰卡德距離測試結(jié)果是：\t"+str(dist))

7 漢明距離

在信息論中，兩個登場字符串之間的漢明距離對應(yīng)位置上的不同字符的個數(shù)。也就是說，將一個字符串變換成另一個字符串所需要替換的字符個數(shù)。

例如：“toned”與“roses”之間的漢明距離就是3

python實現(xiàn)：

import numpy as npv1=np.random.random(10)>0.5v2=np.random.random(10)>0.5vec1=np.asarray(v1,np.int32)vec2=np.asarray(v2,np.int32)dist=np.mean(vec1!=vec2)
# 取均值print("漢明距離測試結(jié)果是:\t"+str(dist))