关注

向量数据库相似度度量三剑客:余弦相似度、欧氏距离与曼哈顿距离全解析


🌺The Begin🌺点点关注,收藏不迷路🌺

1. 开篇:相似度度量——向量检索的“裁判员”

在向量数据库中,索引算法(如HNSW、IVF)负责“快速找到候选集”,而相似度度量方法则负责“判定谁和查询最像”——它是检索结果的最终裁判员。

选错了度量方法,再好的索引也是白搭。举个例子:在文本语义搜索中,我们关心的是“方向是否一致”(不管文档长短),此时余弦相似度是最佳选择;但在图像特征匹配中,向量长度本身包含重要信息(如亮度、对比度),用余弦相似度反而会丢失关键信息,此时欧氏距离更合适。

本文将从定义、计算公式、几何意义、适用场景四个维度,系统拆解向量数据库中最常用的三种相似度度量方法:余弦相似度(Cosine Similarity)、欧几里得距离(Euclidean Distance)和曼哈顿距离(Manhattan Distance)。全文配有多色流程图,核心要点采用三色标注,帮你彻底搞清楚“什么时候该用谁”。


2. 三大度量方法速览对比(多色流程图)

下图展示了从原始数据到选定度量方法的完整决策流程。其中蓝色代表主要决策分支,金色代表各度量方法的核心特征,红色代表关键的权衡点。

文本/语义检索

图像/视频特征

高维稀疏数据

原始向量数据

查询类型判断

关注方向而非长度

关注绝对空间位置

关注各维度差异总和

余弦相似度
Cosine Similarity

欧几里得距离
Euclidean Distance

曼哈顿距离
Manhattan Distance

计算向量夹角余弦值

范围:-1 到 1
1=完全相同,0=正交

对向量长度不敏感
自动归一化

计算直线距离平方和开根

范围:0 到 +∞
0=完全相同

对向量长度敏感
受量纲影响

计算各维度绝对差之和

范围:0 到 +∞
0=完全相同

对异常值鲁棒
计算简单

返回检索结果

决策框架核心:看关注“方向”还是“距离”,再选度量方法。文本用余弦,图像用欧氏,稀疏数据用曼哈顿。

3. 余弦相似度(Cosine Similarity):方向的“指南针”

3.1 定义:测量两个向量“指向是否一致”

余弦相似度通过测量两个向量之间的夹角余弦值来评估它们的相似度。它只关心向量的方向,而不关心向量的长度(即模长)。

计算公式
在这里插入图片描述

3.2 取值范围与几何意义

  • 取值为1:两个向量方向完全相同,夹角为0°,代表最相似
  • 取值为0:两个向量正交(垂直),夹角为90°,表示不相关
  • 取值为-1:两个向量方向完全相反,夹角为180°,代表最不相似

在文本检索等正空间(所有维度值非负)场景中,余弦相似度范围通常为0到1

3.3 核心优势:自动“归一化”长度差异

余弦相似度的最大优势在于它对向量的长度不敏感。这在文本处理中极其重要——两篇文档可能长短差异巨大(一篇1000字,一篇100字),但如果它们讨论的是同一个话题,它们的词频向量“指向”的方向应该大致相同,余弦相似度就能捕捉到这种语义相似性。

3.4 典型应用场景

  • 文本语义搜索:RAG系统中用户问题与知识库文档的匹配
  • 文档聚类:判断两篇文档是否属于同一主题
  • 推荐系统:用户偏好向量与商品特征向量的匹配

一句话总结:余弦相似度 = 忽略“有多长”,只看“往哪走”,最适合文本语义匹配。

4. 欧几里得距离(Euclidean Distance):空间的“直线测距”

4.1 定义:两点之间的“直线距离”

欧几里得距离(也称欧氏距离)是m维空间中两个点之间的“普通”(即直线)距离。在二维和三维空间中,欧氏距离就是我们直觉上理解的两点之间的实际距离。

计算公式

在这里插入图片描述

4.2 取值范围与几何意义

  • 取值为0:两个点完全重合,代表最相似
  • 取值越大:两点在空间中相距越远,代表越不相似
  • 取值范围为0到+∞,无上限

4.3 核心特点:对绝对位置敏感

欧氏距离关注的是向量在空间中的绝对位置,向量的长度和方向都会被纳入考量。这意味着,如果两个向量长度不同,即使它们的方向完全一致,欧氏距离也会给出非零值。

【重要提醒】:欧氏距离对特征的量纲(Scale)非常敏感。如果某一维度的数值范围远大于其他维度(如“收入”以万元计,“年龄”以岁计),该维度会主导距离计算结果。使用前通常需要对数据进行标准化或归一化处理。

4.4 典型应用场景

  • 图像特征匹配:向量长度包含亮度、对比度等“量”的信息
  • 聚类分析:K-Means等算法基于欧氏距离判断样本亲疏
  • 异常检测:偏离数据中心点较远的点视为异常
  • 推荐系统:用户对电影的评分差异(调整余弦相似度本质上是归一化后的欧氏距离变体)

一句话总结:欧氏距离 = 直接量“空间有多远”,适合长度本身有意义的场景。

5. 曼哈顿距离(Manhattan Distance):网格的“出租车计价”

5.1 定义:各维度绝对差之和

曼哈顿距离(又称城市街区距离L1距离)是两个点在标准坐标系上的绝对轴距总和。它的命名源于曼哈顿的棋盘式街道布局——从一点到另一点,最短的行车路径是在南北方向走的距离加上东西方向走的距离。

计算公式

在这里插入图片描述

5.2 取值范围与几何意义

  • 取值为0:两个点完全重合,代表最相似
  • 取值越大:各维度绝对差之和越大,代表越不相似
  • 取值范围为0到+∞,无上限

5.3 核心优势:计算简单且对异常值鲁棒

曼哈顿距离的三大特点:

  • 计算速度快:只需要做加减法和绝对值运算,不需要平方和开根号,在早期计算机图形学中能大幅提高运算速度且无浮点误差
  • 对异常值鲁棒:与欧氏距离(平方放大了异常差异)不同,曼哈顿距离对孤立点的敏感度较低
  • 高维稀疏场景友好:在文本词频等稀疏数据中,多数维度为0,曼哈顿距离能更好地反映非零维度上的差异

5.4 典型应用场景

  • 高维稀疏数据:文本词频向量、one-hot编码特征
  • 路径规划:A*算法的启发式函数(估计实际行驶距离)
  • 计算机视觉:图像相似性度量、目标检测中的边界框匹配
  • 快速原型场景:对计算速度要求极高时(可避免浮点运算)

一句话总结:曼哈顿距离 = 各维度“差多少”直接相加,计算最快、对异常值免疫。

6. 三维对比:到底有什么区别?

对比维度余弦相似度欧几里得距离曼哈顿距离
本质方向的相似度空间位置的绝对距离各维度差异的绝对值之和
计算公式(A·B) / (A
取值范围-1 到 10 到 +∞0 到 +∞
是否受长度影响不受(自动归一化)
对量纲敏感度不敏感非常敏感中等敏感
对异常值敏感度不敏感非常敏感(平方放大)相对鲁棒
计算复杂度中等(点积+模长)较高(平方+开根)最低(仅加减法)
是否满足三角不等式否(角度相似度本身不是距离度量)是(度量空间)是(度量空间)

6.1 核心区别一:长度敏感度

余弦相似度完全不关心向量有多长,只关心它们指向的方向是否一致。这就好比两篇长度相差悬殊的文档,只要核心主题相同,余弦相似度就会给出高分。

欧氏距离和曼哈顿距离则对长度敏感。两篇文档如果长度差异很大,即使方向一致,距离也会偏大。这在某些场景是优点(如找同样亮度的图像),但在文本场景往往不是我们想要的。

6.2 核心区别二:异常值的“放大效应”

欧氏距离计算平方差,当一个维度上的差异很大时,其影响会被平方放大。曼哈顿距离只是绝对值相加,不会有平方放大效应。因此,曼哈顿距离对异常值更鲁棒

6.3 核心区别三:计算效率

曼哈顿距离计算最快——只需加减法和绝对值,无需乘法、平方和开根号。欧氏距离最慢——需要平方、求和、开根三步。余弦相似度居中——需要点积和模长计算。

在向量维度极高(如1536维)的场景下,三者之间的计算性能差异会显著影响整体检索延迟。

7. 实战选型指南:什么时候该用谁?

应用场景推荐方法理由
RAG文本语义检索余弦相似度忽略文档长短差异,只看语义方向
图像特征检索欧氏距离亮度、对比度等“量”的信息重要
高维稀疏向量余弦相似度 或 曼哈顿距离余弦适合语义,曼哈顿适合速度优先
向量已归一化点积(等价于余弦)计算最快,精度等价
异常检测欧氏距离 或 曼哈顿距离距离中心点远的点为异常
实时性要求极高曼哈顿距离计算最简单,延迟最低
聚类分析(K-Means)欧氏距离K-Means标准算法默认
向量维度间单位不统一余弦相似度不受量纲影响,无需归一化

8. 常见误区与避坑指南

  1. 误区:“余弦相似度=欧氏距离的归一化版本”:不完全是。两者衡量的是不同性质——一个是“方向”,一个是“绝对位置”。即使对向量做归一化后再算欧氏距离,也不能完全等同于余弦相似度。

  2. 误区:“三种方法任选一种都一样”:完全错误。选错度量方法,召回率可能下降20%以上。核心原则:关注方向用余弦,关注距离用欧氏,关注速度用曼哈顿

  3. 实践建议:如果数据量不大,建议在实际POC中同时测试余弦和欧氏,看哪个在你的特定数据集和Embedding模型上表现更好。没有理论能替代实测。

  4. 关于归一化:使用欧氏距离前,务必对特征做标准化(Standardization)或归一化(Normalization),否则量纲大的维度会主导结果。

9. 总结:三句话记住三种度量方法

余弦相似度:只看“方向是否一致”,不看“谁更长”——文本语义检索的默认选择。

欧氏距离:直接量“空间中的直线距离”,长度和方向都考虑——适合图像特征、聚类分析。

曼哈顿距离:各维度“差多少”直接加和,计算最快、对异常值最鲁棒——适合高维稀疏和实时场景。

在实践中,余弦相似度是RAG文本检索的绝对主力。但了解欧氏距离和曼哈顿距离,能让你在遇到图像检索、异常检测、实时搜索等不同场景时,做出最合适的技术决策。

在这里插入图片描述


🌺The End🌺点点关注,收藏不迷路🌺

转载自 CSDN-专业IT技术社区

原文链接:https://blog.csdn.net/qq_41840843/article/details/162239773

文章来源crawl

评论

赞0

评论列表

微信小程序
QQ小程序

关于作者

点赞数:0
关注数:0
粉丝:0
文章:0
关注标签:0
加入于:--