登录
主页
从线性代数到RAG:搞懂向量、向量运算、向量函数与向量数据库
2026-08-13
  
1158
深数据
做 AI 应用、落地 RAG、搭建智能检索系统时,绝大多数开发者都会接触到向量、向量运算、Embedding、向量数据库这些概念。但很多人始终处于“会用不会懂”的状态:会调用 Embedding 接口、会往向量数据库存数据、会做相似度检索,却根本不清楚底层的线性代数逻辑,遇到检索不准、相似度异常、维度适配报错等问题时,完全无从排查。
其实 RAG 的底层逻辑,完全是一套从经典线性代数到现代AI工程的完整迁移。
一、一切的起点:什么是向量?
在中学和大学的线性代数课本里,向量的定义很纯粹:既有大小、又有方向的量,是n维空间中的一个坐标点。
二维向量、三维向量可以直观可视化,而在 AI 领域,我们用到的基本都是高维向量,常见维度有512、1024、2048甚至更高。
很多人会疑惑:文本、图片、音频这些非结构化数据,和向量有什么关系?
这里藏着 AI 检索的核心本质:机器无法直接理解文字和图片,但能精准计算数字向量。
所以 AI 工程对向量做了全新的工程化定义:
向量是现实世界信息的数字化、结构化统一表达。
无论是一句文案、一篇文档、一张图片、一段语音,都可以通过特定模型,转化为一组有序的浮点数,也就是高维向量。
此时,语义相似、内容相似、特征相似的原始数据,对应的向量在高维空间中就会距离更近、角度更贴合。这也是 RAG 语义检索能够成立的根本前提。
二、向量运算:RAG 相似度判断的核心基石
如果向量只是单纯的一组数字,没有任何运算能力,就没有检索、没有推荐、没有 RAG。所有智能匹配的本质,都是向量运算。
线性代数中的向量基础运算(加法、数乘)更多用于数学推导,而在 RAG 和向量检索场景中,我们只需要掌握三个核心运算,也是向量数据库的底层核心能力。
1.欧氏距离(L2距离)
核心逻辑:计算两个向量在空间中的直线距离。距离越小,向量越相似。
适合场景:对向量的绝对数值大小敏感的场景,比如图像特征匹配、数值型特征检索。
2.余弦相似度(Cosine)
核心逻辑:忽略向量长度,只比对两个向量的空间夹角。夹角越小,相似度越高。
这是RAG 文本检索的首选!因为文本语义的核心是“内容方向”,和向量的绝对长度无关。归一化后的向量,余弦相似度和点积结果完全等价,也是工程中最常用的相似度计算方式。
3.点积运算
核心逻辑:融合向量维度的对应乘积求和,能够反映向量的匹配程度。
在向量归一化后,点积越大,相似度越高,常用来加速检索、排序打分,是向量数据库排序逻辑的核心。
一句话总结:向量运算,就是机器判断“两段内容像不像”的唯一标尺。
三、承上启下的关键:向量函数
这是绝大多数技术文章都会遗漏的核心环节,也是打通数学和 AI 工程的关键桥梁。
什么是向量函数?
数学定义:输入为向量,输出为向量或标量的映射函数,可以实现向量的变换、归一化、降维、特征提取等操作。
在 RAG 场景中,向量函数无处不在,我们可以分为三类核心场景:
1.特征映射向量函数:Embedding 模型
Embedding 模型本质就是一个复杂的非线性向量函数:输入是非结构化的文本/图片,输出是标准化的高维语义向量。
它完成了 RAG 的第一步核心转化:把人类可理解的自然语言,转化为机器可计算的向量。
2.预处理向量函数:归一化、截断、补维
原始 Embedding 向量可能存在长度不统一、数值范围杂乱的问题,通过归一化向量函数,可以将向量统一映射到单位空间,让余弦相似度、点积的计算结果更稳定,大幅提升检索精度。
3.空间变换向量函数:降维、重排
PCA 降维、向量重排模型,本质都是向量函数。通过对高维向量做空间变换,在保留核心语义的前提下降低维度,减少检索计算量,解决高维向量计算爆炸的问题。
核心认知:没有向量函数,现实数据就无法转化为向量空间数据,向量运算和向量数据库也就没有任何应用价值。
四、向量数据库:为向量计算而生的工程载体
很多新手最大的误区:以为向量数据库可以直接处理文本、生成向量。
这里必须明确一个核心边界:
向量数据库不生产向量,只存储、索引、检索向量。
结合前文的概念,我们可以精准定义向量数据库:
向量数据库是一款专为高维向量数据设计,支持向量持久化存储、高效索引、批量相似度运算、元数据过滤的专用数据库,是向量运算和向量函数的工程落地载体。
为什么不用普通数据库存向量?
普通数据库(MySQL、Redis)可以存储向量数组,但无法高效做相似度检索。
当向量数量达到百万、千万级别,暴力遍历计算相似度的耗时会指数级暴涨,完全无法落地。
而向量数据库的核心能力,就是通过 ANN 近似最近邻索引、量化压缩、分桶检索等算法,在几乎不损失检索精度的前提下,将海量向量的检索速度提升数百倍。
向量数据库的核心价值
•存储:持久化海量高维向量+对应业务元数据
•索引:构建专属向量索引,规避暴力计算
•运算:内置余弦、L2、点积等向量运算能力
•检索:快速匹配高相似度向量,支撑 RAG 召回
五、完整闭环:从线性代数到 RAG 的全链路
梳理完所有概念,我们可以拼接出 RAG 检索的完整底层链路,彻底打通理论与落地:
原始文本数据 →【向量函数(Embedding模型)】→ 高维语义向量 →【向量预处理函数】→ 标准化向量 →【向量数据库存储索引】→ 用户提问 → 提问向量生成 →【向量运算(余弦相似度/点积)】→ 相似度排序召回 → 大模型生成答案
拆解来看,每个环节对应一个核心概念:
1.向量:所有语义信息的数字化载体
2.向量函数:完成自然语言到向量的转化与优化
3.向量运算:实现语义相似度的判断与打分
4.向量数据库:支撑海量向量高效存储与检索的工程底座
这也是为什么说:RAG 的上限是工程,下限是线性代数。所有看似复杂的 AI 检索能力,本质都是基础数学概念的工程化落地。
六、落地常见误区总结
最后纠正几个开发者高频踩坑的认知偏差:
•误区1:向量数据库可以生成向量
正解:向量由 Embedding 向量函数生成,数据库只负责存储检索
•误区2:所有场景都用欧氏距离
正解:文本RAG优先余弦相似度,图像特征优先L2距离
•误区3:向量维度越高,效果一定越好
正解:高维向量信息更全,但计算成本更高,需通过向量降维函数做平衡
•误区4:忽略向量归一化
正解:未归一化的向量会导致相似度打分失真,检索精度大幅下降
结语
从线性代数课本里冰冷的向量公式,到如今赋能 RAG、智能问答、多模态检索、推荐系统的核心技术,本质是数学基础理论向人工智能工程的完美迁移。
读懂向量、向量运算、向量函数、向量数据库的层级关系,你就不再是只会调参、调用API的工具使用者,而是真正理解 RAG 底层逻辑的开发者。后续遇到检索不准、性能瓶颈、参数调优问题时,都能从根源上定位和解决问题。
点赞数:1
© 2021 - 现在 杭州极深数据有限公司 版权所有 (深数据® DEEPDATA® 极深®) 联系我们 
浙公网安备 33018302001059号  浙ICP备18026513号-1号