高质量 AI 知识库完整逻辑

知识库完整逻辑

提高 AI 知识问答主要有两个层面：一是模型层面，二是知识检索增强（RAG）。

模型层面：整理好的高质量知识数据进行模型微调（FT），将知识一次性注入到模型当中，产生微调后的新模型，后面应用直接使用该新模型即可享受知识水平提升。

知识检索增强(RAG)：通过语义检索(向量)、分词检索都手段获取粗知识，然后将粗知识（知识片段或问答对等）即时提供给大语言模型，大语言模型根据即时提供的知识信息对用户提问进行回答。

模型实施服务：工厂流水线式标准作业

向量检索

在正式构建知识库前，我们先来了解下智能问答是如何进行知识库检索的。首先了解几个基本概念：

向量：将人类直观的语言（文字、图片、视频等）转成计算机可识别的语言（数组）。
向量相似度：两个向量之间可以进行计算，得到一个相似度，即代表：两个语言相似的程度。
语言大模型的一些特点：上下文理解、总结和推理。
结合上述 3 个概念，便有了 “向量搜索 + 大模型 = 知识库问答” 的公式。

修改于 2024-01-24 11:20:09

🐷知识管理

🐯灵析平台更新日志