关于模型的选择

chat模型

构建rag知识库 对于chat模型 需要

1.推理能力Reasoning

2.语言能力Language

3.交互功能IF

4.全局综合能力Global Average

由livebench官网的测试对比 可以采用deepseek-r1-0528:8b模型

性能较好而且可以开源本地部署

embedding模型

使用qwen3 embedding模型

ollama run dengcao/Qwen3-Embedding-0.6B:F16

可以本地部署 性能较强 替代之前流行的bge-large-zh-v1.5

下面附上两者对比图(chat模型都是deepseek-r1:8b)

上图为==dengcao/Qwen3-Embedding-0.6B:F16==模型

![图片\工作记录md文件\embedding使用老模型.png)

上图为==bge-large-zh-v1.5==模型

平台的选择

使用Ragflow平台 优点处理速度快

对比cherry studio 和dify的知识库部署 更快

而且方便调用api

后续升级时候也可以接入dify

https://www.bilibili.com/video/BV1wn7JzpEho/?spm_id_from=333.337.search-card.all.click&vd_source=3f0dcec746f962a5775f1c9ac90d00a7

此视频教学了如何接入dify

部署流程

1.下载docker

https://www.docker.com/

可以参考

https://blog.csdn.net/Natsuago/article/details/145588600?fromshare=blogdetail&sharetype=blogdetail&sharerId=145588600&sharerefer=PC&sharesource=weixin_43807749&sharefrom=from_link

进行部署

2.下载ragflow

在ragflow官网.

进行下载zip安装包 然后解压

在D:\ai workspace\ragflow-main\docker中

找到.env文件 打开后 把

RAGFLOW_IMAGE=infiniflow/ragflow:v0.19.1

的注释取消

#RAGFLOW_IMAGE=infiniflow/ragflow:v0.19.1-slim

的注释加上 以下载完整版ragflow

然后在此目录中进入cmd

安装所需要的文件

docker compose -f docker-compose.yml up -d

3.通过ollama本地部署模型

官网下载ollama

然后在防火墙新建tcp的特定端口11434使ollama能被调用

然后打开cmd

ollama run deepseek-r1:8b
ollama run dengcao/Qwen3-Embedding-0.6B:F16

4.在web端打开rag-flow,在浏览器中进入

localhost:80

并且进入

点击右上角,添加部署的模型

添加embedding与chat模型

url写

http://host.docker.internal:11434

api为空

模型名称可以通过以下命令查看

ollama list

之后创建知识库 修改提示词

模型测试中参数可以调整

5.封装成api调用

在右上角打开设置,打开api并且生成

https://github.com/infiniflow/ragflow/tree/main/docs/references #官网的api文档