fastGpt中索引模型M3E换为bge-m3,处理效率翻8倍

fastGpt中索引模型M3E换为bge-m3,处理效率翻8倍

fastgpt自带的索引模型是M3E,因为它是依赖CPU做计算,导致速度非常慢。网上偶然发现可以用bgem3调用GPU做计算,效率提升了不少

操作步骤:

1、在服务器100.161.35.42新建目录/data/wenda/model/bgem3

2、在魔搭社区下载 git clone https://www.modelscope.cn/models/Xorbits/bge-m3/files

3、附件中的文件bge-m3.py放到/data/wenda/model/bgem3目录

4、安装依赖:pip install sentence-transformers -i https://pypi.tuna.tsinghua.edu.cn/simple/ ,只要安装这一个依赖就行,因为前面已经安装好了fastgpt、docker等环境

5、执行bge-m3.py脚本启动bgem3,请从这里下载https://www.mbzj.net/article/view/429

微信图片_20240425162941.png

6、登陆one-api: http://127.0.0.1:18087,把旧的M3E地址http://127.0.0.1:6008修改为bgem3地址http://127.0.0.1:5000

图片.png

本站所有资源都是由网友投搞发布,或转载各大下载站,请自行检测软件的完整性!本站所有资源仅供学习与参考,请勿用于商业用途,否则产生的一切后果将由您自己承担!如有侵权请联系我们删除下架,联系方式:273171821@qq.com
0
分享到: