🤖️ 一种利用 ChatGLM-6B + langchain 实现的基于本地知识的 ChatGLM 应用。
💡 受 GanymedeNil 的项目 document.ai 和 AlexZhangji 创建的 ChatGLM-6B Pull Request 启发，建立了全部基于开源模型实现的本地知识问答应用。
✅ 本项目中 Embedding 选用的是 GanymedeNil/text2vec-large-chinese，LLM 选用的是 ChatGLM-6B。依托上述模型，本项目可实现全部使用开源模型离线私有部署。
⛓️ 本项目实现原理如下图所示，过程包括加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相似的top k个 -> 匹配出的文本作为上下文和问题一起添加到prompt中 -> 提交给LLM生成回答。
🚩 本项目未涉及微调、训练过程，但可利用微调或训练对本项目效果进行优化。
赞赏
微信赞赏
支付宝赞赏
相关导航
暂无评论...