文章目录
- 动手部署个人知识库助手
- 环境依赖
- 项目运行
- 总结
动手部署个人知识库助手
经过前面章节的学习，理解了LLM、向量知识库等知识，本章节开始实践部署个人知识库助手。
本次部署的项目github地址个人知识库助手项目
环境依赖
- 技术资源要求
CPU: Intel 5代处理器（云CPU方面，建议选择 2 核以上的云CPU服务）
内存（RAM）: 至少 4 GB
操作系统：Windows、macOS、Linux均可
-
项目设置
克隆储存库git clone https://github.com/logan-zou/Chat_with_Datawhale_langchain.git cd Chat_with_Datawhale_langchain -
创建 Conda 环境并安装依赖项
python>=3.9
pytorch>=2.0.0
- 创建 Conda 环境
conda create -n llm-universe python==3.9.0
- 激活 Conda 环境
conda activate llm-universe
- 安装依赖项
pip install -r requirements.txt
项目运行
启动服务为本地 API
- Linux 系统
cd project/serve
uvicorn api:app --reload
- Windows 系统
cd project/serve
python api.py
运行项目
cd llm-universe/project/serve
python run_gradio.py -model_name='chatglm_std' -embedding_model='m3e' -db_path='../../data_base/knowledge_db' -persist_path='../../data_base/vector_db'
总结
本次学习了本地部署个人知识库助手，掌握使用fastapi进行接口定义，提供后端接口服务能力。掌握使用embbing接口对文本进行向量化处理，随后使用chromadb保存向量数据。
在文本预处理过程中有一点是值得我学习的：使用remove_urls() 函数过滤了 readme 文本中的一些网页链接以及过滤了可能引起大模型风控一些词汇。这样做的目的可以让部署的个人知识助手更加安全。在此延伸了对数据脱敏的思路，后续数据处理流程增加了处理数据安全问题这一维度。
在此我打算开发一个钢琴知识助手，可以提供钢琴相关知识的问答交流能力，并且加入OCR识别技术识别钢琴谱子，加入逻辑推理能力，可以自动编指法，今晚逛了下github发现有开源的项目pianoplayer，让我瞅瞅👀希望不要鸽了
本次LLM学习的最后一次打卡啦，感谢DataWhale提供了学习平台，感谢助教们的辛勤付出，感谢一起打卡的各位佬，我们下次再会～
