优化模型返回速度
发布时间:2026-10-26 | 浏览:1
Documentation Index
Fetch the complete documentation index at: /llms.txt
Use this file to discover all available pages before exploring further.
一、选择适合任务的模型和调用方式
2. 避免重复生成固定模板
三、控制输入内容,减少无效上下文
3. 优化 RAG 检索结果
删除网页导航、页脚、版权说明等无关内容
对长文档片段做摘要后再输入模型
4. 使用上下文缓存复用重复内容
多轮对话中反复使用相同系统提示词
知识库问答中反复使用相同背景材料
批量处理任务中反复使用同一套分析规则
长文档问答中围绕同一份文档连续提问
4.1 将稳定内容放在 Prompt 前部
4.2 保持系统提示词稳定
4.3 把长文档、工具说明和业务规则做成固定模板
4.4 对高频任务使用统一 Prompt 模板
4.5 将固定回复交给程序处理
第二次模型调用:判断是否需要检索知识库
第三次模型调用:改写检索 Query
2. 并行处理互不依赖的任务
3. 用程序逻辑替代简单判断
五、使用流式输出降低用户等待感
工具调用时展示“正在检索”“正在分析”“正在生成”
对 Agent 多步骤任务展示执行进度
六、避免默认使用大模型解决所有问题
是否所有任务都使用了同一个模型?
简单分类、改写、抽取任务是否可以使用更轻量的模型?
复杂推理任务是否需要开启更强的思考能力?
简单任务是否可以关闭不必要的深度思考?
是否设置了合理的最大输出 Token 数?
是否避免模型生成固定模板内容?
是否去除了重复、低相关或无效内容?
是否可以并行执行互不依赖的步骤?
是否有简单规则本可以用程序逻辑完成?
工具调用或检索过程是否有反馈?
Was this page helpful?