系统工作流程

• 选择合适的AI智能体：系统接收用户问题后，会识别出最适合的AI模型处理它。
• 收集信息：通过调用内部API和搜索引擎获取相关数据。
• 编写回答：AI会过滤这些信息并生成连贯的回答，同时对生成内容进行修饰。

轻松实现的部分

• 流程优化：我们采用了检索增强生成（RAG）模式，路由和检索的微调相对顺畅。
• 模型部署：使用小模型处理路由/检索，大模型处理生成。
• 技术创新：通过技能封装API，实现了对内部数据的高效调用。

不好搞的部分

• 评价输出质量：评估回答质量面临三个主要挑战：指南制定、标注扩展和自动评估。
• 内部API调用：需要将复杂的API转化为大语言模型友好的格式，防范幻觉问题。
• 质量维护：在提升准确率的同时，需平衡延迟和吞吐量，优化模型性能。

收获与成长

• 通过不断优化流程和提升质量，我们逐步掌握了构建生成式AI产品的核心要领。
• 在实践中，我们发现以下关键要素：
  • 系统设计：保持整体架构的简洁性和可扩展性。
  • 质量控制：建立标准化评估流程，确保输出的一致性和可靠性。
  • 技术创新：通过创新的技能封装和流式传输，提升用户体验。

AI学习建议

• 阶段化学习：从初阶应用到模型训练，再到商业闭环，循序渐进地深入学习。
• 实践至上：通过项目实战，掌握大模型应用的技术架构和开发流程。
• 持续优化：关注最新进展，不断提升自己的技术水平和创新能力。