在构建和运行自己的检索增强生成(RAG)系统时可能遇到的挑战。主要问题包括:
- 幻觉问题:处理幻觉需要在RAG管道的每一步都采取反幻觉措施。这不是简单的“添加到提示中”的问题,而是需要在整个管道的每个设计决策中考虑“这如何影响幻觉?”。
- 数据摄入问题:数据摄入听起来简单,但在生产使用中导入成千上万的文档和网页时,会遇到各种问题,如摄入是否顺畅、每个文档是否有清晰的审计日志、管道是否能够抵御失败等。
- 引用/来源问题:Langchain可以快速原型和展示结果,但在向上级或CEO演示时,可能会被问到响应的来源或计算方式,Langchain不为你构建引用算法,你需要自己建立。
- 查询相关性问题:在现实生活中,用户可能不知道如何查询,除非你明确构建了理解查询意图的过程,否则普通用户会像在Livechat中与真人聊天一样与聊天机器人交流。
- 维护和MLOps问题:每当OpenAI发布新功能或新模型时,你的RAG管道如何受到影响?例如,某些客户的机器人开始用西班牙语回应正常的英语查询,这需要调查和修复。
- 经济规模问题:自己构建时,开发成本“除以1”。而当OpenAI修复其LLM中的问题时,所有人都会受益。
- 安全问题:虽然Langchain允许你控制文档的数据安全,但你需要考虑数据安全、聊天安全和聊天访问安全等所有方面。
- 审计和分析问题:部署计划是否包括完整的审计轨迹以查看AI的说法和访问的其他方面?是否计划实施仪表板和分析以从聊天日志中获取洞察?
- 持续开发问题:随着技术的发展,谁将负责持续的维护和开发?
虽然Langchain是一个很好的起点和教育工具,但它并不是为将真实用例带入生产而设计的。构建自己的RAG管道类似于自己组装服务器,虽然有趣,但在需要真正的生产使用时,运行自己的RAG系统会面临许多挑战。