大模型的商业化落地挑战

• 1. 现阶段快速实现商业化落地的方案：RAG
• 2. 大模型的商业化落地挑战
• 3. 生成与检索
• 4. 场景：智能客服系统的实现思路

1. 现阶段快速实现商业化落地的方案：RAG

• RAG（Retrieval-Augmented Generation, 检索增强生成）
• RAG是现阶段快速实现商业化落地的方案
• 因为可以将原先的业务数据快速迁移到大模型领域

2. 大模型的商业化落地挑战

2.1. 效果

• B端和C端的要求不太一样
  • B端：企业落地需要很高的要求
  • C端：要求低一点，有高的容错性，用户可以买单

2.2. 可控生成（Controllable Generation）

• 大模型通过生成来实现，有一定自由度，那生成的内容就不可能完全是我们想要的
• 给大模型一些限制，让它按照预期的情况生成内容

2.3. 隐私

• 通过刻意引导，大模型如gpt4也可能把用户的一些隐私信息给套出来

2.4. 幻觉，"hallucination", /həˈluː.sɪ.neɪt/

• 一本正经的胡说八道
  • 编造听起来合理但实际上不正确的内容
  • 产生虚构信息，比如无效URL或不存在的数字
• 如何减少幻觉
  • 要求模型首先从文本中找到任何相关的引用，然后使用这些引用来回答问题，并可以追溯答案到原文档，这种方式通常可以减少幻觉
• 问题：如果只根据给定的上下文来回复，是否能彻底解决模型的幻觉问题
  • 不可能彻底解决，但可以大大地降低幻觉
  • 不能彻底解决地原因
    • 检索准确率
    • LLM理解能力
    • 问题复杂度

3. 生成与检索

3.1. 生成

• 优点：内容的多样性、创造性
• 缺点：
  • 存在不可控性
  • 不了解在训练数据之外的知识（eg.最近发生的事件；专有的信息内容）

3.2. 检索

• 优点：
  • 可控
  • 补充更多专有或最近最新的知识内容
• 缺点：内容的边界具有局限性

3.3. 生成与检索的结合：RAG

• RAG，其名称就是“检索增强生成”，通过检索来增强生成的能力
• 将生成和检索两者的优点结合在了一起

4. 场景：智能客服系统的实现思路

4.1. 基于检索的思路

• 1.构造常见问答对集<Q,A>（FAQ，Frequently Asked Question）
• 2.根据用户问题Query，检索相关的Question
• 3.给出相关Question的Answer作为结果

特点：

• 需要构造问答对集
• Answer是确定可靠的

4.2. 基于生成的思路

• 1.构造问答对集<Q,A>
• 2.用问答对集进行模型训练
• 3.用户提出问题Query，由Model生成结果

特点：

• 需要构造问答对集
• 结果是模型生成的，不太可靠和可控

4.3. 基于检索与生成的思路

• 1.搭建知识库（不用组织成问答对形式）
• 2.用户提出问题Query
• 3.先从知识库中检索相关内容信息作为候选Candidate
• 4.将Query作为Input，将Candidate作为Context，还有历史消息History，由Prompt组织到一起
• 5.将Prompt传给LLM，由LLM给出结果

特点：

• 不需要将数据组织成问答对形式
• LLM生成的内容参考了知识库中检索出的相关信息，更可靠