什么时候应该使用RAG、TAG和RAFT AI？

检索增强生成 和表增强生成 都是提高人工智能 利用外部数据生成准确且相关信息的能力的技术。其他选择包括检索增强微调 和检索中心生成 （RCG）。

了解何时使用 RAG、TAG、RAFT 和 RCG 对于成功和高效的 AI 实施至关重要。所有这些都专注于提高大型语言模型 （LLM） 的性能。LLM 根据可能过时或不完整的训练数据生成响应。RAG、TAG、RAFT 和 RCG 是解决这些限制的方法。

RAG 专注于从文档和网页等非结构化数据源检索和合并信息。TAG 专注于查询和利用数据库中的结构化数据。

RAG 首先添加原始训练数据集之外的新信息，这些信息通常从外部来源收集。提交查询后，它会转换为向量表示形式，就像通用 LLM 的作一样。向量表示与知识数据库中存储的向量相匹配。

LLM 本质上是不确定的，可能不会为给定查询生成相同的输出。需要及时工程来产生一致的响应。在 RAG 中，提示工程用于合并相关的外部数据，以增强模型的上下文理解，目标是生成更详细和（希望）富有洞察力的响应。

最佳 RAG作的关键是通过定期更新使外部数据库尽可能保持最新状态。这使系统能够提供最相关的响应，即使没有耗时且昂贵的培训更新（图 1）。

图 1.RAG作流程图。（图片：GeeksforGeeks)

虽然 RAG 对于访问原始训练数据集中不存在的信息特别有用，但 TAG 可用于增强搜索引擎功能等应用，特别是在涉及结构化数据和复杂查询的场景中。TAG 通过一系列步骤实现（图 2）。

• 例如，用户向搜索引擎提交查询。

• 系统识别并检索相关数据，可能使用 SQL 查询在表或数据库中查找特定信息。

• 提示工程用于将检索到的数据合并到用户查询中，从而创建更详细的“增强提示”。

• LLM 使用增强的提示来生成比仅使用原始查询更精确、更集中的响应。

图 2.TAG 实现和数据流的示例。（图片：K2view)

TAG 比 RAG 更适合查询数据库和根据多个条件过滤数据等应用程序。TAG 的计算强度低于 RAG，在处理大型数据集和复杂查询时效率更高。

RAFT 和 RAG 都是利用外部知识来提高 LLM 性能的方法。RAG 将外部数据源动态集成到 LLM 的响应生成过程中。

微调是 LLM 本身的一种持续改进。RAFT 涉及对 LLM 的额外培训，以提高其在特定任务或特定领域的表现。该过程修改了法学硕士的内部参数，以更好地与特定任务的细微差别保持一致。

RAFT 在涉及动态信息环境和需要细致响应的应用程序的情况下特别有用。然而，它需要高质量的数据并且计算要求很高。如果实施不当，可能会导致以前学过的常识的丢失，称为灾难性遗忘。

RCG 是提高 LLM 性能的另一种方法。它特别用于解释复杂的索引或特选数据。RAG 和 RCG 都可用于在推理过程中从特选源获取信息。虽然模型是 RAG 中的主要信息源，并得到增量数据的帮助，但在 RCG 中，大多数数据都是模型外部的。

RCG 没有增强 LLM 性能，而是专注于确定数据的优先级以限制响应（图 3）。

• RAG 专为需要将常识与外部数据源中的特定信息相结合并回答复杂问题的任务而设计。

• RCG 经过优化，可保持原始信息的上下文、风格和准确性，例如摘要、释义或创建一致的内容。

图 3.RAG 和 RCG LLM 实现的比较。（图片：英特尔实验室)

RAG 旨在使用来自非结构化数据源（如文档和网页）的信息。TAG 专注于查询和利用来自表或数据库等来源的结构化数据。RAG 的扩展包括 RAFT，它为 LLM 提供额外的训练，以提高其在特定任务或特定领域的性能，以及 RCG，它保持原始信息的上下文、风格和准确性。