有许多令人惊叹的工具可以帮助构建生成式人工智能应用程序。但开始使用新工具需要时间学习和练习。

因此，我创建了一个存储库，其中包含用于构建生成人工智能应用程序的流行开源框架的示例。

这些示例还展示了如何将这些框架与 Amazon Bedrock 结合使用。

您可以在这里找到存储库：

https://github.com/danilop/oss-for-generative-ai

在本文的其余部分，我将描述我选择的框架、存储库中示例代码的内容以及如何在实践中使用它们。

包含的框架

• LangChain：用于开发由语言模型驱动的应用程序的框架，具有以下示例：

  • 基础模型调用
  • 链接提示
  • 构建 API
  • 创建客户端
  • 实现聊天机器人
  • 使用基岩代理

• LangGraph：LangChain 的扩展，用于使用大型语言模型 (LLM) 构建有状态的多参与者应用程序

• Haystack：用于构建搜索系统和语言模型应用程序的端到端框架

• LlamaIndex：基于 LLM 的应用程序的数据框架，示例包括：

  • RAG（检索增强生成）
  • 建立代理

• DSPy：使用大型语言模型解决人工智能任务的框架

• RAGAS：评估检索增强生成（RAG）管道的框架

• LiteLLM：标准化来自不同提供商的 LLM 的使用的库

框架概述

浪链

用于开发由语言模型支持的应用程序的框架。

主要特点：

• 适用于法学硕士应用程序的模块化组件
• 复杂 LLM 工作流程的链和代理
• 情境交互的记忆系统
• 与各种数据源和API集成

主要用例：

• 构建对话式人工智能系统
• 创建特定领域的问答系统
• 开发人工智能驱动的自动化工具

郎图

LangChain 的扩展，用于构建有状态的多参与者。法学硕士申请

主要特点：

• 基于图的工作流程管理
• 复杂代理交互的状态管理
• 设计和实现多代理系统的工具
• 循环工作流程和反馈循环

主要用例：

• 创建协作人工智能代理系统
• 实施复杂、有状态的人工智能工作流程
• 开发人工智能驱动的模拟和游戏

草垛

用于构建生产就绪的 LLM 应用程序的开源框架。

主要特点：

• 具有灵活管道的可组合人工智能系统
• 多模态AI支持（文本、图像、音频）
• 生产就绪，具有可序列化的管道和监控

主要用例：

• 构建 RAG 管道和搜索系统
• 开发对话式人工智能和聊天机器人
• 内容生成和摘要
• 创建具有复杂工作流程的代理管道

骆驼指数

用于构建 LLM 支持的应用程序的数据框架。

主要特点：

• 高级数据摄取和索引
• 查询处理和响应合成
• 支持各种数据连接器
• 可定制的检索和排名算法

主要用例：

• 创建知识库和问答系统
• 在大型数据集上实现语义搜索
• 构建情境感知人工智能助手

DSPy

通过声明性和可优化的语言模型程序解决人工智能任务的框架。

主要特点：

• LLM交互的声明式编程模型
• LLM提示和参数自动优化
• LLM 输入/输出的基于签名的类型系统
• 用于自动提示改进的提词器（现在是优化器）

主要用例：

• 开发强大且优化的 NLP 管道
• 创建自我改进的人工智能系统
• 利用法学硕士实施复杂的推理任务

拉加斯

检索增强生成（RAG）系统的评估框架。

主要特点：

• RAG 管道的自动评估
• 多种评估指标（忠实度、上下文相关性、答案相关性）
• 支持不同类型的问题和数据集
• 与流行的 RAG 框架集成

主要用例：

• RAG 系统性能基准测试
• 确定 RAG 管道需要改进的领域
• 比较不同的 RAG 实现

莱特法学硕士

多个 LLM 提供商的统一界面。

主要特点：

• 100 个 LLM 模型的标准化 API
• 自动回退和负载平衡
• 缓存和重试机制
• 使用情况跟踪和预算管理

主要用例：

• 简化多法学硕士申请开发
• 实施模型冗余和后备策略
• 管理不同提供商之间的 LLM 使用情况

结论

如果您使用过这些工具，请告诉我。我错过了你想与他人分享的东西吗？请随意回馈存储库！