最新发布:SAGE v0.1 现已上线 - 数据流原生推理框架

SAGE Logo SAGE

流式增强生成执行框架 (Streaming-Augmented Generative Execution)
数据流原生的模块化、可控、透明的LLM工作流推理框架
让AI应用开发变得简单、高效、可观测

什么是 SAGE?

SAGE (Streaming-Augmented Generative Execution) 是一个数据流原生的推理框架,专为构建模块化、可控、透明的LLM工作流而设计

数据流原生设计

基于数据流范式构建,天然支持流式处理和异步执行,为LLM工作流提供最佳的执行模型。

模块化组合

提供类型化、可复用的算子,支持声明式组合,让复杂的AI管道构建变得简单直观。

内置可观测性

提供交互式仪表板,实时监控执行状态,让AI系统的运行过程完全透明可控。

数据源
处理算子
LLM推理
结果输出

为什么选择 SAGE?

SAGE 是首个专为LLM工作流设计的数据流框架,提供生产级AI管道解决方案

首创数据流范式

首个专门为LLM工作流设计的数据流框架,提供原生的流式处理和异步执行能力。

生产级AI管道

内置可观测性和容错机制,支持大规模部署,让AI应用从原型到生产无缝过渡。

统一内存与计算

集成向量数据库、KV缓存、图内存等多种存储,提供统一的内存管理接口。

学术工业桥梁

结合研究级严谨性和工业级实用性,为AI研究和应用提供统一的开发平台。

开放生态系统

丰富的连接器和扩展接口,轻松集成现有的AI工具链和基础设施。

弹性可靠运行

流感知的执行引擎,支持故障恢复和动态调度,确保AI服务的高可用性。

核心特性

强大的功能特性,助力您构建下一代智能应用

🔧

声明式模块化组合

提供类型化、可复用的算子,支持声明式API构建复杂的数据处理管道,让AI工作流开发变得简单直观。

🌊

统一数据与控制流

原生支持条件分支和循环控制,将数据流和控制流统一在同一个执行模型中,简化复杂逻辑的实现。

🧠

原生状态算子

将内存作为一等公民,内置向量数据库、KV缓存、图内存等多种存储算子,支持复杂的状态管理。

异步弹性运行时

流感知的执行引擎,支持异步处理、故障恢复和动态调度,确保高性能和高可用性。

📊

内置可观测性

提供交互式仪表板,支持实时监控、性能分析和调试,让AI系统的运行过程完全透明。

🔍

深度内省能力

支持运行时状态检查、性能分析和调试工具,帮助开发者快速定位和解决问题。

使用示例

通过实际案例了解SAGE的强大能力

📰

文章监控系统

源源不断地从arxiv拔文章下来,然后提取标题、摘要,通过词袋匹配等方法初级筛选,再通过语义进行筛选,把用户感兴趣/关注领域的文章提供给用户

实时数据流处理 多级筛选 语义分析 30秒循环演示
🏠

分布式智能家居系统

展示SAGE的互联互通能力,通过IoT设备网络实现智能家居自动化。洗衣机器人与网络交互,环境监测器、洗衣机和晾衣架协调完成洗衣流程。

设备互联 自动化流程 环境感知 25秒循环演示

智能扩缩容聊天系统

展示SAGE的高资源利用能力,通过云基础设施扩缩容可视化。随着用户负载增加,系统智能扩容,实现资源优化和负载均衡。

智能扩缩容 负载均衡 资源监控 35秒循环演示

快速开始

完整的安装和使用指南,让您快速上手SAGE

环境要求

  • 操作系统:Linux / macOS / Windows (WSL)
  • Python版本:≥ 3.11.10
  • 包管理器:Conda (推荐)
1

安装SAGE

使用Wheel方法安装(推荐)

2

验证安装

检查安装状态和版本信息

3

运行示例

执行hello_world.py验证功能

4

构建管道

使用Fluent API构建您的第一个管道

# 1. 下载并安装SAGE wheel包
pip install sage-0.1.2-cp311-cp311-linux_x86_64.whl

# 2. 验证安装
pip show sage-framework

# 3. 运行Hello World示例
python hello_world.py
# 1. 克隆仓库
git clone https://github.com/intellistream/SAGE.git
cd SAGE

# 2. 创建conda环境
conda create -n sage python=3.11.10
conda activate sage

# 3. 安装依赖
pip install -r requirements.txt

# 4. 开发模式安装
pip install -e .
# 创建您的第一个RAG管道
from sage import Environment, FileSource, DenseRetriever, QAPromptor, OpenAIGenerator

# 初始化环境
pipeline = Environment(name="my_first_rag_pipeline")

# 构建声明式管道
result = (pipeline
    .from_source(FileSource, {"path": "documents/"})
    .map(DenseRetriever, {"model": "sentence-transformers/all-MiniLM-L6-v2"})
    .map(QAPromptor, {"template": "基于以下内容回答问题: {context}\n问题: {query}"})
    .map(OpenAIGenerator, {"model": "gpt-3.5-turbo"})
    .execute({"query": "什么是SAGE?"})
)

print(result)
开始安装 详细教程

开发团队与合作

来自华中科技大学IntelliStream研究组的专业团队

IntelliStream研究组

华中科技大学计算机科学与技术学院

专注于分布式系统与智能数据流处理研究

地址:华中科技大学计算机学院408室

团队负责人:张书豪 (shuhao_zhang@hust.edu.cn)

研究方向

RAG / Tool-LLM / 多智能体系统
系统调度、资源管理、可观测性
AIOps / 多模态图神经网络
GPU优化、无服务器推理

合作机会

学术合作

欢迎学术机构和研究人员参与SAGE的研究与开发,共同推进AI系统的发展。

产业合作

为企业提供定制化的AI解决方案,将SAGE应用到实际的生产环境中。

开源贡献

加入我们的开源社区,为SAGE的发展贡献代码、文档和想法。

如何贡献

加入SAGE社区,共同构建下一代AI基础设施

代码贡献

参与核心功能开发、算子实现、性能优化等工作

  • 新算子和连接器开发
  • 性能优化和bug修复
  • 测试用例编写
  • 代码审查和重构
查看代码仓库

文档贡献

完善文档、教程、示例,帮助更多开发者使用SAGE

  • API文档完善
  • 使用教程编写
  • 最佳实践分享
  • 多语言文档翻译
贡献文档

社区建设

参与社区讨论、问题解答、经验分享

  • 问题反馈和讨论
  • 使用经验分享
  • 社区活动组织
  • 新用户指导
加入社区

创新想法

提出新功能建议、架构改进、创新应用场景

  • 新功能需求提议
  • 架构设计建议
  • 创新应用场景
  • 技术路线讨论
提交想法

贡献流程

1

Fork 仓库

从GitHub上fork SAGE仓库到您的账户

2

创建分支

为您的功能或修复创建新的分支

3

提交更改

编写代码、测试并提交您的更改

4

创建PR

创建Pull Request并等待代码审查

100+
内置算子
10x
性能提升
5+
数据源类型
扩展可能