最新发布：SAGE v0.1 现已上线

SAGE Logo SAGE

高性能分布式推理框架
数据流原生的模块化、透明、可控的LLM工作流推理框架
让AI应用开发变得简单、高效、可观测

快速开始 查看文档 GitHub

什么是 SAGE？

SAGE (Streaming-Augmented Generative Execution) 是一个数据流原生的推理框架，
专为构建模块化、可控、透明的LLM工作流而设计

1

轻松连接各类数据源

通过连接多种数据源（Socket、File、Kafka 等），实现日志、监控、交易等数据的实时接入，确保数据第一时间进入处理流水线，为后续分析奠定基础。

2

预定义或自定义编码算子

借助 SAGE 丰富的预定义算子或自定义算子，灵活实现数据清洗、聚合、转换、建模等逻辑，让开发者能够高效构建可扩展的数据处理流程。

问题输入
→
提问重构
→
→
语料压缩
→
LLM生成
→
结果输出
3

快速组装数据处理Pipeline

使用声明式 API 将算子自由组装成 Pipeline，SAGE 自动完成数据流的编排与转换，无需关心底层细节，轻松实现复杂数据管道。

4

一键提交并高效运行

提交至 SAGE 执行引擎，系统自动完成资源分配与优化调度，保障作业高效运行，并支持实时与批量任务的稳定执行。

为什么选择 SAGE？

SAGE 是首个专为LLM推理设计的数据流框架，提供生产级AI管道解决方案

首创数据流范式

首个为LLM推理设计的数据流框架，提供原生的流式处理和异步执行能力

创新

生产级AI管道

可观测与容错机制，支持大规模部署，让AI应用从原型到生产无缝过渡

可靠

统一内存与计算

集成多种数据库，提供统一内存管理接口，支持分布式流推理

高效

弹性可靠运行

流感知的执行引擎，支持故障恢复和动态调度，确保AI服务的高可用性

稳定

使用示例

通过实际案例了解SAGE的强大能力

📰

文章监控系统

源源不断地从arxiv拔文章下来，然后提取标题、摘要，通过词袋匹配等方法初级筛选，再通过语义进行筛选，把用户感兴趣/关注领域的文章提供给用户

实时数据流处理 多级筛选 语义分析
🏠

分布式智能家居系统

展示SAGE的互联互通能力，通过IoT设备网络实现智能家居自动化。洗衣机器人与网络交互，环境监测器、洗衣机和晾衣架协调完成洗衣流程。

自动化流程 环境感知 设备互联
⚡

智能扩缩容聊天系统

展示SAGE的高资源利用能力，通过云基础设施扩缩容可视化。随着用户负载增加，系统智能扩容，实现资源优化和负载均衡。

智能扩缩容 资源监控 负载均衡

快速开始

完整的安装和使用指南，让您快速上手SAGE

环境要求

  • 操作系统：Ubuntu ≥ 22.04
  • Python版本：≥ 3.11.10「推荐使用conda」
# 1. 创建并激活conda环境
conda create -n sage python=3.11.10
conda activate sage

# 2. 安装SAGE
pip install isage

# 3. 克隆SAGE仓库
git clone git@github.com:intellistream/SAGE.git
cd SAGE

# 4. 运行Hello World示例
python examples/tutorials/hello_world.py
# 1. 克隆仓库 「请提前确保装有conda」
git clone https://github.com/intellistream/SAGE.git
cd SAGE

# 2. 采用安装脚本快速安装
./quickstart.sh

# 3. 运行Hello World示例
python examples/tutorials/hello_world.py
开始安装 详细教程

开发团队与合作

来自华中科技大学的IntelliStream课题组

Team Photo

IntelliStream课题组

华中科技大学计算机科学与技术学院

专注于分布式系统与智能数据流处理研究

地址：华中科技大学计算机学院408室

联系我们

张书豪教授

团队负责人：张书豪 教授

shuhao_zhang@hust.edu.cn
420444843 633549582「SAGE讨论群」
教师个人主页
SAGE Slack频道

研究方向

应用开发方向-APP小组

APP小组以SAGE为核心研究与应用平台，聚焦大语言模型相关算法的研究，我们的方向涵盖RAG、智能Agent、长上下文建模、多模态融合、参数高效微调与模型压缩、以及对齐与可控生成等方向。

中间件方向-Middleware小组

Middleware小组专注于为SAGE平台提供高效的中间件解决方案，我们负责构建和优化核心技术，包括向量数据库、大模型记忆组件以及高性能向量计算引擎。

系统运行方向-Kernel小组

Kernel小组致力于打造SAGE系统的高性能分布式流计算引擎，我们旨在提供高效健壮的运行时环境，具体涵盖从实时预处理、复杂事件处理，到分布式模型推理、结果生成与分发的完整流水线生命周期。

如何贡献

加入SAGE社区，共同构建下一代AI基础设施

代码提交

参与SAGE Kernel、Middleware、Application、Tools等版块的开发工作

  • 新算子和连接器开发
  • 性能优化和bug修复
  • 测试用例编写
  • 代码审查和重构
查看代码仓库

社区建设

参与SAGE 的社区讨论、问题解答、经验分享

  • 问题反馈和讨论
  • 使用经验分享
  • 社区活动组织
  • 新用户指导
加入社区

创新想法

提出新的功能建议，架构层面的改进，创新新的应用场景

  • 新功能需求提议
  • 架构设计建议
  • 创新应用场景
  • 技术路线讨论
提交想法

贡献流程

1

Fork 仓库

fork SAGE仓库到您的账户

→
2

创建分支

为您的改动创建新的分支

→
3

提交更改

编写、测试并提交您的代码

→
4

创建PR

创建PR并等待团队审查

100+
内置算子
10x
性能提升
5+
数据源类型
∞
扩展可能