查看模型监控
- 左侧菜单【运维管理】→【模型监控】
一、服务数量统计（顶部指标卡）
Section titled “一、服务数量统计（顶部指标卡）”展示模型服务的整体健康状态统计：
| 指标 | 说明 |
|---|---|
| 已部署的模型服务数量 | 总共部署的模型服务数量 |
| 运行中的模型服务数量 | 状态为运行中的服务数量（正常数） |
| 出现错误的模型服务数量 | 状态为异常的服务数量（异常数） |
二、性能Top3排行
Section titled “二、性能Top3排行”展示模型服务的性能指标排名Top3：
| 指标 | 说明 | 单位 |
|---|---|---|
| 吞吐量Top3 | Generation token吞吐量最高的3个服务 | token/s |
| 时延Top3 | 端到端平均请求延时最低的3个服务 | ms |
| 请求异常率Top3 | 请求完成原因为abort的比率最高的3个服务 | % |
💡 点击Top3卡片中的服务名称，可快速定位到下方列表中的对应服务。
三、模型服务列表
Section titled “三、模型服务列表”展示所有模型服务的详细监控数据。
| 字段 | 说明 |
|---|---|
| 模型名称 | 部署的模型名称（如 Qwen3-0.6B） |
| 推理框架 | 使用的推理框架（如 mindie） |
| NameSpace | 服务所在的命名空间 |
| 容器 | 运行该模型的容器名称 |
| 请求数 | 当前服务的总请求数量 |
| 异常数 | 当前服务的异常请求数量 |
| Prompt token吞吐量 | Prompt阶段的token处理速率（token/s） |
| Generation token吞吐量 | 生成阶段的token输出速率（token/s） |
| 操作 | 查看详情、更多操作（复制地址，停止服务，删除服务） |
性能指标说明
Section titled “性能指标说明”| 指标 | 说明 | 正常范围 |
|---|---|---|
| Prompt token吞吐量 | 处理输入Prompt的速度（token/秒） | 越高越好 |
| Generation token吞吐量 | 生成输出token的速度（token/秒） | 越高越好 |
| 端到端平均请求延时 | 从请求发起到响应完成的总耗时 | 越低越好 |
| 请求异常率 | 请求完成原因为abort的比例 | 越低越好（通常 < 1%） |
功能说明
复制模型服务的访问URL到剪贴板，用于在客户端调用模型服务。
操作步骤
- 点击【更多操作】→【复制地址】
- 系统提示「复制成功」
- 在客户端粘贴使用
💡 复制的地址格式示例：
http://116.228.88.60:31688
功能说明
停止模型服务，释放计算资源，但不删除服务配置。
操作步骤
- 点击【更多操作】→【停止服务】
- 停止成功，列表为空
影响范围
💡 停止服务后，模型列表将无法查询到该数据。
功能说明
删除模型服务，包括服务配置和关联资源。
⚠️ 危险操作：删除服务为不可逆操作，执行后将无法恢复。
操作步骤
- 点击【更多操作】→【删除服务】
-
系统弹出确认框
-
点击【提交】按钮，确认删除操作
影响范围
| 影响项 | 说明 |
|---|---|
| 服务配置 | 被完全删除，不可恢复 |
| 服务访问 | 地址永久失效 |
| 计算资源 | 资源被释放 |
| 监控数据 | 历史监控数据可能被清除 |
⚠️ 删除前请确认：
- 服务不再需要
- 重要数据已备份
模型详情用于查看指定模型服务的详细监控数据，包括服务状态、资源规格、性能指标、加速卡使用情况、容器状态等。
【模型监控】→ 在模型服务列表中，点击目标服务的【查看详情】按钮
进入模型详情页
页面顶部展示模型服务的基本信息：
| 字段 | 说明 | 示例 |
|---|---|---|
| 模型名称 | 部署的模型名称 | Qwen3-0.6B |
| 智算环境名称 | 模型部署的目标环境 | 演示用环境 |
| NameSpace | 服务所在的命名空间 | e35a60a6f0fb46cdacb8d4082a178a8 |
| 容器 | 容器状态及数量（点击「查看」可进入容器详情） | 1/1 查看 |
| 资源规格 | 使用的资源配额 | `昇腾 910B4*1 |
| 推理框架 | 使用的推理框架及版本 | vllm(ascend-v0.17.0rc1) |
| 服务URL | 模型服务的访问地址 | 116.228.88.60:31688 |
Tab页说明
Section titled “Tab页说明”页面下方包含3个Tab页，分别展示不同维度的监控数据：
| Tab | 说明 |
|---|---|
| 服务监控 | 模型服务的性能指标（请求数、吞吐量、时延、请求完成原因等） |
| 加速卡监控 | 加速卡的使用情况（使用率、显存、温度、功率等） |
| 容器监控 | 容器的资源使用情况（CPU、内存、存储等） |
Tab 1：服务监控
Section titled “Tab 1：服务监控”时间范围筛选
支持选择查看不同时间范围的历史趋势数据：
| 选项 | 说明 |
|---|---|
| 近1小时 | 查看最近1小时的数据趋势 |
| 近3小时 | 查看最近3小时的数据趋势 |
| 近12小时 | 查看最近12小时的数据趋势 |
| 近7天 | 查看最近7天的数据趋势 |
| 自定义 | 自定义起止时间范围 |
| 指标 | 说明 | 单位 |
|---|---|---|
| 请求完成原因 | 请求结束的原因分类统计 | 次 |
| Token吞吐量（ tokens/s ） | 每秒处理令牌数量 | token/s |
| 端到端请求延时（ ms ） | 统计从接收请求到返回完整响应的总时间 | token/s |
| 首token延时(ms) | 统计从请求开始到输出第一个令牌的时间 | ms |
| 调度器状态 | 统计处于Running、Waiting状态的请求数量 | ms |
| 缓存利用率 | 统计缓存使用率 | |
| 请求提示长度分布 | 根据请求提示长度，统计令牌数量分布 | |
| 请求生成长度分布 | 根据请求生成长度，统计令牌数量分布 |
Tab 2：加速卡监控
Section titled “Tab 2：加速卡监控”展示模型服务使用的加速卡监控数据。
时间范围筛选
支持选择查看不同时间范围的历史趋势数据：
| 选项 | 说明 |
|---|---|
| 近1小时 | 查看最近1小时的数据趋势 |
| 近3小时 | 查看最近3小时的数据趋势 |
| 近12小时 | 查看最近12小时的数据趋势 |
| 近7天 | 查看最近7天的数据趋势 |
| 自定义 | 自定义起止时间范围 |
| 指标 | 说明 |
|---|---|
| 加速卡使用率 | 加速卡计算负载（%） |
| 显存使用率 | 显存占用比例（%） |
| 加速卡温度 | 加速卡实时温度（℃） |
| 加速卡功率 | 加速卡实时功耗（W） |
💡 点击可进入加速卡监控详情页，查看更详细的监控数据和趋势图。
Tab 3：容器监控
Section titled “Tab 3：容器监控”展示模型服务所在容器的监控数据。
时间范围筛选
支持选择查看不同时间范围的历史趋势数据：
| 选项 | 说明 |
|---|---|
| 近1小时 | 查看最近1小时的数据趋势 |
| 近3小时 | 查看最近3小时的数据趋势 |
| 近12小时 | 查看最近12小时的数据趋势 |
| 近7天 | 查看最近7天的数据趋势 |
| 自定义 | 自定义起止时间范围 |
| 指标 | 说明 |
|---|---|
| CPU使用率 | CPU使用比例（%） |
| 内存使用 | 内存占用量（Gi） |
| 存储使用 | 存储卷使用量（Gi） |
| 网络流量 | 网络收发速率（GB/s） |
💡 点击可进入容器监控详情页，查看更详细的监控数据和趋势图。