SGLang 在昇腾 910B 部署 Qwen3.6-35B-A3B 简记
发表于 17 天前
单机 4 卡昇腾 910B,用 SGLang 部署 Qwen3.6-35B-A3B(MoE,激活参数 35B,总参数约 300B) …
单机 4 卡昇腾 910B,用 SGLang 部署 Qwen3.6-35B-A3B(MoE,激活参数 35B,总参数约 300B) …
一、背景 HY-Embodied 0.5 官方代码默认依赖 CUDA 和 flash-attn,在 Ascend 910B 上需要 …
一、背景 需要在昇腾 ARM 节点上做 vLLM/MindIE 服务化性能测试。测试侧工具使用 AISBench,并叠加 aisb …
最近使用 RLinf 框架适配了 pi0.5 模型的 SFT(Supervised Fine-Tuning)训练,在 Ascend …
> 基于 RLinf 主分支(commit a4b6abe)适配 Ascend 910B3 NPU 的完整流程记录 — 一、背 …
环境概览 组件 版本/说明 硬件 8 × Ascend 910B (aarch64) 基础镜像 `rlinf/rlinf:agen …
一、背景 做 MiniCPM-o 全双工集成 CosyVoice3(Ascend-SACT HTTP 后端,RTF≈0.27)时, …
rtk Token压缩代理部署简记 一、背景 用 LLM coding agent 最大的隐形成本是 context 膨胀。一次 …