杭州人工智能计算中心

简介

  • 中心介绍
  • 昇腾介绍
    • 实现方式
    • 迁移成本
      • pytorch迁移
      • pytorch迁移至mindspore
  • 资料汇总
    • 开发者资料
    • 模型代码仓

AICC平台

  • 使用手册
    • 1.申请资源
    • 2.ModelArts使用
    • 3.OBS使用及数据上传
    • 4.上传镜像
    • 5.其他资料

大模型

  • 环境部署
    • 系统安装
      • 修改本机网址
      • 添加raid
      • 1. 打开虚拟控制台
      • 2. 准备系统镜像
      • 挂载硬盘
        • 1. fdisk -l
        • 2. mkfs.ext4 /dev/nvme0n1
        • 3. mkdir /home/model/
        • 4. mount /dev/nvme0n1 /home/model/
        • 5. vim /etc/fstab
        • 6. /dev/nvme0n1 /home/models ext4 defaults 0 0
        • 注意事项
    • 获取软件包
      • 在线获取
      • 离线获取
    • 安装驱动固件
      • 检查驱动是否安装成功
    • 安装docker及docker-runtime
  • 大模型训练
    • MindFormers
      • 1.基础准备
      • 2.套件安装
      • 3.单机多卡
        • 3.1 数据预处理
        • 3.2 权重转换
        • 3.3 预训练
        • 3.4 全参微调
      • 多机多卡分布式训练
        • 参考文档链接
    • MindSpeed-LLM
      • 1.MindSpeed-LLM简介
      • 2.镜像准备
      • 3.套件安装
        • 安装mindspeedllm：
        • debug参考：
      • 4.准备数据集
        • 转换数据集
      • 5.将权重从 huggingface 格式转化为 megatron 格式
      • 6.开启训练(8卡)
        • 修改训练脚本/home/ma-user/work/MindSpeed-LLM/examples/qwen15/pretrain_qwen15_14b_ptd.sh:
        • 参数解释
        • 环境变量和配置解释
        • 训练命令:
      • 7.转回HF权重(8卡)
        • 转回HF权重
    • MindSpeedLLM多机流程
      • 1️.获取镜像
        • 镜像地址:
      • 2️.创建 Notebook
      • 3️.数据获取
        • 配置登录:
        • 数据获取命令:
      • 4️.数据上传 ⬆
        • 创建桶:
        • 上传命令:
      • 5️.保存镜像
      • 6️.创建训练作业
        • 启动命令:
        • 输入变量名:
        • 输出变量名:
        • 模型命名规则:
        • 训练配置参数示例:
        • Megatron训练参数解释
        • 参数说明
        • 公式与关系
        • 优化器与调度器相关参数
        • 示例配置
        • 并行设置规则:
        • 训练日志:
  • 大模型推理
    • vllm
      • 获取运行环境
      • 起服务
        • 请求
        • benchmark
    • MindIE
      • 1.环境准备
      • 2.修改配置
      • 3.启动MindIE
      • 4.http请求测试
      • 5.Gradio内网穿透
      • 6.性能精度测试
        • (1)数据集获取
        • (2)依赖包安装
        • (3)性能测试
        • (4)精度测试
        • (5)参数说明
      • 6.停止服务
    • MindFormers
      • 1.基础准备
      • 2.套件安装
      • 3.权重转换
        • 3.2 权重转换
      • 4.推理
        • 4.1 单卡推理
        • 4.2 多轮对话单卡推理
  • DeepSeek-R1系列推理
    • 基于MindIE的DeepSeek-R1分布式推理部署指导(A2服务器)
      • 环境准备
        • 软件版本要求
        • 服务器资源配置
      • 配置裸金属相关环境
        • 安装驱动
      • 准备容器
        • 准备容器
        • 启动容器
        • 设置环境变量
      • 权重下载与转换
        • 权重下载
        • 权重转换(NPU)
        • 权重转换-W8A8(NPU)
      • 配置分布式通信
        • 检查机器网络情况
      • 纯模型测试
        • 精度测试
        • 测试纯模型性能
      • MindIE服务化启动
        • MindIE的前置准备
        • 拉起服务
        • Benchmark性能测试
    • 基于MindIE的DeepSeek-R1分布式推理部署指导(300I DUO卡)
      • 300I DUO环境配置
        • 驱动固件安装
        • 检查驱动是否安装成功
      • 1.准备环境
        • 1.1拉取权重
        • 1.2准备容器
        • 1.3创建容器(挂载模型权重)
        • 1.4进入容器
      • 2. 修改配置文件
        • 2.1修改模型配置文件
      • 3.修改server配置文件
      • 4.启动服务
      • 5.测试
        • 5.1vllm接口测试
        • 5.2 openai接口测试

成为伙伴

  • 成为伙伴
    • 1.注册
    • 2.解决方案
    • 3.测试报告

FAQ

  • 常见问题
杭州人工智能计算中心
  • 搜索

© 版权所有 2025, 杭州人工智能计算中心。

利用 Sphinx 构建，使用的 主题 由 Read the Docs 开发.