# 12.华为晟腾大模型推理

# msModelSlim

msModelSlim (opens new window) 昇腾压缩加速工具，一个以加速为目标、压缩为技术、昇腾为根本的亲和压缩工具。支持训练加速和推理加速，包括模型低秩分解、稀疏训练、训练后量化、量化感知训练等功能，昇腾AI模型开发用户可以灵活调用Python API接口，对模型进行性能调优，并支持导出不同格式模型，在昇腾AI处理器上运行。

# MindIE Service

MindIE Service (opens new window)是面向通用模型场景的推理服务化框架，通过开放、可扩展的推理服务化平台架构提供推理服务化能力，支持对接业界主流推理框架接口，满足大语言模型的高性能推理需求。

config.json 配置参数 (opens new window)：

# ME大模型推理

启动

docker run -it --privileged  --net=host \
   --shm-size 500g \
   --device=/dev/davinci0 \
   --device=/dev/davinci1 \
   --device=/dev/davinci2 \
   --device=/dev/davinci3 \
   --device=/dev/davinci4 \
   --device=/dev/davinci5 \
   --device=/dev/davinci6 \
   --device=/dev/davinci7 \
   --device=/dev/davinci_manager \
   --device=/dev/hisi_hdc \
   --device /dev/devmm_svm \
   -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
   -v /usr/local/Ascend/firmware:/usr/local/Ascend/firmware \
   -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
   -v /usr/local/sbin:/usr/local/sbin \
   -v /etc/hccn.conf:/etc/hccn.conf \
   -v /usr/local/dcmi:/usr/local/dcmi \
   -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
   -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
   -v /home/:/home --entrypoint /bin/bash swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.RC3-300I-Duo-arm64

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

接口测试


curl "http://127.0.0.1:1025/v1/chat/completions" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen1.5-7B-Instruct-w8a8",
    "messages": [
      {
        "role": "user",
        "content": "如何养生？"
      }
    ],
    "max_tokens":128
  }'

1
2
3
4
5
6
7
8
9
10
11
12
13

{
    "id": "endpoint_common_1",
    "object": "chat.completion",
    "created": 1742882623,
    "model": "qwen",
    "choices": [{
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "养生是指保养生命，包括：合理膳食、适量运动、戒烟限酒、心理平衡、健康生活等。",
                "tool_calls": null
            },
            "finish_reason": "stop"
        }
    ],
    "usage": {
        "prompt_tokens": 11,
        "completion_tokens": 26,
        "total_tokens": 37
    },
    "prefill_time": 75,
    "decode_time_arr": [152, 22, 21, 21, 21, 21, 21, 21, 21, 21, 21, 21, 21, 21, 21, 21, 21, 21, 21, 21, 21, 21, 21, 21, 22]
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

# 华为镜像仓库

昇腾镜像仓库 (opens new window)

# 日志

查看日志 (opens new window)

MindIE LLM默认收集Informational级别及以上的日志，默认的日志落盘路径为用户目录下的“~/mindie/log” 。安全审计日志存储在“~/mindie/log/security”路径下；调试运行日志存储在“~/mindie/log/debug”路径下。日志的级别和落盘路径设置如下方所示。日志文件命名格式统一为：module-name_pid_datetime.log。可以根据组件名称，进程号，和时间戳来定位到相关的日志文件。

可以使用“export MINDIE_LOG_TO_STDOUT=1”命令开启日志打屏功能，快速查看错误日志。或者到日志落盘位置查看相关日志

设置日志级别 (opens new window)

export MINDIE_LOG_LEVEL="debug"

# 引用

← 11.Embeding 01.语音合成入门介绍 →