昇思MindSpore是什么

昇思MindSpore是华为推出的适用端边云场景的新型开源全场景深度学习框架,昇思MindSpore具备强大的分布式训练能力,内置多种并行策略,简化大模型开发。昇思MindSpore与昇腾处理器深度适配,充分发挥硬件性能,缩短训练时间并提升推理效率。昇思MindSpore支持AI与高性能计算(HPC)融合,满足AI for Science场景需求。昇思MindSpore生态丰富,提供开源项目、案例和SOTA模型,方便开发者快速上手和应用。

昇思MindSpore的主要功能

  • 全场景AI框架:昇思MindSpore支持云、边缘和端侧的快速部署,适用多种硬件平台,如昇腾处理器、GPU、CPU等。
  • 分布式训练:内置多种并行能力,提供简单易用的大模型分布式策略配置接口,支持高效的大模型训练。
  • AI4S融合计算框架:支持AI + HPC全流程可编程,满足AI for Science场景的异构并行加速需求。
  • 硬件潜能发挥:动静统一编程,最佳匹配昇腾处理器,帮助开发者缩短训练时间,提升推理性能。
  • 安装与使用:提供详细的安装指南和命令,支持多种硬件平台。
  • 云平台支持:提供云平台支持,帮助用户快速创建和部署模型,管理全周期AI工作流。
  • 生态资源:提供开源项目、案例集合、SOTA模型及其衍生工具,支持多种领域套件(如NLP、CV、Audio等)。

如何使用昇思MindSpore

  • 环境准备
    • 硬件环境:昇思MindSpore支持多种硬件平台,包括昇腾处理器、GPU(如NVIDIA系列)、CPU(如Intel x86、Arm架构)等。
    • 软件环境
      • 操作系统:推荐使用Linux(如Ubuntu 18.04或CentOS 7.6及以上版本),也支持Windows和macOS。
      • Python环境:推荐使用Python 3.7及以上版本。
  • 安装MindSpore
    • 安装方式:根据使用的硬件平台,选择合适的安装命令。以下是一些常见的安装方式:
      • 安装CPU版本
pip <span class="token function">install</span> mindspore
pip install mindspore
      • 安装GPU版本(以CUDA 11.1为例)
pip <span class="token function">install</span> mindspore-gpu<span class="token operator">==</span><span class="token number">1.10</span>.0
pip install mindspore-gpu==1.10.0
      • 安装昇腾版本
pip <span class="token function">install</span> https://ms-release.obs.cn-north-4.myhuaweicloud.com/2.6.0/MindSpore/unified/aarch64/mindspore-2.6.0-cp39-cp39-linux_aarch64.whl --trusted-host ms-release.obs.cn-north-4.myhuaweicloud.com <span class="token parameter variable">-i</span> https://pypi.tuna.tsinghua.edu.cn/simple
pip install https://ms-release.obs.cn-north-4.myhuaweicloud.com/2.6.0/MindSpore/unified/aarch64/mindspore-2.6.0-cp39-cp39-linux_aarch64.whl --trusted-host ms-release.obs.cn-north-4.myhuaweicloud.com -i https://pypi.tuna.tsinghua.edu.cn/simple
    • 验证安装:安装完成后,运行以下命令验证MindSpore是否安装成功:
<span class="token keyword">import</span> mindspore
<span class="token keyword">print</span><span class="token punctuation">(</span>mindspore<span class="token punctuation">.</span>__version__<span class="token punctuation">)</span>
import mindsporeprint(mindspore.__version__)
  • 快速入门
    • 数据处理:框架提供高效的数据处理Pipeline,支持多种数据集加载和预处理操作。
<span class="token keyword">import</span> mindspore<span class="token punctuation">.</span>dataset <span class="token keyword">as</span> ds
<span class="token keyword">from</span> mindspore<span class="token punctuation">.</span>dataset<span class="token punctuation">.</span>transforms <span class="token keyword">import</span> Compose<span class="token punctuation">,</span> ToTensor<span class="token punctuation">,</span> Normalize
<span class="token comment"># 加载MNIST数据集</span>
dataset <span class="token operator">=</span> ds<span class="token punctuation">.</span>MnistDataset<span class="token punctuation">(</span><span class="token string">"path/to/mnist_dataset"</span><span class="token punctuation">)</span>
transforms <span class="token operator">=</span> Compose<span class="token punctuation">(</span><span class="token punctuation">[</span>ToTensor<span class="token punctuation">(</span><span class="token punctuation">)</span><span class="token punctuation">,</span> Normalize<span class="token punctuation">(</span><span class="token punctuation">(</span><span class="token number">0.1307</span><span class="token punctuation">,</span><span class="token punctuation">)</span><span class="token punctuation">,</span> <span class="token punctuation">(</span><span class="token number">0.3081</span><span class="token punctuation">,</span><span class="token punctuation">)</span><span class="token punctuation">)</span><span class="token punctuation">]</span><span class="token punctuation">)</span>
dataset <span class="token operator">=</span> dataset<span class="token punctuation">.</span><span class="token builtin">map</span><span class="token punctuation">(</span>operations<span class="token operator">=</span>transforms<span class="token punctuation">,</span> input_columns<span class="token operator">=</span><span class="token punctuation">[</span><span class="token string">"image"</span><span class="token punctuation">]</span><span class="token punctuation">)</span>
dataset <span class="token operator">=</span> dataset<span class="token punctuation">.</span>batch<span class="token punctuation">(</span>batch_size<span class="token operator">=</span><span class="token number">64</span><span class="token punctuation">)</span>
import mindspore.dataset as dsfrom mindspore.dataset.transforms import Compose, ToTensor, Normalize# 加载MNIST数据集dataset = ds.MnistDataset("path/to/mnist_dataset")transforms = Compose([ToTensor(), Normalize( ©️版权声明:本站所有资源均收集于网络,只做学习和交流使用,版权归原作者所有。若您需要使用非免费的软件或服务,请购买正版授权并合法使用。本站发布的内容若侵犯到您的权益,请联系站长删除,我们将及时处理。

类似网站