开始使用 hfai

High-Flyer    April 26, 2022

幻方萤火 AI 训练平台 hfai 可以为您提供简单易用的深度学习训练服务。使用 hfai,您可以在幻方萤火一万张 A100 显卡上自由部署训练大规模深度学习网络,使用幻方萤火的优化工具为您的模型训练加速。

观看以下视频快速了解如何通过控制台使用 hfai。


官方文档https://doc.hfai.high-flyer.cn/index.html

宣传推文https://mp.weixin.qq.com/s/qslsTUeq06bu09IVJ5TwBA

案例代码https://github.com/HFAiLab/hfai-models/tree/main/resnet

使用说明

您可以申请使用,审批通过后就可以获得 hfai 专属账号和资源。您通过 VPN 接入幻方萤火的网络,浏览器访问 https://studio.yinghuo.high-flyer.cn,通过预设账号登录即可使用。

使用样本数据格式 ffrecord

ffrecord 是 hfai 提供的适用于模型训练场景的样本数据格式,其与幻方萤火集群的结构相适应,能提供高性能的批次数据读取。更多信息,请参见《幻方萤火 | 高性能数据格式 ffrecord》

使用并行训练工具 hfreduce

hfreduce 是 hfai 提供的高速模型并行训练工具,根据幻方萤火的集群特性专为计算节点设计的 All Reduce 工具。其使用 CPU 做加法运算以计算总梯度。更多信息,请参见《幻方萤火 | 模型并行训练工具 hfreduce》

使用深度学习算子 hfai.nn

hfai.nn 是 hfai 中的算子模块,其提供了比 Pytorch 原生算子性能更优异的优化算子,助力一些常见场景下的模型训练加速。更多信息,请参见《幻方萤火 | 性能卓越的深度学习算子 hfai.nn》


本文作者: High-Flyer


您可以转载、不违背作品原意地摘录及引用本技术博客的内容,但必须遵守以下条款: 署名 — 您应当署名原作者,但不得以任何方式暗示幻方为您背书,亦不会对幻方的权利造成任何负面影响。 非商业性使用 — 您不得将本技术博客内容用于商业目的。 禁止演绎 — 如果基于该内容改编、转换、或者再创作,您不得公开或分发被修改内容,该内容仅可供个人使用。