本章节介绍如何使用趋动云平台进行模型微调训练。因为本项目使用的数据集和预训练模型都属于本地自有,所以需要在趋动云上完成「添加数据源」、「添加预训练模型」、「创建项目」、「训练」与「下载模型」等流程。
一、注册登录
1.1 进入官网
官网地址:https://platform.virtaicloud.com/gemini_web/auth/register

1.2 登录成功
使用手机号注册并登录后,可查看账户信息:

二、创建项目
2.1 添加数据源
选择「数据」工具,点击「创建数据」,配置数据信息后选择网页上传方式,拖拽本地数据上传。

数据上传成功后,刷新页面会在数据工具栏显示已创建的数据源:

2.2 添加预训练模型
2.2.1 配置模型信息
选择「模型」工具,创建模型并配置模型信息:

2.2.2 SFTP 方式传输
因为模型文件过大,选择 SFTP 方式进行传输。点击 SFTP 方式后,选择文件传输,获取 SFTP 配置信息(连接字符、密码):

2.2.3 使用 SFTP 上传数据(Windows / Mac)
Windows(CMD):win+r 输入 cmd 进入命令行,复制连接字符并回车,输入 yes 和密码,最后返回 sftp> 表示连接成功。
Mac:Command + 空格 搜索「终端」并打开,后续步骤同 Windows。
连接成功后,输入传输命令(修改本地路径为实际路径):
put -r D:\Git\tool\ /upload
连接成功上传数据展示:

注意:模型数据传输完成后,可以关闭通道。
2.3 创建项目
2.3.1 配置项目内容
点击右上角创建项目,依次配置项目内容:

注意:创建项目后,数据默认保存路径为
/gemini/data1,预训练模型会自动保存在/gemini/pretrain下。
2.3.2 上传本地代码
创建完项目后,要求上传本地代码(拖拽式,需压缩后上传)。项目创建成功展示:

三、运行服务环境、训练模型
3.1 初始化开发环境
点击「开发工具」进入开发环境实例配置界面,进行实例配置(选择镜像、资源规格等),等待资源配置完成。
3.2 配置开发环境
进入开发环境后展示:

进入网页终端操作:

在网页终端中查看代码、数据、预训练模型,并安装依赖库(默认已安装 pytorch=2.0.1,支持 cuda):
pip install protobuf==3.20.0 transformers==4.27.1 icetk cpm_kernels
pip install peft==0.11.1
3.3 训练模型
3.3.1 路径修改
在趋动云服务下,数据、预训练模型、代码的位置都发生了改变,所以要修改 config 文件中相应的引用数据位置。另外,还需要将 train.py 中 model=model.float() 改为 model=model.half(),加快模型训练。
3.3.2 训练脚本
执行训练命令:
python train.py
执行结果:

资源监控(耗时约 1h20min):

3.4 模型预测
注意修改 inference.py 脚本里模型的路径,结果展示:

四、模型下载到本地
4.1 SSH 配置
- 登录平台后,下拉右上角账户,选择「平台设置」。
- 在「平台设置」页面的 SSH Key 处,管理 密码凭证 和 秘钥凭证(SSH Key 自动生成,需自己设定用户名和密码)。
- 在具体项目中选择「开发」,进入「开发环境实例」页面获取开发环境的 ssh 连接串。
- 注意:在修改 SSH 配置中,选择开启,然后再启动环境。
注意:只要进入开发环境,就会产生费用。为了节省资源,可以将实例规格进行减配。
启动环境后,出现 ssh 连接串:

4.2 终端操作连接云服务
复制 ssh 连接串,进行修改(示例):
ssh -p 30022 itheima@root@ssh-736af97802ac911f1b7f454489821925.swwutgwduthw@ssh.virtaicloud.com
主机名:ssh.virtaicloud.com
端口号:30022
用户名:itheima@root@ssh-736af97802ac911f1b7f454489821925.swwutgwduthw@
4.3 下载模型到本地
获取模型保存路径(示例):
/gemini/code/checkpoints/ptune/model_best
使用 scp 命令将模型下载到本地桌面:
scp -p 30022 -r itheima@root@ssh-736af97802ac911f1b7f454489821925.swwutgwduthw@ssh.virtaicloud.com:/gemini/code/checkpoints/ptune/model_best ~/Desktop
小结
趋动云使用流程总结:
- 注册登录:手机号注册并登录。
- 添加数据源:网页上传方式上传数据集。
- 添加预训练模型:因模型文件大,使用 SFTP 方式传输。
- 创建项目:配置项目内容、镜像环境,上传压缩后的本地代码。
- 训练模型:修改 config 路径和
model.half(),执行python train.py。 - 下载模型:配置 SSH Key,使用
scp命令将训练好的模型下载到本地。