趋动云使用指南

本章节介绍如何使用趋动云平台进行模型微调训练。因为本项目使用的数据集和预训练模型都属于本地自有,所以需要在趋动云上完成「添加数据源」、「添加预训练模型」、「创建项目」、「训练」与「下载模型」等流程。

一、注册登录

1.1 进入官网

官网地址:https://platform.virtaicloud.com/gemini_web/auth/register

1.2 登录成功

使用手机号注册并登录后,可查看账户信息:

二、创建项目

2.1 添加数据源

选择「数据」工具,点击「创建数据」,配置数据信息后选择网页上传方式,拖拽本地数据上传。

数据上传成功后,刷新页面会在数据工具栏显示已创建的数据源:

2.2 添加预训练模型

2.2.1 配置模型信息

选择「模型」工具,创建模型并配置模型信息:

2.2.2 SFTP 方式传输

因为模型文件过大,选择 SFTP 方式进行传输。点击 SFTP 方式后,选择文件传输,获取 SFTP 配置信息(连接字符、密码):

2.2.3 使用 SFTP 上传数据(Windows / Mac)

Windows(CMD)win+r 输入 cmd 进入命令行,复制连接字符并回车,输入 yes 和密码,最后返回 sftp> 表示连接成功。

MacCommand + 空格 搜索「终端」并打开,后续步骤同 Windows。

连接成功后,输入传输命令(修改本地路径为实际路径):

put -r D:\Git\tool\ /upload

连接成功上传数据展示:

注意:模型数据传输完成后,可以关闭通道。

2.3 创建项目

2.3.1 配置项目内容

点击右上角创建项目,依次配置项目内容:

注意:创建项目后,数据默认保存路径为 /gemini/data1,预训练模型会自动保存在 /gemini/pretrain 下。

2.3.2 上传本地代码

创建完项目后,要求上传本地代码(拖拽式,需压缩后上传)。项目创建成功展示:

三、运行服务环境、训练模型

3.1 初始化开发环境

点击「开发工具」进入开发环境实例配置界面,进行实例配置(选择镜像、资源规格等),等待资源配置完成。

3.2 配置开发环境

进入开发环境后展示:

进入网页终端操作:

在网页终端中查看代码、数据、预训练模型,并安装依赖库(默认已安装 pytorch=2.0.1,支持 cuda):

pip install protobuf==3.20.0 transformers==4.27.1 icetk cpm_kernels
pip install peft==0.11.1

3.3 训练模型

3.3.1 路径修改

在趋动云服务下,数据、预训练模型、代码的位置都发生了改变,所以要修改 config 文件中相应的引用数据位置。另外,还需要将 train.pymodel=model.float() 改为 model=model.half(),加快模型训练。

3.3.2 训练脚本

执行训练命令:

python train.py

执行结果:

资源监控(耗时约 1h20min):

3.4 模型预测

注意修改 inference.py 脚本里模型的路径,结果展示:

四、模型下载到本地

4.1 SSH 配置

  1. 登录平台后,下拉右上角账户,选择「平台设置」。
  2. 在「平台设置」页面的 SSH Key 处,管理 密码凭证秘钥凭证(SSH Key 自动生成,需自己设定用户名和密码)。
  3. 在具体项目中选择「开发」,进入「开发环境实例」页面获取开发环境的 ssh 连接串。
  4. 注意:在修改 SSH 配置中,选择开启,然后再启动环境。

注意:只要进入开发环境,就会产生费用。为了节省资源,可以将实例规格进行减配。

启动环境后,出现 ssh 连接串:

4.2 终端操作连接云服务

复制 ssh 连接串,进行修改(示例):

ssh -p 30022 itheima@root@ssh-736af97802ac911f1b7f454489821925.swwutgwduthw@ssh.virtaicloud.com

主机名:ssh.virtaicloud.com
端口号:30022
用户名:itheima@root@ssh-736af97802ac911f1b7f454489821925.swwutgwduthw@

4.3 下载模型到本地

获取模型保存路径(示例):

/gemini/code/checkpoints/ptune/model_best

使用 scp 命令将模型下载到本地桌面:

scp -p 30022 -r itheima@root@ssh-736af97802ac911f1b7f454489821925.swwutgwduthw@ssh.virtaicloud.com:/gemini/code/checkpoints/ptune/model_best ~/Desktop

小结

趋动云使用流程总结:

  1. 注册登录:手机号注册并登录。
  2. 添加数据源:网页上传方式上传数据集。
  3. 添加预训练模型:因模型文件大,使用 SFTP 方式传输。
  4. 创建项目:配置项目内容、镜像环境,上传压缩后的本地代码。
  5. 训练模型:修改 config 路径和 model.half(),执行 python train.py
  6. 下载模型:配置 SSH Key,使用 scp 命令将训练好的模型下载到本地。