基于MindSpeed MM玩轉(zhuǎn)Qwen2.5VL多模態(tài)理解模型

git clone https://gitee.com/ascend/MindSpeed-MM.git

git clone https://github.com/NVIDIA/Megatron-LM.git

cd Megatron-LM

git checkout core_r0.8.0

cp -r megatron ../MindSpeed-MM/

cd ..

cd MindSpeed-MM

mkdir logs

mkdir data

mkdir ckpt

環(huán)境搭建：

torch npu 與 CANN包參考鏈接：安裝包參考鏈接

https://gitee.com/link?target=https%3A%2F%2Fsupport.huawei.com%2Fenterprise%2Fzh%2Fascend-computing%2Fcann-pid-251168373%2Fsoftware

# python3.10

conda create -ntestpython=3.10

conda activatetest

#安裝torch和torch_npu，注意要選擇對(duì)應(yīng)python版本、x86或arm的torch、torch_npu及apex包

#下載路徑參考https://www.hiascend.com/document/detail/zh/Pytorch/60RC3/configandinstg/instg/insg_0001.html

pip install torch-2.1.0-cp310-cp310m-manylinux2014_aarch64.whl

pip install torch_npu-2.1.0*-cp310-cp310m-linux_aarch64.whl

# apex for Ascend參考https://gitee.com/ascend/apex

#建議從原倉(cāng)編譯安裝

#安裝加速庫(kù)

gitclonehttps://gitee.com/ascend/MindSpeed.git

cdMindSpeed

# checkout commit from MindSpeed core_r0.8.0

git checkout 3f09d6736571cf1e30f8ac97de77982d0ab32cc5

pip install -r requirements.txt

pip3 install -e .

cd..

#替換MindSpeed中的文件

cp examples/qwen2vl/dot_product_attention.py MindSpeed/mindspeed/core/transformer/dot_product_attention.py

#安裝其余依賴(lài)庫(kù)

pip install -e .

#安裝transformers指定版本

gitclonehttps://github.com/huggingface/transformers.git

cdtransformers

git checkout fa56dcc2a

pip install -e .

權(quán)重下載及轉(zhuǎn)換

Qwen2.5VL權(quán)重下載：

權(quán)重轉(zhuǎn)換：

MindSpeed MM修改了部分原始網(wǎng)絡(luò)的結(jié)構(gòu)名稱(chēng)，使用mm-convert工具對(duì)原始預(yù)訓(xùn)練權(quán)重進(jìn)行轉(zhuǎn)換。該工具實(shí)現(xiàn)了huggingface權(quán)重和MindSpeed MM權(quán)重的互相轉(zhuǎn)換以及PP（Pipeline Parallel）權(quán)重的重切分。

# 3b

mm-convert Qwen2_5_VLConverter hf_to_mm 

 --cfg.mm_dir"ckpt/mm_path/Qwen2.5-VL-3B-Instruct"

 --cfg.hf_config.hf_dir"ckpt/hf_path/Qwen2.5-VL-3B-Instruct"

 --cfg.parallel_config.llm_pp_layers [36] 

 --cfg.parallel_config.vit_pp_layers [32] 

 --cfg.parallel_config.tp_size 1

# 7b

mm-convert Qwen2_5_VLConverter hf_to_mm 

 --cfg.mm_dir"ckpt/mm_path/Qwen2.5-VL-7B-Instruct"

 --cfg.hf_config.hf_dir"ckpt/hf_path/Qwen2.5-VL-7B-Instruct"

 --cfg.parallel_config.llm_pp_layers [1,10,10,7] 

 --cfg.parallel_config.vit_pp_layers [32,0,0,0] 

 --cfg.parallel_config.tp_size 1

# 32b

mm-convert Qwen2_5_VLConverter hf_to_mm 

 --cfg.mm_dir "ckpt/mm_path/Qwen2.5-VL-32B-Instruct" 

 --cfg.hf_config.hf_dir "ckpt/hf_path/Qwen2.5-VL-32B-Instruct" 

 --cfg.parallel_config.llm_pp_layers [4,9,9,9,9,9,9,6] 

 --cfg.parallel_config.vit_pp_layers [32,0,0,0,0,0,0,0] 

 --cfg.parallel_config.tp_size 2

# 72b

mm-convert Qwen2_5_VLConverter hf_to_mm 

 --cfg.mm_dir"ckpt/mm_path/Qwen2.5-VL-72B-Instruct"

 --cfg.hf_config.hf_dir"ckpt/hf_path/Qwen2.5-VL-72B-Instruct"

 --cfg.parallel_config.llm_pp_layers [14,23,23,20] 

 --cfg.parallel_config.vit_pp_layers [32,0,0,0] 

 --cfg.parallel_config.tp_size 8

#其中：

# mm_dir:轉(zhuǎn)換后保存目錄

# hf_dir: huggingface權(quán)重目錄

# llm_pp_layers: llm在每個(gè)卡上切分的層數(shù)，注意要和model.json中配置的pipeline_num_layers一致

# vit_pp_layers: vit在每個(gè)卡上切分的層數(shù)，注意要和model.json中配置的pipeline_num_layers一致

# tp_size: tp并行數(shù)量，注意要和微調(diào)啟動(dòng)腳本中的配置一致

如果需要用轉(zhuǎn)換后模型訓(xùn)練的話(huà)，同步修改

examples/qwen2.5vl/finetune_qwen2_5_vl_7b.sh中的LOAD_PATH參數(shù)，該路徑為轉(zhuǎn)換后或者切分后的權(quán)重，注意與原始權(quán)重ckpt/hf_path/Qwen2.5-VL-7B-Instruct進(jìn)行區(qū)分。

LOAD_PATH="ckpt/mm_path/Qwen2.5-VL-7B-Instruct"

【數(shù)據(jù)集準(zhǔn)備及處理】

數(shù)據(jù)集下載(以coco2017數(shù)據(jù)集為例)：

(1)用戶(hù)需要自行下載COCO2017數(shù)據(jù)集，并解壓到項(xiàng)目目錄下的./data/COCO2017文件夾中

下載鏈接：https://gitee.com/link?target=https%3A%2F%2Fcocodataset.org%2F%23download

(2)獲取圖片數(shù)據(jù)集的描述文件（LLaVA-Instruct-150K），下載至./data/路徑下;

https://gitee.com/link?target=https%3A%2F%2Fhuggingface.co%2Fdatasets%2Fliuhaotian%2FLLaVA-Instruct-150K%2Ftree%2Fmain

(3)在./data路徑下新建文件mllm_format_llava_instruct_data.json，運(yùn)行數(shù)據(jù)轉(zhuǎn)換腳本python examples/qwen2vl/llava_instruct_2_mllm_demo_format.py;

$playground

├── data

├── COCO2017

├── train2017

├── llava_instruct_150k.json

├── mllm_format_llava_instruct_data.json

...

當(dāng)前支持讀取多個(gè)以,（注意不要加空格）分隔的數(shù)據(jù)集，配置方式為data.json中 dataset_param->basic_parameters->dataset 從"./data/mllm_format_llava_instruct_data.json"修改為"./data/mllm_format_llava_instruct_data.json,./data/mllm_format_llava_instruct_data2.json"

同時(shí)注意data.json中dataset_param->basic_parameters->max_samples的配置，會(huì)限制數(shù)據(jù)只讀max_samples條，這樣可以快速驗(yàn)證功能。如果正式訓(xùn)練時(shí)，可以把該參數(shù)去掉則讀取全部的數(shù)據(jù)。

純文本或有圖無(wú)圖混合訓(xùn)練數(shù)據(jù)(以LLaVA-Instruct-150K為例)：

現(xiàn)在本框架已經(jīng)支持純文本/混合數(shù)據(jù)（有圖像和無(wú)圖像數(shù)據(jù)混合訓(xùn)練）。在數(shù)據(jù)構(gòu)造時(shí)，對(duì)于包含圖片的數(shù)據(jù)，需要保留image這個(gè)鍵值。

{

"id": your_id,

"image": your_image_path,

"conversations": [

{"from":"human","value": your_query},

{"from":"gpt","value": your_response},

],

}

在數(shù)據(jù)構(gòu)造時(shí)，對(duì)于純文本數(shù)據(jù)，可以去除image這個(gè)鍵值。

{

"id": your_id,

"conversations": [

{"from":"human","value": your_query},

{"from":"gpt","value": your_response},

],

}

【微調(diào)】

1. 準(zhǔn)備工作

配置腳本前需要完成前置準(zhǔn)備工作，包括：環(huán)境安裝、權(quán)重下載及轉(zhuǎn)換、數(shù)據(jù)集準(zhǔn)備及處理，詳情可查看對(duì)應(yīng)章節(jié)。

2. 配置參數(shù)

數(shù)據(jù)目錄配置：

根據(jù)實(shí)際情況修改data.json中的數(shù)據(jù)集路徑，包括model_name_or_path、dataset_dir、dataset等字段。

以Qwen2.5VL-7B為例，data.json進(jìn)行以下修改，注意model_name_or_path的權(quán)重路徑為轉(zhuǎn)換前的權(quán)重路徑。

注意cache_dir在多機(jī)上不要配置同一個(gè)掛載目錄避免寫(xiě)入同一個(gè)文件導(dǎo)致沖突。

{

"dataset_param": {

"dataset_type": "huggingface",

"preprocess_parameters": {

"model_name_or_path": "./ckpt/hf_path/Qwen2.5-VL-7B-Instruct",

...

},

"basic_parameters": {

...

"dataset_dir": "./data",

"dataset": "./data/mllm_format_llava_instruct_data.json",

"cache_dir": "./data/cache_dir",

...

},

...

},

...

}

}

模型保存加載及日志信息配置：

根據(jù)實(shí)際情況配置examples/qwen2.5vl/finetune_qwen2_5_vl_7b.sh的參數(shù)，包括加載、保存路徑以及保存間隔--save-interval（注意：分布式優(yōu)化器保存文件較大耗時(shí)較長(zhǎng)，請(qǐng)謹(jǐn)慎設(shè)置保存間隔）

...

#加載路徑

LOAD_PATH="ckpt/mm_path/Qwen2.5-VL-7B-Instruct"

#保存路徑

SAVE_PATH="save_dir"

...

GPT_ARGS="

...

--no-load-optim #不加載優(yōu)化器狀態(tài)，若需加載請(qǐng)移除

--no-load-rng #不加載隨機(jī)數(shù)狀態(tài)，若需加載請(qǐng)移除

--no-save-optim #不保存優(yōu)化器狀態(tài)，若需保存請(qǐng)移除

--no-save-rng #不保存隨機(jī)數(shù)狀態(tài)，若需保存請(qǐng)移除

...

"

...

OUTPUT_ARGS="

--log-interval 1 #日志間隔

--save-interval 5000 #保存間隔

...

--log-tps #增加此參數(shù)可使能在訓(xùn)練中打印每步語(yǔ)言模塊的平均序列長(zhǎng)度，并在訓(xùn)練結(jié)束后計(jì)算每秒吞吐tokens量。

"

若需要加載指定迭代次數(shù)的權(quán)重、優(yōu)化器等狀態(tài)，需將加載路徑LOAD_PATH設(shè)置為保存文件夾路徑LOAD_PATH="save_dir"，并修改latest_checkpointed_iteration.txt文件內(nèi)容為指定迭代次數(shù) (此功能coming soon)

$save_dir

 ├── latest_checkpointed_iteration.txt

 ├── ...

單機(jī)運(yùn)行配置：

配置examples/qwen2.5vl/finetune_qwen2_5_vl_7b.sh參數(shù)如下

#根據(jù)實(shí)際情況修改 ascend-toolkit 路徑

source /usr/local/Ascend/ascend-toolkit/set_env.sh

NPUS_PER_NODE=8

MASTER_ADDR=locahost

MASTER_PORT=29501

NNODES=1

NODE_RANK=0

WORLD_SIZE=$(($NPUS_PER_NODE * $NNODES))

注意，當(dāng)開(kāi)啟PP時(shí)，model.json中配置的vision_encoder和text_decoder的pipeline_num_layer參數(shù)控制了各自的PP切分策略。對(duì)于流水線(xiàn)并行，要先處理vision_encoder再處理text_decoder。 比如7b默認(rèn)的值[32,0,0,0]、[1,10,10,7]，其含義為PP域內(nèi)第一張卡先放32層vision_encoder再放1層text_decoder、第二張卡放text_decoder接著的10層、第三張卡放text_decoder接著的10層、第四張卡放text_decoder接著的7層，vision_encoder沒(méi)有放完時(shí)不能先放text_decoder（比如[30,2,0,0]、[1,10,10,7]的配置是錯(cuò)的）。

同時(shí)注意，如果某張卡上的參數(shù)全部?jī)鼋Y(jié)時(shí)會(huì)導(dǎo)致沒(méi)有梯度（比如vision_encoder凍結(jié)時(shí)PP配置[30,2,0,0]、[0,11,10,7]），需要在finetune_qwen2_5_vl_7b.sh中GPT_ARGS參數(shù)中增加--enable-dummy-optimizer，

3. 啟動(dòng)微調(diào)

以Qwen2.5VL-7B為例，啟動(dòng)微調(diào)訓(xùn)練任務(wù)。

bash examples/qwen2.5vl/finetune_qwen2_5_vl_7b.sh

【性能實(shí)測(cè)：昇騰硬件加速提升性能】

備注：Samples per Second 為 (SPS)

【更多參數(shù)見(jiàn)MindSpeed MM倉(cāng)庫(kù)】

準(zhǔn)備工作和參數(shù)說(shuō)明見(jiàn)MindSpeed MM開(kāi)源代碼倉(cāng)鏈接：

https://gitee.com/ascend/MindSpeed-MM/tree/master/examples/qwen2.5vl

結(jié)語(yǔ)

MindSpeed MM是面向大規(guī)模分布式訓(xùn)練的昇騰多模態(tài)大模型套件，同時(shí)支持多模態(tài)生成及多模態(tài)理解，旨在為華為昇騰芯片提供端到端的多模態(tài)訓(xùn)練解決方案, 包含預(yù)置業(yè)界主流模型，數(shù)據(jù)工程，分布式訓(xùn)練及加速，預(yù)訓(xùn)練、微調(diào)、在線(xiàn)推理任務(wù)等特性。

MindSpeed MM即將上線(xiàn)更加豐富的支持Qwen2.5VL模型的特性，敬請(qǐng)期待。