lmms-eval--微调实战笔记
lmms-eval--大模型调用平台，方便新手上手大模型微调
lmms-eval的更多用法,没有mathverse
https://github.com/EleutherAI/lm-evaluation-harness.git
单卡运行，模型gpt-j-6B，数据集hellaswag
git clone --depth 1 https://github.com/EleutherAI/lm-evaluation-harness
cd lm-evaluation-harness
pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple#国内需要转镜像
export HF_ENDPOINT=https://hf-mirror.com#单卡运行，模型gpt-j-6B，数据集hellaswaglm_eval --model hf --model_args pretrained=EleutherAI/gpt-j-6B --tasks Math-PUMA/Math-PUMA_DeepSeek-Math-VL-7B --device cuda:0 --batch_size 8#多卡运行，模型gpt-j-6B，搞两个数据集lambada_openai,arc_easy
accelerate launch --multi_gpu --num_processes 8 \-m lm_eval --model hf \--tasks lambada_openai,arc_easy \--model_args parallelize=True \
--model_args pretrained=EleutherAI/gpt-j-6B\--batch_size 16#多卡运行，模型gpt-j-6B，搞两个数据集lambada_openai,arc_easy
accelerate launch --multi_gpu --num_processes 8 \-m lm_eval --model hf \--tasks AI4Math/MathVerse\--model_args parallelize=True \
--model_args pretrained=EleutherAI/gpt-j-6B,Math-PUMA/Math-PUMA_DeepSeek-Math-VL-7B\--batch_size 16将数据集改为hf上的任意数据集，需要硬编码