accelerate并行计算:训练环境和训练参数的配置字典
accelerate config default

compute_environment
:
- 值为
"LOCAL_MACHINE"
,表示计算环境是在本地机器上进行训练,而不是在云端或其他分布式计算集群环境。
debug
: - 值为
false
,意味着当前训练过程没有开启调试模式。如果设置为 true
,通常会输出更多详细的调试信息,便于排查问题。
distributed_type
: - 值为
"MULTI_GPU"
,说明采用的是多 GPU 分布式训练方式,即利用多块 GPU 并行处理数据来加速训练过程。
downcast_bf16