部署Megatron - LM，快速上手使用

安装Megatron - LM 

首先检查一下当前环境是否已经有 NVIDIA 驱动和 CUDA：

nvidia-smi

直接在当前环境安装运行 PyTorch 和 Megatron-LM不使用 Docker 

之前我们看到目前的环境有 NVIDIA V100 GPU 和 CUDA 12.1，我们可以安装对应的 GPU 版本 PyTorch。

1. 首先安装一些基本依赖：

   apt update && apt install -y python3-pip git cmake

2. 安装 PyTorch（GPU 版本）若已安装可跳过：

   pip3 install torch torchvision torchaudio

3. 克隆并安装 Megatron-LM：

   git clone https://github.com/NVIDIA/Megatron-LM.git && cd Megatron-LM

   

 Megatron - LM简单使用

1. 首先进入 Megatron-LM 目录并安装依赖：

   cd Megatron-LM && pip install -r requirements.txt

   
   如果遇到上述状况需查看目录项详情
    

   ls -la

   

pip install -e .

2.  现在让我们进行一个简单的测试。我们可以使用 Megatron-LM 运行一个简单的预训练示例：

从输出来看，Megatron-LM 已经成功安装，我们可以看到它的所有命令行参数。让我们运行一个简单的测试来验证安装：

cd ~/Megatron-LM && python3 -c "from megatron.core import parallel_state; print('Megatron-LM successfully installed!')"