Mini Pi 强化学习环境配置指南
默认分类

Mini Pi 强化学习环境配置指南

又名：在win11上安装wsl版ubuntu22.04使用issacgym进行强化学习的教程 硬件要求： 必须拥有 NVIDIA 独立显卡；内存 ≥ 16GB；磁盘剩余空间 ≥ 100GB。 一、 基础系统环境搭建 1.1 WSL2 安装与优化 以管理员

又名：在win11上安装wsl版ubuntu22.04使用issacgym进行强化学习的教程

硬件要求： 必须拥有 NVIDIA 独立显卡；内存 ≥ 16GB；磁盘剩余空间 ≥ 100GB。

一、 基础系统环境搭建

1.1 WSL2 安装与优化

  1. 以管理员权限打开 PowerShell，运行：wsl --install。你可以参考这篇文章来进行安装：
    《Windows11离线安装wsl2(适用于 Linux 的 Windows 子系统)和Ubuntu》
    参考到第三部分“3、离线下载Ubuntu安装包”之前，就该继续往下看了

  2. 从实验室网盘下载 Ubuntu 22.04安装包(你也可以从微软商店直接搜索ubuntu 22.04安装，但应该没有实验室网盘快

  3. 换源优化：进入 Ubuntu 终端，执行：
    ！！请注意：终端窗口内按鼠标右键或者ctrl+shift+v可以粘贴的

bash <(curl -sSL https://linuxmirrors.cn/main.sh)

按上下键选择，回车键确定。在实验室环境建议选择上交源，在宿舍或者家里建议选择清华源。后面问你http还是https可以不管，直接按回车就好。

1.2 基础依赖安装 (解决库缺失问题)

Isaac Gym 的 C++ 绑定库常因找不到 Python 动态库而报错，需执行以下修复 ：

sudo apt update && sudo apt install libvulkan1 vulkan-tools mesa-utils unzip -y

二、 开发环境配置

2.1 Anaconda 安装

  1. 下载并安装 Anaconda安装包

    wget --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/143.0.0.0 Safari/537.36 Edg/143.0.0.0" https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2025.12-1-Linux-x86_64.sh

bash ./Anaconda3-2025.12-1-Linux-x86_64.sh

    会有让你输yes/no的地方，两次都输入yes然后回车

source ~/.bashrc

  1. 创建虚拟环境：

    conda create -n pi_env python=3.8 -y
conda activate pi_env

2.2 显卡驱动与 PyTorch 配置

  1. 确认显卡状态：在终端输入 nvidia-smi。若显示显卡信息，说明 WSL2 已成功挂载驱动 4。

    nvidia-smi

安装 PyTorch：

conda install pytorch torchvision torchaudio pytorch-cuda=12.4 -c pytorch -c nvidia
conda install numpy=1.23

  1. 修复 libpython 链接 

    sudo cp ~/anaconda3/envs/pi_env/lib/libpython3.8.so.1.0 /usr/lib/x86_64-linux-gnu/

三、 Isaac Gym 仿真环境安装

3.1 获取与解压

将下载好的 IsaacGym_Preview_4_Package.tar.gz 放置在主目录下并解压 ：


# 下载文件
wget -O IsaacGym_Preview_4_Package.tar.gz "https://pan.404lab.doyo.icu/directlink/1/tools/仿真软件/IsaacGym/IsaacGym_Preview_4_Package.tar.gz"
# 解压文件
tar -xvzf IsaacGym_Preview_4_Package.tar.gz
cd isaacgym/python

3.2 WSL2 显卡加速配置

为让Vulkan 识别 GPU，安装 Mesa 稳定版驱动并设置变量：

sudo add-apt-repository ppa:kisak/turtle -y
sudo apt update && sudo apt upgrade -y

配置GPU加速

cat << 'EOF' >> ~/.bashrc
# Isaac Gym & WSL2 GPU 加速配置
export VK_ICD_FILENAMES=/usr/share/vulkan/icd.d/dzn_icd.x86_64.json
export LD_LIBRARY_PATH=$CONDA_PREFIX/lib:/usr/lib/wsl/lib:$LD_LIBRARY_PATH
export MESA_D3D12_DEFAULT_ADAPTER_NAME=NVIDIA
#锁定__NV_PRIME_RENDER_OFFLOAD为GPU1，这大概率不是必要的，除非你有核显
# export __NV_PRIME_RENDER_OFFLOAD=1
export __GLX_VENDOR_LIBRARY_NAME=nvidia
EOF
source ~/.bashrc

3.3 验证安装

# 应该能看到 1080 个球掉落的画面
python examples/1080_balls_of_solitude.py

四、 Mini Pi 强化学习项目实操

4.1 项目部署

解压项目并安装依赖：

# 1. 下载压缩包并重命名为 pi_baseline.zip
wget -O pi_baseline.zip "https://pan.404lab.doyo.icu/directlink/1/硬件设备资料/高擎双足机器人Mini Pi /livelybot_pi_rl_baseline-release_v1.0.0.zip"
# 2. 安装解压工具（如果尚未安装）
sudo apt install unzip -y
# 3. 解压缩文件
unzip pi_baseline.zip

cd ~/livelybot_pi_rl_baseline-release_v1.0.0
pip install -e .

4.2 策略训练 (PPO)

cd humanoid
python scripts/train.py --task=pai_ppo --run_name v1 --num_envs 4

Wandb 提示：若无账号，输入 3 选择 offline 模式即可直接开始训练。

看见机器人开始站起来然后摔倒之后，就可以在终端按crtl+c停止了

Comment