Ubuntu或CentOS系统部署PyTorch/TensorFlow训练环境时，GPU服务器需做哪些基础系统调优？

在 Ubuntu 或 CentOS 系统上部署 PyTorch/TensorFlow 训练环境时，GPU 服务器的基础系统调优主要集中在内核参数、文件系统性能、网络通信、电源管理以及驱动兼容性五个方面。这些优化能显著减少 I/O 瓶颈、提升多卡通信效率并防止训练中断。

以下是具体的调优步骤与关键配置：

1. 内核参数与资源限制（System Limits）

深度学习训练通常涉及大量文件读写和进程创建，默认的系统限制往往不足。

• 调整 ulimit（文件描述符限制）
  DataLoader 开启多个 worker 时会占用大量文件句柄。建议将 nofile 调整为 65535 或更高。

  # 临时生效
  ulimit -n 65535
  
  # 永久生效 (修改 /etc/security/limits.conf)
  echo "* soft nofile 65535" >> /etc/security/limits.conf
  echo "* hard nofile 65535" >> /etc/security/limits.conf

• 调整 vm.swappiness（交换分区使用倾向）
  训练过程中内存占用巨大，若发生 Swap 交换会严重拖慢速度甚至导致 OOM（内存溢出）。建议将其设为 0 或 1。

  # 临时生效
  sysctl vm.swappiness=1
  
  # 永久生效 (修改 /etc/sysctl.conf)
  echo "vm.swappiness = 1" >> /etc/sysctl.conf
  sudo sysctl -p

• NUMA 架构优化（针对多路 CPU 服务器）
  如果服务器是多 CPU 插槽（Multi-socket），需确保 GPU 和对应的 CPU 核心在同一 NUMA 节点上，避免跨节点访问内存导致的延迟。
  • 安装 numactl。
  • 启动训练脚本时使用 numactl --cpunodebind=0 --membind=0 python train.py 绑定特定节点。

2. 文件系统与存储 I/O 优化

数据加载往往是训练速度的瓶颈，尤其是当数据集较大且位于本地磁盘时。

• 挂载选项优化
  如果是本地 SSD/NVMe，建议在 /etc/fstab 中挂载时添加以下参数以提升随机读性能：

  /dev/sdX  /data  ext4  defaults,noatime,nodiratime,commit=60  0  0

  • noatime：不更新访问时间，减少写入开销。
  • nodiratime：不更新目录访问时间。
  • commit=60：降低 fsync 频率，提高吞吐量（需注意断电风险，生产环境请权衡）。
• 使用 RAM Disk 缓存热点数据
  对于极高频读取的小数据集，可将其复制到内存盘（tmpfs）中，彻底消除磁盘 I/O 延迟。

  mkdir -p /mnt/data_cache
  mount -t tmpfs -o size=32G tmpfs /mnt/data_cache
  cp -r /path/to/dataset/* /mnt/data_cache/

• 禁用不必要的后台服务
  关闭如 snapd, cups (打印), bluetooth 等对训练无用的服务，释放 I/O 带宽和 CPU 周期。

3. 网络与多机多卡通信（InfiniBand/RoCE/Ethernet）

在多卡或多机分布式训练中，网络带宽是核心瓶颈。

• 设置网卡 MTU（最大传输单元）
  如果使用 InfiniBand 或 RoCE 网络，必须将 MTU 设置为 9000（Jumbo Frames），否则性能会下降 50% 以上。

  # 查看当前 MTU
  ip link show eth0
  
  # 临时修改为 9000
  sudo ip link set dev eth0 mtu 9000
  
  # 永久修改 (CentOS: /etc/sysconfig/network-scripts/ifcfg-eth0; Ubuntu: Netplan)
  MTU=9000

• 关闭 TCP 自动调优（可选）
  在某些高负载场景下，Linux 默认的 TCP 拥塞控制算法可能不是最优的。可以尝试切换为 bbr 或 reno，或者针对 RDMA 环境关闭 TCP 栈。

  # 检查当前算法
  sysctl net.ipv4.tcp_congestion_control
  
  # 尝试 BBR (需要较新内核)
  sysctl -w net.core.default_qdisc=fq
  sysctl -w net.ipv4.tcp_congestion_control=bbr

• NVLink/NVSwitch 物理连接确认
  如果是单机多卡，务必通过 nvidia-smi topo -m 确认 GPU 之间的拓扑结构，确保通信走的是 NVLink 而非 PCIe，并在代码中配置 NCCL_P2P_DISABLE=0 以允许点对点通信。

4. 电源管理与 GPU 稳定性

防止服务器因节能策略进入低频状态或意外休眠。

• CPU 频率锁定
  将 CPU 设置为 performance 模式，避免动态降频影响数据预处理（DataLoader 部分）。

  # 安装 cpufrequtils
  sudo apt install cpufrequtils  # Ubuntu
  sudo yum install cpupower      # CentOS
  
  # 设置为 performance 模式
  sudo cpupower frequency-set -g performance

• GPU 持久化模式（Persistence Mode）
  让 NVIDIA 驱动保持常驻，避免频繁初始化带来的延迟，并防止 GPU 在空闲时完全掉电。

  sudo nvidia-smi -pm 1
  # 验证
  sudo nvidia-smi -q | grep Persistence

• BIOS 设置
  重启进入 BIOS，确保以下选项已开启：
  • Above 4G Decoding: 必须开启，否则显存大于 4GB 时可能无法识别所有设备。
  • SR-IOV / Virtualization: 如需虚拟化环境则开启。
  • PCIe Link Speed: 强制设为 Gen3 或 Gen4，不要设为 Auto。
  • C-State / EIST: 建议关闭（Disable），防止 CPU 进入深度睡眠导致训练卡顿。

5. 驱动与环境隔离

• 内核版本匹配
  确保 Linux 内核版本与 NVIDIA 驱动版本兼容。建议使用 LTS 版本的内核（如 Ubuntu 20.04/22.04 自带的内核），避免使用过于激进的测试版内核导致驱动编译失败。
• Docker 容器内的优化（如果采用容器化部署）
  如果使用 Docker 运行训练任务，宿主机无需重复上述大部分操作，但需在 docker run 中添加：
  • --gpus all
  • --shm-size=8g (PyTorch DataLoader 依赖共享内存，默认 64MB 极易爆满)
  • --ipc=host (共享宿主机的 IPC 命名空间，解决多进程通信问题)

总结清单

完成上述调优后，建议运行 nvidia-smi dmon -s uetv 监控 GPU 利用率，并使用 top 观察 CPU 和内存情况，确认系统在满载训练时是否达到预期状态。