嚯嚯嚯嚯嚯嚯

NVIDIA-SMI 显示的cuda version 是指当前的 cuda 版本还是最大可以支持的 cuda 版本？

我的机器是 nvidia T4 GPU + ubuntu22.04 我先通过下面的命令安装驱动 sudo apt install -y nvidia-driver-535-server 等电脑重启好了，输入 "nvidia-smi" 查看显卡信息 ╰─➤ nvidia-smi 130 ↵ Mon Sep 18 14:30:16 2023 +---------------------------------------------------------------------------------------+ | NVIDIA-SMI 535.54.03 Driver Version: 535.54.03 CUDA Version: 12.2 | |-----------------------------------------+----------------------+----------------------+ | GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. | | | | MIG M. | |=========================================+======================+======================| | 0 Tesla T4 Off | 00000000:AF:00.0 Off | 0 | | N/A 47C P0 27W / 70W | 2MiB / 15360MiB | 6% Default | | | | N/A | +-----------------------------------------+----------------------+----------------------+ 可以看到输出的 cuda verison 是 12.2 然后通过 "sudo apt-get install nvidia-cuda-dev nvidia-cuda-toolkit" 安装 nvcc 但是 "nvcc --version" 显示的 cuda 版本是 11.5 为什么不一致呢？ *** ╰─➤ cat /usr/local/cuda/version.txt cat: /usr/local/cuda/version.txt: No such file or directory

加班使我熟睡

如何在安装 pytorch 的时候，不安装 nvidia 相关的包？

有些时候，推理只要 cpu，不需要用到 GPU，那么此时，我就不想安装 nvidia 相关的包了 但是 pip install torch 的时候，会把 nvidia 相关的包也一起安装 nvidia-cublas-cu12 12.1.3.1 nvidia-cuda-cupti-cu12 12.1.105 nvidia-cuda-nvrtc-cu12 12.1.105 nvidia-cuda-runtime-cu12 12.1.105 nvidia-cudnn-cu12 8.9.2.26 nvidia-cufft-cu12 11.0.2.54 nvidia-curand-cu12 10.3.2.106 nvidia-cusolver-cu12 11.4.5.107 nvidia-cusparse-cu12 12.1.0.106 nvidia-nccl-cu12 2.18.1 nvidia-nvjitlink-cu12 12.3.52 nvidia-nvtx-cu12 12.1.105 至于为什么会有这个需求，是因为这些 nvidia 包的体积都很巨大，打包出来的 docker image 会多3GB，浪费磁盘空间