miniconda 应该是目前比较主流的 python 包管理工具(deep learning 领域),但是其环境迁移一直很难做。
先不说跨平台的迁移,就说在同一平台下(如 ubuntu-x64),使用conda env export
导出配置文件后,很多情况下都无法在另一台机器上成功配置。很多时候都只能手动处理,非常繁琐。而且一台设备的环境变化之后,其他设备也没法快速同步,只能手动更新(没有及时安装的话后面可能就忘记了,导致出现问题)。
想请教一下大家都是如何处理 conda 的环境迁移问题的?
1
yzbythesea 2023-08-01 10:50:25 +08:00
pyenv
|
2
ConfusedBiscuit 2023-08-01 10:54:42 +08:00
docker
|
3
dif 2023-08-01 11:01:29 +08:00 1
conda-pack
|
4
ruanimal 2023-08-01 11:17:17 +08:00 1
直接复制 conda 目录,执行下面的脚本重写一些路径就行了
#!/bin/sh if [[ -z $1 ]]; then echo usage: $0 conda/bin/conda exit fi set -x -e conda_exe=$(realpath $1) CONDA_DIR=$(dirname $(dirname $conda_exe)) OLD_PREFIX=$(grep CONDA_EXE $CONDA_DIR/etc/profile.d/conda.sh | head -n1 | cut -d "'" -f 2 | sed 's|/bin/conda||') NEW_PREFIX=$(echo $conda_exe | sed 's|/bin/conda||') need_sed=$(grep -RnIH "$OLD_PREFIX" $NEW_PREFIX 2>/dev/null | cut -d ':' -f 1 | sort | uniq) sed -i "s|$OLD_PREFIX|$NEW_PREFIX|g" $need_sed need_sed=$(grep -r -E '^#\!.*python' $NEW_PREFIX/bin/ | cut -d ':' -f 1) sed -i "1c #!${NEW_PREFIX}/bin/python" $need_sed |
5
masellum 2023-08-01 11:19:38 +08:00 1
这事我之前干过,用 `conda env export --from-history` 导出一份 environment.yml ,然后注意里面的 name 和 prefix 按自己的需要改动一下,可能会有缺的 channel 记得补一下,用 pip 装的包可以在 pip 这个 entry 下面写;这样基本上可以良好地迁移
|
7
raycool 2023-08-01 22:23:31 +08:00
conda-pack 可行
直接目标机器上 source activate 即可激活环境。 |