导入huggingface中的models--laion--CLIP-ViT-H-14-laion2B-s32B-b79K

rafavi

导入huggingface中的models--laion--CLIP-ViT-H-14-laion2B-s32B-b79K

因为用到了models--laion--CLIP-ViT-H-14-laion2B-s32B-b79K这个模型的预训练权重，所以尝试在服务器上面搭建环境，但总是网络问题会报错如下：

那么如何解决呢，直接看模型是如何导入的，根据参考链接3，在导入权重时会对 pretrained 这个字符串进行判断，如果路径存在（即你的模型权重地址）则导入，所以按照下图把需要从网络中下载的模型改成你的自己预训练权重的地址就行了。

过程中的参考链接：

• laion/CLIP-ViT-H-14-laion2B-s32B-b79K at main (huggingface.co)
• open_clip.create_model_and_transforms本地/离线加载 - 知乎 (zhihu.com)
• open_clip/src/open_clip/factory.py at f692ec95e1bf30d50aeabe2fd32008cdff53ef5e · mlfoundations/open_clip (github.com)
  

rafavi

Windows:
1.把从https://huggingface.co/laion/CLI ... s32B-b79K/tree/main
下载的模型文件svd_xt.safetensors放在安装目录的checkpoints下，比如E:\Stable_Video_Diffusion\generative-models\checkpoints；
2.把下载的open_clip_pytorch_model.bin
放在C:\Users\youruser\.cache\huggingface\hub\models--laion--CLIP-ViT-H-14-laion2B-s32B-b79K\snapshots\1c2b8495b28150b8a4922ee1c8edee224c284c0c下

(Refer:https://github.com/Doubiiu/DynamiCrafter/issues/49)