-
Notifications
You must be signed in to change notification settings - Fork 7
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
加載checkpoints #29
Comments
您好,是的。 如果想直接使用原来的build model函数加载压缩后的checkpoints,可以改写各个模型的 |
謝謝您的解答!如果想把Upop用到其他模型上時,請問以下參數應該如何設置: |
|
感谢您的解答!
2.修改forward
期待您的解答。 |
基于Transformer的模型应该都可以。 |
好的明白了,非常感谢您百忙之中详细地回复。您的解答对我帮助很大! |
论文里提到累计梯度是梯度从iteration 0到current iteration t之和,请问这是在代码的哪一部分中实现的,代码中用 |
不主动清除梯度即可。mask的参数没有被包括在原模型的优化器中,例如: UPop/compress_retrieval_clip.py Lines 278 to 282 in 6aae798
,它的梯度 |
谢谢您回复!还想向您请教: (1) 有一些位置在最初几个search epochs时从1变为0.几,但没有在后续继续降低到0;如果在此时mask 已被应用于网络,该层网络就需要在后续训练中重新更正/学习参数? 另外,我想把Upop用在基于Transformer的目标检测模型上(DETR类的模型),去修剪Transformer部分,应该也是适用的?
非常感谢您的解答! |
您好!
請問在compression之後,模型的結構也發生改變,是不是不能用原來的build model函數加載模型的checkpoints?
The text was updated successfully, but these errors were encountered: