6月11日前下载的glm-4-9b-chat-1m模型， 输入60000的长度都不OOM，在7月11日更新后，输入6000的长度就OOM了 #340
-
|
求问是这期间做了什么改动吗 |
Beta Was this translation helpful? Give feedback.
Answered by
zRzRzRzRzRzRzR
Apr 26, 2025
Replies: 2 comments 1 reply
-
|
没有做改动吧，只有transformers库更新了，用了新的写法，算法是一样的 |
Beta Was this translation helpful? Give feedback.
1 reply
-
这里 _attn_implementation print出来其实是eager
我查了下代码，发现是config.json里的"attn_implementation": "sdpa", 参数实际并没有生效导致的，在运行的时候使用了默认的eager attention实现，才导致长文本OOM的 |
Beta Was this translation helpful? Give feedback.
-
|
我们最新的实现已经都支持了flash attn，使用 -hf的模型或者最新的0414，都能直接支持，更换到我们最新的模型实现即可 |
Beta Was this translation helpful? Give feedback.
0 replies
Answer selected by
zRzRzRzRzRzRzR
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
我们最新的实现已经都支持了flash attn，使用 -hf的模型或者最新的0414，都能直接支持，更换到我们最新的模型实现即可