您好，感谢您的工作，我跑通了整个流程，但是我在整个过程中并没有看到可以在哪设置或者改变rank，因为原作者发布的模型通常都有 r32或r128的标志。 我仅仅在此处看到了一眼rank，这已经是ptq之后的合并模型了，难道说rank就是在此处设置吗？按常理不应该是在ptq校准时候设置么？ https://github.com/nunchaku-ai/nunchaku/blob/main/nunchaku/merge_safetensors.py#L112
您好，感谢您的工作，我跑通了整个流程，但是我在整个过程中并没有看到可以在哪设置或者改变rank，因为原作者发布的模型通常都有 r32或r128的标志。
我仅仅在此处看到了一眼rank，这已经是ptq之后的合并模型了，难道说rank就是在此处设置吗？按常理不应该是在ptq校准时候设置么？
https://github.com/nunchaku-ai/nunchaku/blob/main/nunchaku/merge_safetensors.py#L112