Skip to content

请问是否计划支持 VLLM 的 Dynamic Connector #93

@flpanbin

Description

@flpanbin

我看现在适配 vLLM 需要 patch vLLM 代码,增加 KVConnector 的实现,现在 vLLM 支持 dynamic-connector,应该是不需要在 vLLM 基础上进行修改,可以直接使用外部的 KVConnector,请问这个方案有计划实现?

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions