-
Notifications
You must be signed in to change notification settings - Fork 10
Open
Labels
content_check_passedissue content check passedissue content check passedenhancementNew feature or requestNew feature or requestgood first issueGood for newcomersGood for newcomershelp wantedExtra attention is neededExtra attention is needed
Description
问题/痛点描述
--search命令是AISBench/benchmark工具中搜索配置文件具体路径的命令,为了方便用户在各种安装条件下都能够准确快速找到需要修改的配置文件。但是目前--search命令必须精准匹配模型或数据集任务,但是模型和数据集任务的命令都比较复杂(尤其是数据集任务),用户很难精准记住,还需要在多个文档中搜索,例如能够顺利敲出如下搜索命令:
ais_bench --models vllm_api_general_chat --datasets demo_gsm8k_gen_4_shot_cot_chat_prompt --search需要参考 推理服务化后端这个文档找到vllm_api_general_chat模型任务,再参考demo数据集找到demo_gsm8k_gen_4_shot_cot_chat_prompt任务,会非常麻烦。
建议方案
建议将当前任务搜索从精确匹配改为模糊匹配,匹配出多个任务就全部打印。
备选方案
无其他备选方案
预期价值
能够显著降低使用--search命令前的文档搜索成本,只需要很低的记忆成本(例如只需要记住数据集名称)就能找到模板任务和配置文件的路径。能够提供工具基本的易用性。
参与意向
- 我愿意参与此功能的开发或测试
Metadata
Metadata
Labels
content_check_passedissue content check passedissue content check passedenhancementNew feature or requestNew feature or requestgood first issueGood for newcomersGood for newcomershelp wantedExtra attention is neededExtra attention is needed