[Bug] 自定义数据集中直接指定路径和mm_custom_gen的方式测试结果有差异

[Sunnyday1998]

操作系统及版本

openEuler 22.03 LTS

安装工具的python环境

docker容器中的python环境

python版本

3.11

AISBench工具版本

3.0.0

AISBench执行命令

ais_bench \ --models vllm_api_stream_chat \ --datasets mm_custom_gen \ --mode perf ais_bench \ --models vllm_api_stream_chat \ --custom-dataset-path /home/zzr/benchmark/ais_bench/datasets/textvqa/textvqa_json/textvqa_val_1.jsonl \ --mode perf

模型配置文件或自定义配置文件内容

from ais_bench.benchmark.models import VLLMCustomAPIChat
from ais_bench.benchmark.utils.postprocess.model_postprocessors import extract_non_reasoning_content

models = [
dict(
attr="service",
type=VLLMCustomAPIChat,
abbr="vllm-api-stream-chat",
path="/home/Qwen2.5-VL-72B-Instruct/",
model="qwen2_vl",
stream=True,
request_rate=0,
retry=2,
host_ip="127.0.0.8",
host_port=1025,
max_out_len=1024,
batch_size=32,
trust_remote_code=False,
generation_kwargs=dict(
temperature=0.5,
top_k = 10,
top_p = 0.95,
seed = None,
repetition_penalty = 1.03,
ignore_eos=True,
),
pred_postprocessor=dict(type=extract_non_reasoning_content),
)
]

预期行为

相同的图片在相同的参数下跑，通过直接指定路径的方法和通过在mm_custom_gen的方法跑结果应该差不多

实际行为

前置检查

• 我已读懂主页文档的快速入门，无法解决问题
• 我已检索过FAQ，无重复问题
• 我已搜索过现有Issue，无重复问题
• 我已更新到最新版本，问题仍存在

[github-actions]

🌟欢迎给AISBench benchmark测评工具提issue，您可以先尝试以下途径寻求issue的解决方法：

1. 在 工具历史issue 中通过问题的关键日志片段或关键词检索相似issue
2. 在 官方文档 的搜索栏中通过问题的关键日志片段或关键词检索
3. 寻求仓库维护者的帮助（issue评论区中 @SJTUyh）

[github-actions]

🤖 基于AI机器人的issue内容完整性检查结果:

问题内容检查结果

检查状态

PASS

详细检查

• 操作系统及版本: COMPLETE
• 安装工具的python环境: COMPLETE
• python版本: COMPLETE
• AISBench工具版本: COMPLETE
• AISBench执行命令: COMPLETE
• 模型配置文件或自定义配置文件内容: COMPLETE
• 实际行为: COMPLETE

改进建议

所有内容已完备！

补充说明

该Issue内容完整，所有必填项均已提供充分且相关的信息。

👉 如果想重新检查，在评论区@issue_checker即可。

[SJTUyh]

以下回答通过询问 生成，供参考

问题分析

您遇到的问题是使用 mm_custom_gen 数据集与直接通过 --custom-dataset-path 指定路径时，相同图片和参数下测试结果存在差异。 1

根本原因

这个差异主要源于两种方式在处理多模态数据时的不同机制：

1. 数据集处理方式差异

mm_custom_gen 方式：

• 使用专门的多模态数据集处理器
• 包含特定的图像路径格式化和处理逻辑
• 支持多种图像输入格式（file://、简化路径、base64等） 2

custom_dataset_path 方式：

• 使用通用的 CustomDataset.load() 方法 3
• 仅支持基本的 JSONL/CSV 格式读取
• 缺少多模态特定的图像处理逻辑

2. 图像路径处理差异

在多模态数据集中，图像路径需要特殊处理：

# MMMU 数据集的图像处理示例
msgs = []
if isinstance(tgt_path, list):
    msgs.extend([dict(type='image_url', image_url=p) for p in tgt_path])
else:
    msgs = [dict(type='image_url', image_url=tgt_path)]
msgs.append(dict(type='text', text=prompt))
``` [4](#1-3) 

而 `CustomDataset` 不会进行这种多模态特定的格式化处理。

## 解决方案

### 方案1：使用 mm_custom_gen 配置

推荐使用 `mm_custom_gen` 方式，因为它专门为多模态数据设计：

1. 确保您的数据格式符合多模态要求
2. 使用正确的图像路径格式（如 `file:///path/to/image`）
3. 参考标准多模态数据集的配置结构

### 方案2：修改自定义数据集处理

如果必须使用 `--custom-dataset-path`，需要：

1. 在数据文件中使用正确的多模态消息格式：
```json
{
  "content": [
    {"type": "image_url", "image_url": {"url": "file:///path/to/image.jpg"}},
    {"type": "text", "text": "Your question here"}
  ],
  "answer": "expected_answer"
}

2. 确保图像路径使用 file:// 前缀或正确的格式 5

技术细节

两种方式的核心差异在于：

• mm_custom_gen: 使用 MMPromptTemplate 和专门的多模态处理逻辑
• CustomDataset: 使用标准的 PromptTemplate，缺少多模态特定处理

这导致图像在发送给模型时的格式不同，从而影响推理结果。

建议

为了获得一致的多模态推理结果，建议：

1. 优先使用 mm_custom_gen 或其他标准多模态数据集配置
2. 如果使用自定义路径，确保数据格式完全符合多模态要求
3. 检查模型配置中的图像处理参数是否一致

Notes

• 多模态数据集的图像处理逻辑在 ais_bench/benchmark/datasets/ 目录下的各个数据集文件中
• CustomDataset 主要用于文本数据，对多模态支持有限
• 建议查看 textvqa_gen.py 等标准多模态数据集配置作为参考

Wiki pages you might want to explore:

• Multimodal Datasets (AISBench/benchmark)
• Multi-Turn Dialogue Datasets (AISBench/benchmark)

Citations

File: ais_bench/benchmark/datasets/custom.py (L98-130)

@LOAD_DATASET.register_module()
class CustomDataset(BaseDataset):

    @staticmethod
    def load(path, file_name=None, meta_path='', local_mode=False):
        path = get_data_path(path, local_mode=True)
        if file_name is not None:
            path = os.path.join(path, file_name)
        if path.endswith('.jsonl'):
            with open(path, 'r', encoding='utf-8-sig') as f:
                data = [json.loads(line) for line in f]
        elif path.endswith('.csv'):
            with open(path, 'r', encoding='utf-8-sig') as f:
                reader = csv.reader(f)
                header = next(reader)
                data = [dict(zip(header, row)) for row in reader]
        else:
            raise ValueError(f'Unsupported file format: {path}')
        for d in data:
            max_out_len = d.pop("max_tokens", None)
            if max_out_len is not None:
                d["max_out_len"] = max_out_len
        meta_json_conf = get_meta_json(path, meta_path)
        if meta_json_conf:
            meta_json_conf = check_meta_json_dict(meta_json_conf)
            sample_mode = meta_json_conf.get('sampling_mode', 'default')
            request_count = meta_json_conf.get('request_count', 0)
            data = get_sample_data(data, sample_mode, int(request_count))
            if check_output_config_from_meta_json(meta_json_conf):
                max_token_list = get_max_token_list_from_meta_json_file(meta_json_conf['output_config'], len(data))
                for i in range(len(data)):
                    data[i]['max_out_len'] = max_token_list[i] # output_config in meta.json will override max_out_len in custom dataset file
        return Dataset.from_list(data)

File: docs/source_en/advanced_tutorials/multimodal_benchmark.md (L31-84)

### Multimodal input format
There are various formats for service-oriented multimodal data input. Taking image + text input as an example, it is as follows:
- Method 1: Local file format, default method

curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{
"model": "qwen2_vl",
"messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": [
{"type": "text", "text": "What is the text in the illustrate?"},
{"type": "image_url", "image_url": {"url": "file:///data/demo.jpg"}}
]}
]
}'

- Method 2: Simplify the path format

curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{
"model": "qwen2_vl",
"messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": [
{"type": "text", "text": "What is the text in the illustrate?"},
{"type": "image_url", "image_url": "/data/demo.jpg"}
]}
]
}'

- Method 3: url object format

curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{
"model": "qwen2_vl",
"messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": [
{"type": "text", "text": "What is the text in the illustrate?"},
{"type": "image_url", "image_url": {"url": "/data/demo.jpg"}}
]}
]
}'

- Method 4: base64 input format

curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{
"model": "qwen2_vl",
"messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": [
{"type": "text", "text": "What is the text in the illustrate?"},
{"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{image_base64}"}}
]}
]
}'

File: ais_bench/benchmark/datasets/mmmu.py (L204-209)

            msgs = []
            if isinstance(tgt_path, list):
                msgs.extend([dict(type='image_url', image_url=p) for p in tgt_path])
            else:
                msgs = [dict(type='image_url', image_url=tgt_path)]
            msgs.append(dict(type='text', text=prompt))