训练时间

[YDB04234]

作者您好，首先恭喜您中刊，文章很棒，

请问您50000次迭代的训练时间是多少，我这里采用DDP训练gpu利用率100%但是，1张卡和4张卡训练速度是相同的，您知道是为什么吗

[undcloud]

dataset = MyDataset()
sampler = DistributedSampler(dataset)
dataloader = DataLoader(dataset, batch_size=bsz, sampler=sampler, num_workers=8)

[undcloud]

4090 single card According to the default settings of train.py, each round takes 3 hours