Skip to content

Regression test - #1393

Open
zjjlivein wants to merge 1 commit into
developfrom
regerssion_fleety_ce_test
Open

Regression test#1393
zjjlivein wants to merge 1 commit into
developfrom
regerssion_fleety_ce_test

Conversation

@zjjlivein

Copy link
Copy Markdown
Contributor

PR Category

PR Types

Description

是否引起精度变化

PaddlePaddle-bot

This comment was marked as outdated.

@risemeup1111 risemeup1111 left a comment

Copy link
Copy Markdown
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

本次 review 发现一个需要阻塞合入的问题:新增的 PR 触发流程目前没有检出 PR head,详细说明已放在行级评论里。另有一个 Daily CE 默认行为变化的建议也已内联标注。

  • P3 优先级:P3 非行级:PR 描述仍是空模板,且 Check PR Description 已失败。建议补齐 PR CategoryPR Types、变更说明和“是否引起精度变化”;例如本次 workflow 变更可填写 PR Category: Execute InfrastructurePR Types: Improvements/Devs,并说明新增 PR 触发、use_release 默认值调整的测试范围与风险。
Powered by Nyanpasu with gpt-5.5 xhigh, please check the suggestions carefully.

paddle_url_cu129: "https://paddle-qa.bj.bcebos.com/paddle-pipeline/Develop-TagBuild-Training-Linux-Gpu-Cuda12.9-Cudnn9.9-Trt10.5-Mkl-Avx-Gcc11-SelfBuiltPypiUse/latest/"
paddle_url_cu130: "https://paddle-qa.bj.bcebos.com/paddle-pipeline/Develop-TagBuild-Training-Linux-Gpu-Cuda130-Cudnn913-Trt1013-Mkl-Avx-Gcc11-SelfBuiltPypiUse/latest/paddlepaddle_gpu-0.0.0-cp312-cp312-linux_x86_64.whl"
use_release: ${{ inputs.use_release || 'true' }}
use_release: ${{ inputs.use_release || 'false' }}

Copy link
Copy Markdown
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

P2 优先级:P2

这一行把所有非 workflow_dispatch 触发的默认值都改成了 false,包括原有的定时 Daily CE;结果是定时任务不再安装上面配置的 develop 预编译 Paddle 包,而是走 pip install -e . 的依赖解析路径,和输入项 default: 'true' 以及原来的 Daily CE 语义不一致。若只是希望 PR 触发时不使用预编译包,建议按事件区分默认值,避免改变定时任务行为。

Suggested change
use_release: ${{ inputs.use_release || 'false' }}
use_release: ${{ github.event_name == 'pull_request' && 'false' || inputs.use_release || 'true' }}

name: CE Daily Dev

on:
pull_request:

Copy link
Copy Markdown
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

P1 优先级:P1

这里给 Daily CE 增加了 pull_request 触发,但后续测试步骤仍在容器里重新 git clone https://github.com/PaddlePaddle/PaddleFleet.git,没有拉取 pull/${PR_ID}/head 或切到 ${COMMIT_ID}(本文件里多处克隆 PaddleFleet 的步骤都是这个模式)。这样 PR 触发的 CE 会安装并测试默认分支代码,而不是当前 PR 的修改,容易给出误导性的通过结果。合入前请在每个克隆 PaddleFleet 的步骤里显式切到 PR head;可以复用现有 PR release workflow 的做法,形如:

git clone https://github.com/PaddlePaddle/PaddleFleet.git
cd PaddleFleet
if [ "${PR_ID}" != "0" ]; then
  git fetch origin "pull/${PR_ID}/head"
  git checkout FETCH_HEAD
else
  git checkout "${BRANCH}"
fi
git log -1

@Paddle-CI-Bot

Copy link
Copy Markdown

PaddleFleet Log Analysis

Run #28659903512 · Attempt 1

日志分析报告

流水线名称 问题标签 修复建议 日志片段
Unit test (multi-card) nvidia-container-cli 初始化超时 与本PR无关,H20 runner GPU 驱动 RPC 不通,CI 维护人员检查机器 nvidia-container-runtime 状态 报错代码
Coverage Upload And Check 上游单测产物缺失导致 coverage XML 解析失败 Unit test (multi-card) 因 runner 机器问题未跑完,导致 multi_coverage.xml 文件内容为空(HTTP 404 下载失败),XML 解析报 no element found;修 runner 后重跑即可 报错代码

失败的测试case:

Unit test (multi-card):docker 容器启动失败,全部多卡测试 case 未执行
Coverage Upload And Check:multi_coverage.xml 为空/404,merge_and_check_coverage.py 及 filter_coverage.py 解析失败

根本原因分析:
paddle-11 runner 机器的 nvidia-container-runtime GPU 驱动 RPC 超时(driver rpc error: timed out),容器无法启动,多卡测试完全跳过,产物 multi_coverage.xml 未上传至 BOS,Coverage 流水线拉取时 404,级联触发 XML 解析失败。

修复建议:

  1. CI 维护人员登录 yqlcc01-bbc-yqonlinea-com-1567435(runner paddle-11-1567435),执行 sudo systemctl restart nvidia-container-toolkit 或重启机器,确认 nvidia-smi 可正常返回。
  2. runner 恢复后,在 PR Regression test #1393 上重新触发 CI,两条流水线将随多卡测试成功完成而自动修复。

🔍 准确性记录:请点击评论底部 😊 图标,选择 👍(准确)或 👎(有误),将自动记录到 CI 监控系统

🔄 每次 Re-run 后自动更新

@PaddlePaddle-bot PaddlePaddle-bot left a comment

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

🤖 Paddle-CI-Agent | pr_review | 2026-07-04 00:30:45

📋 Review 摘要

PR 概述:为 CE Daily Dev 工作流新增 PR 触发,并调整 use_release 默认值。
变更范围:GitHub Actions CE 工作流
影响面 TagExecute Infrastructure

问题

级别 文件 概述
🔴 Bug .github/workflows/ce_daily_dev.yml:4 新增 PR 触发后没有检出 PR head,CE 会验证默认分支代码

📝 PR 规范检查

标题缺少官方 Tag,PR 描述的必填章节仍是模板占位内容。

标题建议(可直接复制):

  • [Execute Infrastructure] Enable CE Daily Dev regression workflow for PRs
PR 描述建议(点击展开,可直接复制)
### PR Category
Execute Infrastructure
### PR Types
Improvements
### Description`CE Daily Dev` GitHub Actions 工作流新增 `develop` 分支的 `pull_request` 触发,并将未传入 `use_release` 时的默认值从 `true` 调整为 `false`,使回归任务默认不额外安装预编译 Paddle 包。

总体评价

当前 PR 方向是补充回归触发,但新增 pull_request 后工作流没有检出 PR 提交,导致回归结果无法覆盖待合入代码,需要先修复。另请同步补全 PR 标题和描述。

name: CE Daily Dev

on:
pull_request:

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

🔴 Bug 现在 pull_request 会触发整套 CE,但测试代码没有切到 PR head。

下面的安装步骤仍然只是 git clone https://github.com/PaddlePaddle/PaddleFleet.git,文件内搜索不到 checkout / fetch pull/${PR_ID}/head,传入容器的 COMMIT_ID 也没有被使用;coverage job 里对应的 git pull --no-edit origin pull/${PR_ID}/head 还是注释状态。这样 PR 触发后实际跑的是默认分支代码,不能验证本 PR 的回归结果。

建议修复方式:在每个 clone PaddleFleet 的步骤后显式切到本次 PR commit,例如:

git fetch origin pull/${PR_ID}/head
git checkout ${COMMIT_ID}

或统一改用 actions/checkout 检出 github.event.pull_request.head.sha,确保单卡、多卡、集成测试和 coverage 检查都使用同一个 PR head。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

4 participants