Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

[BugFix](StoragePolicy) fix modify partition's storage policy with different resource issue succeed with execption #35421

Open
wants to merge 3 commits into
base: master
Choose a base branch
from
Open

[BugFix](StoragePolicy) fix modify partition's storage policy with different resource issue succeed with execption #35421

wants to merge 3 commits into from

Conversation

Johnnyssc
Copy link
Contributor

Proposed changes

Issue Number: close #34229

when we try to modify a partition's storage policy which have different resource with the previous one, we get error message "currently do not support change origin storage policy to another one with different resource", but the modification same also succeed!

expect:
the modification fail with "currently do not support change origin storage policy to another one with different resource".

Further comments

If this is a relatively large or complex change, kick off the discussion at [email protected] by explaining why you chose the solution you did and what alternatives you considered, etc...

@doris-robot
Copy link

Thank you for your contribution to Apache Doris.
Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website.
See Doris Document.

@Johnnyssc
Copy link
Contributor Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 39925 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit ca2157250148e928ee26672430455c0bbab9d1fa, data reload: false

------ Round 1 ----------------------------------
q1	17722	4443	4377	4377
q2	2708	203	197	197
q3	11192	1287	1250	1250
q4	10718	713	822	713
q5	7523	2717	2719	2717
q6	223	134	137	134
q7	983	623	606	606
q8	9284	2128	2084	2084
q9	8955	6506	6496	6496
q10	8957	3730	3668	3668
q11	449	240	237	237
q12	469	225	218	218
q13	17767	2963	3012	2963
q14	262	214	233	214
q15	515	473	477	473
q16	524	379	392	379
q17	1002	726	680	680
q18	8070	7373	7400	7373
q19	6883	1552	1531	1531
q20	661	328	312	312
q21	4928	3030	3879	3030
q22	340	281	273	273
Total cold run time: 120135 ms
Total hot run time: 39925 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4317	4249	4206	4206
q2	375	269	256	256
q3	3027	2806	2817	2806
q4	1838	1607	1621	1607
q5	5301	5283	5278	5278
q6	210	124	124	124
q7	2131	1776	1741	1741
q8	3252	3332	3346	3332
q9	8336	8393	8433	8393
q10	3906	3739	3764	3739
q11	578	480	510	480
q12	789	594	588	588
q13	16471	2990	2984	2984
q14	282	255	258	255
q15	510	478	482	478
q16	477	405	412	405
q17	1793	1478	1465	1465
q18	7579	7485	7382	7382
q19	4507	1567	1533	1533
q20	1947	1784	1781	1781
q21	4961	4666	4774	4666
q22	564	490	492	490
Total cold run time: 73151 ms
Total hot run time: 53989 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 172206 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit ca2157250148e928ee26672430455c0bbab9d1fa, data reload: false

query1	919	399	370	370
query2	6528	2632	2367	2367
query3	6661	202	202	202
query4	21925	17321	17509	17321
query5	4123	411	412	411
query6	246	157	174	157
query7	4593	294	285	285
query8	244	181	175	175
query9	8647	2429	2421	2421
query10	455	273	260	260
query11	10607	10376	10242	10242
query12	139	91	83	83
query13	1643	361	377	361
query14	10452	7664	6103	6103
query15	198	168	165	165
query16	7823	272	259	259
query17	1850	550	520	520
query18	1960	287	285	285
query19	210	166	163	163
query20	103	86	87	86
query21	198	136	135	135
query22	4480	4279	4217	4217
query23	34044	33106	33104	33104
query24	11859	2827	2824	2824
query25	655	357	384	357
query26	1733	157	151	151
query27	3042	338	322	322
query28	7577	2057	2030	2030
query29	1079	604	602	602
query30	275	148	149	148
query31	950	777	751	751
query32	91	53	51	51
query33	765	263	263	263
query34	1043	486	483	483
query35	727	614	589	589
query36	1099	918	894	894
query37	129	65	66	65
query38	2887	2796	2835	2796
query39	874	807	806	806
query40	274	128	125	125
query41	46	44	40	40
query42	106	96	95	95
query43	622	552	548	548
query44	1216	715	739	715
query45	173	166	161	161
query46	1066	715	691	691
query47	1873	1787	1793	1787
query48	369	296	301	296
query49	1129	387	378	378
query50	780	403	397	397
query51	6716	6797	6688	6688
query52	100	91	112	91
query53	349	294	289	289
query54	1015	432	421	421
query55	75	70	71	70
query56	260	234	242	234
query57	1113	1047	1067	1047
query58	234	210	209	209
query59	3471	3315	3222	3222
query60	279	283	264	264
query61	93	91	90	90
query62	640	446	436	436
query63	313	285	296	285
query64	9849	2258	1735	1735
query65	3209	3105	3148	3105
query66	1363	344	333	333
query67	15540	14711	14800	14711
query68	4927	526	528	526
query69	480	264	276	264
query70	1161	1128	1140	1128
query71	479	267	261	261
query72	7570	5900	5374	5374
query73	766	326	322	322
query74	6114	5699	5731	5699
query75	3522	2630	2623	2623
query76	3123	995	901	901
query77	653	271	260	260
query78	10290	9879	9867	9867
query79	2351	520	511	511
query80	906	441	432	432
query81	523	220	217	217
query82	1337	90	98	90
query83	292	165	183	165
query84	231	89	82	82
query85	1513	280	279	279
query86	472	333	302	302
query87	3289	3185	3103	3103
query88	4120	2419	2419	2419
query89	477	402	389	389
query90	1948	191	192	191
query91	138	111	107	107
query92	60	51	52	51
query93	2128	504	499	499
query94	1202	200	196	196
query95	428	326	331	326
query96	591	266	264	264
query97	3166	2999	3073	2999
query98	240	219	232	219
query99	1132	853	857	853
Total cold run time: 280735 ms
Total hot run time: 172206 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 30.11 s 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit ca2157250148e928ee26672430455c0bbab9d1fa, data reload: false

query1	0.04	0.04	0.03
query2	0.08	0.04	0.04
query3	0.23	0.05	0.06
query4	1.66	0.07	0.07
query5	0.49	0.50	0.50
query6	1.13	0.72	0.72
query7	0.02	0.01	0.02
query8	0.05	0.04	0.04
query9	0.54	0.49	0.50
query10	0.54	0.56	0.55
query11	0.15	0.12	0.11
query12	0.14	0.12	0.11
query13	0.59	0.58	0.60
query14	0.76	0.80	0.77
query15	0.83	0.82	0.80
query16	0.36	0.34	0.37
query17	0.95	0.95	0.97
query18	0.19	0.29	0.24
query19	1.77	1.71	1.65
query20	0.01	0.01	0.01
query21	15.71	0.67	0.67
query22	4.42	7.27	1.56
query23	18.24	1.36	1.29
query24	1.40	0.42	0.20
query25	0.14	0.08	0.07
query26	0.25	0.15	0.16
query27	0.08	0.08	0.08
query28	13.35	1.01	1.00
query29	13.13	3.30	3.27
query30	0.24	0.06	0.05
query31	2.89	0.37	0.38
query32	3.25	0.48	0.47
query33	2.88	2.95	3.00
query34	17.14	4.48	4.40
query35	4.51	4.50	4.48
query36	0.65	0.47	0.46
query37	0.18	0.15	0.15
query38	0.15	0.14	0.15
query39	0.05	0.04	0.03
query40	0.17	0.13	0.14
query41	0.08	0.05	0.05
query42	0.05	0.04	0.05
query43	0.04	0.04	0.04
Total cold run time: 109.53 s
Total hot run time: 30.11 s

@Johnnyssc Johnnyssc force-pushed the ssc_fix_modify_storage_policy branch from 7e12d65 to c564f36 Compare May 29, 2024 05:51
@Johnnyssc
Copy link
Contributor Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 41841 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit c564f36bd7abae2d9350e7bcf74659fae1a2fffa, data reload: false

------ Round 1 ----------------------------------
q1	17601	4323	4704	4323
q2	2028	201	199	199
q3	10441	1221	1233	1221
q4	10216	862	788	788
q5	7503	2720	2628	2628
q6	215	134	133	133
q7	963	631	625	625
q8	9229	2130	2081	2081
q9	9829	6722	6699	6699
q10	9235	3918	3854	3854
q11	443	244	251	244
q12	456	223	229	223
q13	17187	3179	3237	3179
q14	276	218	215	215
q15	498	480	476	476
q16	491	393	395	393
q17	983	756	677	677
q18	8333	7874	7762	7762
q19	4100	1560	1571	1560
q20	636	325	344	325
q21	5200	3955	4143	3955
q22	352	300	281	281
Total cold run time: 116215 ms
Total hot run time: 41841 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4523	4449	4421	4421
q2	371	267	273	267
q3	3079	2923	2812	2812
q4	1881	1584	1625	1584
q5	5456	5486	5469	5469
q6	217	129	125	125
q7	2156	1835	1765	1765
q8	3256	3379	3332	3332
q9	8631	8689	8706	8689
q10	3997	3699	3781	3699
q11	602	498	482	482
q12	808	617	622	617
q13	16268	3130	3123	3123
q14	300	273	295	273
q15	524	487	483	483
q16	509	440	462	440
q17	1783	1501	1479	1479
q18	7726	7649	7466	7466
q19	1664	1543	1596	1543
q20	2011	1801	1794	1794
q21	12555	4721	4697	4697
q22	568	489	499	489
Total cold run time: 78885 ms
Total hot run time: 55049 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 172252 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit c564f36bd7abae2d9350e7bcf74659fae1a2fffa, data reload: false

query1	923	393	378	378
query2	7594	2457	2456	2456
query3	6636	211	213	211
query4	20068	17486	17416	17416
query5	4105	424	424	424
query6	252	163	159	159
query7	4589	297	282	282
query8	232	175	192	175
query9	8727	2472	2475	2472
query10	473	280	264	264
query11	10707	10190	10313	10190
query12	144	90	86	86
query13	1638	402	365	365
query14	10058	6564	5974	5974
query15	216	163	163	163
query16	7116	284	259	259
query17	1010	539	521	521
query18	1869	277	270	270
query19	200	163	155	155
query20	96	89	88	88
query21	195	133	140	133
query22	4266	4317	3978	3978
query23	33387	33085	33079	33079
query24	7018	2799	2916	2799
query25	465	348	354	348
query26	696	167	158	158
query27	1896	316	326	316
query28	3836	2106	2094	2094
query29	836	620	590	590
query30	227	151	151	151
query31	941	765	745	745
query32	61	52	52	52
query33	506	272	262	262
query34	884	472	485	472
query35	720	630	591	591
query36	1023	933	892	892
query37	102	64	67	64
query38	2924	2804	2820	2804
query39	847	804	789	789
query40	196	123	126	123
query41	46	44	41	41
query42	104	96	94	94
query43	586	571	549	549
query44	1055	732	749	732
query45	178	167	167	167
query46	1067	759	717	717
query47	1861	1798	1819	1798
query48	399	293	294	293
query49	760	379	378	378
query50	765	394	377	377
query51	6780	6774	6617	6617
query52	105	92	86	86
query53	350	282	280	280
query54	550	444	439	439
query55	74	72	71	71
query56	259	243	250	243
query57	1108	1033	1079	1033
query58	223	220	216	216
query59	3387	3349	3185	3185
query60	303	255	256	255
query61	86	89	84	84
query62	554	445	448	445
query63	311	286	285	285
query64	2526	1728	1791	1728
query65	3163	3065	3097	3065
query66	908	333	324	324
query67	15356	14836	14849	14836
query68	4568	554	560	554
query69	445	268	271	268
query70	1125	1132	1114	1114
query71	406	272	269	269
query72	7497	5368	5430	5368
query73	739	346	328	328
query74	6028	5579	5692	5579
query75	3311	2599	2616	2599
query76	2217	1017	975	975
query77	391	262	261	261
query78	10182	9996	9996	9996
query79	1836	522	522	522
query80	979	438	430	430
query81	526	222	216	216
query82	960	91	91	91
query83	248	167	170	167
query84	262	85	86	85
query85	970	277	265	265
query86	404	320	300	300
query87	3287	3192	3158	3158
query88	3379	2460	2465	2460
query89	481	395	371	371
query90	1968	191	188	188
query91	127	100	104	100
query92	59	50	51	50
query93	1692	519	524	519
query94	1102	195	204	195
query95	429	336	329	329
query96	594	270	271	270
query97	3216	3072	3091	3072
query98	230	227	214	214
query99	1158	876	853	853
Total cold run time: 251359 ms
Total hot run time: 172252 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 30.75 s 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit c564f36bd7abae2d9350e7bcf74659fae1a2fffa, data reload: false

query1	0.04	0.03	0.03
query2	0.08	0.04	0.04
query3	0.22	0.06	0.06
query4	1.66	0.09	0.09
query5	0.51	0.49	0.52
query6	1.12	0.72	0.72
query7	0.02	0.02	0.01
query8	0.05	0.04	0.05
query9	0.53	0.48	0.48
query10	0.54	0.56	0.54
query11	0.15	0.12	0.12
query12	0.15	0.12	0.12
query13	0.58	0.60	0.60
query14	0.77	0.79	0.79
query15	0.84	0.82	0.81
query16	0.36	0.34	0.37
query17	0.99	0.94	0.96
query18	0.21	0.23	0.26
query19	1.79	1.71	1.72
query20	0.02	0.01	0.01
query21	15.45	0.68	0.68
query22	4.47	6.92	2.04
query23	18.35	1.46	1.34
query24	1.85	0.26	0.22
query25	0.15	0.08	0.09
query26	0.25	0.16	0.16
query27	0.08	0.08	0.08
query28	13.25	1.01	1.00
query29	13.31	3.26	3.24
query30	0.25	0.06	0.06
query31	2.88	0.37	0.38
query32	3.29	0.46	0.46
query33	2.92	2.94	2.90
query34	17.02	4.45	4.51
query35	4.46	4.44	4.64
query36	0.66	0.46	0.47
query37	0.18	0.16	0.16
query38	0.15	0.15	0.15
query39	0.05	0.04	0.04
query40	0.16	0.14	0.15
query41	0.10	0.04	0.05
query42	0.06	0.04	0.04
query43	0.04	0.03	0.04
Total cold run time: 110.01 s
Total hot run time: 30.75 s

@Johnnyssc
Copy link
Contributor Author

run p0

@Johnnyssc Johnnyssc force-pushed the ssc_fix_modify_storage_policy branch 2 times, most recently from 382f8cb to cd02604 Compare June 1, 2024 02:38
@Johnnyssc
Copy link
Contributor Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 40857 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit cd02604448e1536297020d70d581df9d15c18b4e, data reload: false

------ Round 1 ----------------------------------
q1	17608	4300	4264	4264
q2	2015	198	204	198
q3	10440	1232	1155	1155
q4	10190	740	861	740
q5	7586	2701	2692	2692
q6	239	137	139	137
q7	958	618	625	618
q8	9220	2137	2084	2084
q9	9682	6722	6671	6671
q10	9197	3887	3902	3887
q11	444	249	253	249
q12	439	243	241	241
q13	17214	3301	3205	3205
q14	284	221	213	213
q15	512	494	465	465
q16	523	413	396	396
q17	999	778	683	683
q18	8125	7881	7767	7767
q19	7092	1408	1310	1310
q20	648	328	334	328
q21	5117	3222	4176	3222
q22	390	337	332	332
Total cold run time: 118922 ms
Total hot run time: 40857 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4643	4393	4509	4393
q2	388	283	276	276
q3	3123	2888	2919	2888
q4	1990	1680	1714	1680
q5	5349	5388	5501	5388
q6	224	131	131	131
q7	2181	1844	1779	1779
q8	3222	3394	3406	3394
q9	8683	8677	8588	8588
q10	4047	3865	3888	3865
q11	603	498	500	498
q12	803	620	640	620
q13	15941	3037	3083	3037
q14	313	267	261	261
q15	514	479	465	465
q16	510	422	438	422
q17	1818	1498	1501	1498
q18	7950	7802	7492	7492
q19	1773	1542	1593	1542
q20	4235	1814	1789	1789
q21	7750	4750	4651	4651
q22	833	502	507	502
Total cold run time: 76893 ms
Total hot run time: 55159 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 169049 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit cd02604448e1536297020d70d581df9d15c18b4e, data reload: false

query1	897	374	378	374
query2	6450	2425	2201	2201
query3	6628	208	204	204
query4	18782	17235	17443	17235
query5	4225	442	446	442
query6	246	158	154	154
query7	4538	295	285	285
query8	307	289	270	270
query9	8584	2438	2415	2415
query10	433	306	276	276
query11	10610	10155	10018	10018
query12	138	91	89	89
query13	1605	354	356	354
query14	10060	6931	7558	6931
query15	231	183	185	183
query16	7843	271	273	271
query17	1521	539	517	517
query18	1956	275	266	266
query19	206	147	149	147
query20	93	82	87	82
query21	208	135	126	126
query22	4279	4067	4052	4052
query23	33610	33019	32902	32902
query24	11192	2805	2821	2805
query25	663	350	362	350
query26	1177	153	153	153
query27	2981	332	318	318
query28	7438	2061	2044	2044
query29	872	615	603	603
query30	270	146	149	146
query31	963	772	747	747
query32	93	52	55	52
query33	766	289	278	278
query34	973	472	469	469
query35	741	609	604	604
query36	1083	944	916	916
query37	164	69	69	69
query38	2913	2770	2775	2770
query39	856	781	782	781
query40	206	121	124	121
query41	52	50	50	50
query42	111	95	96	95
query43	558	544	517	517
query44	1201	711	735	711
query45	204	171	165	165
query46	1074	704	706	704
query47	1857	1743	1762	1743
query48	370	293	284	284
query49	991	391	406	391
query50	772	398	382	382
query51	6671	6640	6651	6640
query52	106	89	100	89
query53	359	285	286	285
query54	849	450	464	450
query55	72	70	70	70
query56	275	254	267	254
query57	1083	1036	1046	1036
query58	255	239	257	239
query59	3425	2967	3010	2967
query60	282	272	297	272
query61	94	94	90	90
query62	610	450	465	450
query63	318	281	288	281
query64	8913	2235	1741	1741
query65	3158	3081	3111	3081
query66	811	321	324	321
query67	15354	14867	14817	14817
query68	6080	529	529	529
query69	602	395	361	361
query70	1172	1145	1101	1101
query71	464	280	281	280
query72	7653	2784	2558	2558
query73	765	325	328	325
query74	6020	5589	5639	5589
query75	3798	2678	2647	2647
query76	3573	955	919	919
query77	620	292	285	285
query78	10280	9844	9727	9727
query79	1147	500	514	500
query80	692	461	452	452
query81	580	227	214	214
query82	602	102	100	100
query83	187	167	169	167
query84	257	89	87	87
query85	1262	277	264	264
query86	396	286	299	286
query87	3340	3102	3120	3102
query88	4073	2424	2407	2407
query89	462	374	373	373
query90	1847	184	185	184
query91	121	95	100	95
query92	60	51	51	51
query93	1834	506	506	506
query94	1223	194	185	185
query95	410	309	317	309
query96	576	265	266	265
query97	3156	2991	3008	2991
query98	240	215	211	211
query99	1244	863	834	834
Total cold run time: 271362 ms
Total hot run time: 169049 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 30.43 s 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit cd02604448e1536297020d70d581df9d15c18b4e, data reload: false

query1	0.04	0.03	0.04
query2	0.09	0.04	0.04
query3	0.22	0.05	0.06
query4	1.67	0.07	0.08
query5	0.50	0.48	0.50
query6	1.12	0.72	0.73
query7	0.02	0.01	0.01
query8	0.05	0.04	0.04
query9	0.52	0.50	0.49
query10	0.54	0.54	0.53
query11	0.16	0.11	0.11
query12	0.15	0.12	0.12
query13	0.59	0.58	0.59
query14	0.78	0.76	0.77
query15	0.83	0.81	0.82
query16	0.36	0.37	0.35
query17	0.98	0.94	0.93
query18	0.21	0.25	0.24
query19	1.73	1.64	1.67
query20	0.01	0.02	0.01
query21	15.57	0.66	0.67
query22	4.50	6.97	1.88
query23	18.32	1.35	1.24
query24	2.10	0.21	0.19
query25	0.14	0.09	0.08
query26	0.26	0.17	0.17
query27	0.08	0.08	0.08
query28	13.29	1.01	1.00
query29	13.36	3.31	3.32
query30	0.24	0.06	0.05
query31	2.90	0.38	0.39
query32	3.28	0.47	0.48
query33	2.95	2.89	2.91
query34	16.96	4.45	4.42
query35	4.47	4.54	4.66
query36	0.65	0.46	0.46
query37	0.17	0.16	0.16
query38	0.15	0.15	0.15
query39	0.04	0.04	0.04
query40	0.15	0.15	0.14
query41	0.08	0.04	0.04
query42	0.06	0.05	0.04
query43	0.04	0.03	0.04
Total cold run time: 110.33 s
Total hot run time: 30.43 s

@Johnnyssc
Copy link
Contributor Author

run p0

@Johnnyssc Johnnyssc force-pushed the ssc_fix_modify_storage_policy branch 2 times, most recently from 3bf5f90 to caec0ae Compare June 3, 2024 03:19
@Johnnyssc
Copy link
Contributor Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 39944 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit caec0aeb78172cff97d172b69de074c42b2713a7, data reload: false

------ Round 1 ----------------------------------
q1	17641	4437	4242	4242
q2	2026	194	196	194
q3	10592	1249	1154	1154
q4	10284	792	792	792
q5	7528	2687	2649	2649
q6	223	138	152	138
q7	973	615	598	598
q8	9452	2125	2069	2069
q9	9360	6607	6628	6607
q10	9439	3711	3774	3711
q11	468	238	229	229
q12	500	227	223	223
q13	17812	2963	2975	2963
q14	271	227	220	220
q15	510	464	464	464
q16	533	385	376	376
q17	950	600	677	600
q18	8060	7455	7323	7323
q19	1799	1490	1567	1490
q20	655	308	298	298
q21	5037	3834	3279	3279
q22	385	333	325	325
Total cold run time: 114498 ms
Total hot run time: 39944 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4434	4221	4242	4221
q2	368	263	277	263
q3	2982	2743	2746	2743
q4	1868	1631	1594	1594
q5	5216	5243	5238	5238
q6	220	127	128	127
q7	2081	1740	1754	1740
q8	3188	3300	3318	3300
q9	8296	8392	8400	8392
q10	3914	3646	3635	3635
q11	561	485	490	485
q12	750	577	609	577
q13	16352	3010	3039	3010
q14	295	265	255	255
q15	516	472	488	472
q16	473	412	418	412
q17	1773	1506	1479	1479
q18	7663	7657	7337	7337
q19	1726	1524	1576	1524
q20	1965	1763	1753	1753
q21	4841	4650	4774	4650
q22	609	548	543	543
Total cold run time: 70091 ms
Total hot run time: 53750 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 171946 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit caec0aeb78172cff97d172b69de074c42b2713a7, data reload: false

query1	935	382	356	356
query2	6438	2507	2280	2280
query3	6652	202	207	202
query4	20168	17439	17174	17174
query5	4123	469	448	448
query6	253	159	156	156
query7	4589	296	299	296
query8	317	284	288	284
query9	8491	2367	2343	2343
query10	457	297	284	284
query11	10533	10138	10088	10088
query12	141	88	86	86
query13	1634	383	376	376
query14	10131	7101	6037	6037
query15	230	185	183	183
query16	7793	265	262	262
query17	1846	525	515	515
query18	1965	271	283	271
query19	197	159	153	153
query20	97	86	83	83
query21	216	127	127	127
query22	4351	4362	4171	4171
query23	33683	33177	32950	32950
query24	11890	2821	2938	2821
query25	671	352	358	352
query26	1801	157	155	155
query27	3141	329	320	320
query28	7708	2065	2046	2046
query29	1138	611	602	602
query30	292	148	155	148
query31	939	739	730	730
query32	93	55	53	53
query33	752	278	275	275
query34	1042	478	479	478
query35	747	612	594	594
query36	1099	930	882	882
query37	291	67	72	67
query38	2885	2717	2738	2717
query39	854	788	811	788
query40	284	123	125	123
query41	52	52	53	52
query42	125	97	95	95
query43	581	562	529	529
query44	1193	731	760	731
query45	201	161	171	161
query46	1077	714	724	714
query47	1842	1764	1788	1764
query48	394	308	304	304
query49	1200	423	409	409
query50	774	389	386	386
query51	6968	6734	6772	6734
query52	105	92	91	91
query53	355	292	295	292
query54	960	453	447	447
query55	74	72	75	72
query56	274	253	285	253
query57	1134	1021	1082	1021
query58	274	242	235	235
query59	3289	3083	3142	3083
query60	289	270	276	270
query61	91	89	92	89
query62	655	449	443	443
query63	318	286	286	286
query64	9835	2321	1843	1843
query65	3191	3106	3104	3104
query66	1360	335	347	335
query67	15703	14933	14992	14933
query68	6120	547	531	531
query69	648	449	437	437
query70	1181	1132	1102	1102
query71	496	282	280	280
query72	7671	5734	5403	5403
query73	788	322	325	322
query74	5874	5539	5539	5539
query75	3945	2674	2652	2652
query76	3687	933	978	933
query77	611	284	297	284
query78	10263	9865	9842	9842
query79	2770	516	511	511
query80	2175	458	457	457
query81	556	222	221	221
query82	1062	105	100	100
query83	293	232	173	173
query84	284	94	84	84
query85	1385	276	268	268
query86	454	294	310	294
query87	3283	3074	3090	3074
query88	3739	2456	2438	2438
query89	468	388	377	377
query90	1817	188	201	188
query91	128	101	102	101
query92	65	52	50	50
query93	2374	529	507	507
query94	1176	194	186	186
query95	414	323	328	323
query96	594	267	270	267
query97	3197	3005	3026	3005
query98	241	224	209	209
query99	1224	891	836	836
Total cold run time: 282164 ms
Total hot run time: 171946 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 30.78 s 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit caec0aeb78172cff97d172b69de074c42b2713a7, data reload: false

query1	0.03	0.03	0.03
query2	0.08	0.03	0.04
query3	0.23	0.05	0.05
query4	1.69	0.08	0.07
query5	0.50	0.49	0.48
query6	1.13	0.72	0.72
query7	0.02	0.01	0.02
query8	0.05	0.04	0.05
query9	0.54	0.49	0.50
query10	0.53	0.55	0.53
query11	0.15	0.11	0.12
query12	0.15	0.12	0.12
query13	0.59	0.59	0.61
query14	0.77	0.77	0.76
query15	0.82	0.81	0.81
query16	0.36	0.35	0.37
query17	0.99	0.97	0.97
query18	0.21	0.22	0.23
query19	1.76	1.70	1.66
query20	0.01	0.01	0.01
query21	15.72	0.65	0.64
query22	4.03	7.65	2.26
query23	18.32	1.36	1.29
query24	1.40	0.37	0.24
query25	0.13	0.09	0.08
query26	0.27	0.17	0.17
query27	0.08	0.09	0.08
query28	13.34	1.01	1.01
query29	13.22	3.27	3.30
query30	0.24	0.05	0.06
query31	2.86	0.40	0.39
query32	3.27	0.47	0.47
query33	2.85	2.96	2.89
query34	17.24	4.38	4.40
query35	4.44	4.48	4.46
query36	0.64	0.45	0.45
query37	0.18	0.16	0.17
query38	0.15	0.15	0.14
query39	0.04	0.04	0.03
query40	0.17	0.14	0.14
query41	0.09	0.05	0.05
query42	0.06	0.05	0.04
query43	0.04	0.04	0.04
Total cold run time: 109.39 s
Total hot run time: 30.78 s

@Johnnyssc
Copy link
Contributor Author

run p0

@Johnnyssc Johnnyssc force-pushed the ssc_fix_modify_storage_policy branch from caec0ae to bb0a155 Compare June 3, 2024 09:00
@Johnnyssc
Copy link
Contributor Author

run buildall

@Johnnyssc Johnnyssc force-pushed the ssc_fix_modify_storage_policy branch from bb0a155 to af23096 Compare June 3, 2024 13:39
@Johnnyssc
Copy link
Contributor Author

run buildall

@Johnnyssc
Copy link
Contributor Author

run p0

@doris-robot
Copy link

TPC-H: Total hot run time: 40807 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit cfe70df2250c5e92d3ffbbb9974e1614ef666e12, data reload: false

------ Round 1 ----------------------------------
q1	17611	4334	4263	4263
q2	2024	195	189	189
q3	10448	1216	1088	1088
q4	10193	859	754	754
q5	7514	2731	2689	2689
q6	238	138	136	136
q7	970	623	627	623
q8	9213	2109	2101	2101
q9	9259	6664	6680	6664
q10	9295	3982	3882	3882
q11	466	238	230	230
q12	505	227	232	227
q13	17334	3237	3184	3184
q14	273	219	240	219
q15	528	480	484	480
q16	522	393	391	391
q17	982	556	646	556
q18	8347	7784	7708	7708
q19	4978	1351	1397	1351
q20	641	351	325	325
q21	5280	3407	4025	3407
q22	390	344	340	340
Total cold run time: 117011 ms
Total hot run time: 40807 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4616	4472	4583	4472
q2	378	267	268	267
q3	3123	2942	2901	2901
q4	1847	1599	1593	1593
q5	5458	5472	5483	5472
q6	228	128	130	128
q7	2201	1770	1819	1770
q8	3210	3388	3384	3384
q9	8625	8630	8667	8630
q10	4053	3865	3722	3722
q11	571	483	494	483
q12	773	596	623	596
q13	16311	3139	3150	3139
q14	320	270	278	270
q15	523	481	475	475
q16	477	417	440	417
q17	1801	1480	1506	1480
q18	7961	7404	7318	7318
q19	1705	1627	1612	1612
q20	3029	1819	1798	1798
q21	4877	4678	4763	4678
q22	603	543	537	537
Total cold run time: 72690 ms
Total hot run time: 55142 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 169444 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit cfe70df2250c5e92d3ffbbb9974e1614ef666e12, data reload: false

query1	942	382	381	381
query2	6478	2376	2355	2355
query3	6644	209	212	209
query4	19268	17260	17400	17260
query5	4128	454	446	446
query6	243	153	160	153
query7	4594	297	291	291
query8	341	285	293	285
query9	8713	2398	2375	2375
query10	442	292	267	267
query11	10706	9970	10057	9970
query12	130	82	83	82
query13	1627	351	357	351
query14	8615	7099	7521	7099
query15	227	183	185	183
query16	7842	261	254	254
query17	1504	516	499	499
query18	1947	264	270	264
query19	197	155	148	148
query20	88	83	82	82
query21	202	128	133	128
query22	4345	4096	4034	4034
query23	33750	33230	33001	33001
query24	11019	2835	2813	2813
query25	611	350	345	345
query26	1099	154	154	154
query27	2450	317	323	317
query28	7042	2022	2033	2022
query29	866	619	613	613
query30	295	149	148	148
query31	941	762	713	713
query32	99	51	54	51
query33	754	277	269	269
query34	973	471	465	465
query35	755	617	614	614
query36	1122	907	897	897
query37	130	70	67	67
query38	2856	2690	2718	2690
query39	861	783	815	783
query40	211	124	124	124
query41	54	51	54	51
query42	115	104	99	99
query43	584	535	542	535
query44	1237	728	752	728
query45	205	160	167	160
query46	1078	737	709	709
query47	1873	1780	1749	1749
query48	372	296	295	295
query49	976	396	401	396
query50	817	377	385	377
query51	6803	6642	6573	6573
query52	103	94	93	93
query53	359	287	289	287
query54	886	444	436	436
query55	75	74	77	74
query56	266	248	248	248
query57	1143	1072	1050	1050
query58	236	248	238	238
query59	3405	3148	3271	3148
query60	283	261	262	261
query61	90	89	88	88
query62	652	445	449	445
query63	320	289	290	289
query64	8868	2174	1696	1696
query65	3159	3080	3134	3080
query66	792	335	362	335
query67	15237	15054	14796	14796
query68	4733	541	537	537
query69	598	394	362	362
query70	1164	1279	1144	1144
query71	446	274	265	265
query72	7264	4757	2710	2710
query73	762	318	321	318
query74	5954	5531	5533	5531
query75	3570	2672	2662	2662
query76	2999	933	969	933
query77	640	305	304	304
query78	10225	9737	9688	9688
query79	1963	503	514	503
query80	813	461	455	455
query81	581	217	215	215
query82	1052	103	99	99
query83	185	163	170	163
query84	248	85	86	85
query85	1334	267	262	262
query86	460	318	319	318
query87	3243	3067	3101	3067
query88	3900	2347	2339	2339
query89	481	384	377	377
query90	1795	203	199	199
query91	139	106	109	106
query92	61	50	52	50
query93	1962	529	507	507
query94	1163	197	199	197
query95	411	316	326	316
query96	592	264	264	264
query97	3184	2985	3119	2985
query98	214	201	195	195
query99	1254	856	850	850
Total cold run time: 268435 ms
Total hot run time: 169444 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 31.06 s 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit cfe70df2250c5e92d3ffbbb9974e1614ef666e12, data reload: false

query1	0.04	0.03	0.03
query2	0.08	0.04	0.04
query3	0.24	0.06	0.06
query4	1.65	0.07	0.07
query5	0.50	0.49	0.49
query6	1.13	0.74	0.73
query7	0.02	0.01	0.02
query8	0.05	0.04	0.05
query9	0.54	0.51	0.50
query10	0.54	0.54	0.53
query11	0.16	0.12	0.12
query12	0.15	0.12	0.12
query13	0.61	0.59	0.60
query14	0.82	0.77	0.77
query15	0.84	0.83	0.81
query16	0.35	0.36	0.36
query17	1.01	1.06	0.99
query18	0.21	0.27	0.25
query19	1.86	1.71	1.69
query20	0.02	0.01	0.02
query21	15.58	0.67	0.64
query22	4.34	6.50	2.31
query23	18.25	1.38	1.28
query24	2.05	0.23	0.23
query25	0.15	0.09	0.09
query26	0.28	0.18	0.18
query27	0.08	0.09	0.08
query28	13.23	1.02	1.00
query29	13.70	3.27	3.26
query30	0.23	0.05	0.06
query31	2.86	0.40	0.40
query32	3.26	0.49	0.47
query33	2.94	2.93	2.97
query34	17.17	4.37	4.40
query35	4.59	4.51	4.68
query36	0.66	0.46	0.47
query37	0.19	0.15	0.15
query38	0.15	0.14	0.14
query39	0.04	0.04	0.03
query40	0.17	0.14	0.16
query41	0.09	0.05	0.05
query42	0.06	0.04	0.05
query43	0.04	0.04	0.04
Total cold run time: 110.93 s
Total hot run time: 31.06 s

@Johnnyssc Johnnyssc force-pushed the ssc_fix_modify_storage_policy branch 2 times, most recently from 67e447d to 35d0924 Compare June 7, 2024 10:59
@Johnnyssc
Copy link
Contributor Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 40561 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 35d092422849901c8a1d29b2db59794deb778a15, data reload: false

------ Round 1 ----------------------------------
q1	17664	4534	4248	4248
q2	2035	189	198	189
q3	10568	1129	1099	1099
q4	10545	794	794	794
q5	9275	2709	2717	2709
q6	225	150	137	137
q7	1080	626	619	619
q8	9692	2131	2083	2083
q9	9270	6584	6561	6561
q10	8929	3678	3723	3678
q11	479	243	239	239
q12	501	231	226	226
q13	18755	2998	2985	2985
q14	262	228	226	226
q15	506	469	478	469
q16	514	380	374	374
q17	969	737	720	720
q18	8206	7458	7290	7290
q19	2715	1484	1441	1441
q20	656	304	310	304
q21	5080	3837	3871	3837
q22	392	340	333	333
Total cold run time: 118318 ms
Total hot run time: 40561 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4387	4277	4243	4243
q2	365	272	267	267
q3	2978	2764	2731	2731
q4	1899	1631	1583	1583
q5	5242	5266	5281	5266
q6	219	125	131	125
q7	2090	1719	1699	1699
q8	3168	3334	3329	3329
q9	8344	8310	8329	8310
q10	3853	3619	3712	3619
q11	585	503	478	478
q12	787	604	596	596
q13	17493	2972	2980	2972
q14	295	257	247	247
q15	524	470	464	464
q16	456	413	408	408
q17	1766	1504	1475	1475
q18	7549	7623	7353	7353
q19	3483	1486	1564	1486
q20	1991	1785	1769	1769
q21	4874	4905	4685	4685
q22	606	552	546	546
Total cold run time: 72954 ms
Total hot run time: 53651 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 171916 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 35d092422849901c8a1d29b2db59794deb778a15, data reload: false

query1	932	377	367	367
query2	6454	2444	2362	2362
query3	6644	205	206	205
query4	19040	17438	17444	17438
query5	4141	478	444	444
query6	244	157	161	157
query7	4586	301	284	284
query8	340	300	295	295
query9	8470	2380	2355	2355
query10	595	305	273	273
query11	10889	10180	10189	10180
query12	131	83	90	83
query13	1636	356	347	347
query14	10052	6769	6845	6769
query15	228	188	182	182
query16	7569	260	253	253
query17	1508	532	514	514
query18	1933	272	264	264
query19	194	149	152	149
query20	87	80	78	78
query21	208	122	127	122
query22	4247	4188	3880	3880
query23	33610	33026	32964	32964
query24	12114	2841	2819	2819
query25	650	368	374	368
query26	1715	158	157	157
query27	2994	310	315	310
query28	7303	2041	2033	2033
query29	1118	622	619	619
query30	264	151	151	151
query31	959	749	754	749
query32	96	55	58	55
query33	780	293	289	289
query34	962	472	459	459
query35	789	623	601	601
query36	1107	897	933	897
query37	168	70	69	69
query38	2886	2720	2736	2720
query39	860	805	819	805
query40	289	128	126	126
query41	58	58	53	53
query42	121	98	99	98
query43	567	555	543	543
query44	1256	721	724	721
query45	202	165	172	165
query46	1099	745	725	725
query47	1880	1795	1765	1765
query48	362	301	296	296
query49	1170	404	406	404
query50	767	389	378	378
query51	6732	6763	6604	6604
query52	110	87	94	87
query53	362	288	282	282
query54	1022	439	440	439
query55	76	73	73	73
query56	287	362	246	246
query57	1133	1037	1018	1018
query58	252	234	237	234
query59	3381	3099	3251	3099
query60	294	294	266	266
query61	87	87	84	84
query62	662	437	452	437
query63	316	283	283	283
query64	9924	2208	1718	1718
query65	3192	3133	3078	3078
query66	1392	337	335	335
query67	15575	14879	14933	14879
query68	4697	545	528	528
query69	593	312	307	307
query70	1166	1124	1051	1051
query71	472	262	268	262
query72	8185	5547	5400	5400
query73	751	317	315	315
query74	6105	5640	5476	5476
query75	3956	2614	2620	2614
query76	2948	896	908	896
query77	711	287	292	287
query78	10417	10155	9828	9828
query79	2905	512	503	503
query80	1306	455	470	455
query81	559	221	220	220
query82	726	103	99	99
query83	366	169	186	169
query84	276	85	86	85
query85	2113	338	254	254
query86	462	323	327	323
query87	3274	3036	3060	3036
query88	4188	2326	2317	2317
query89	472	371	380	371
query90	1951	195	191	191
query91	128	98	97	97
query92	65	48	50	48
query93	3670	522	511	511
query94	1325	183	184	183
query95	403	307	319	307
query96	588	260	265	260
query97	3230	2999	3055	2999
query98	227	205	194	194
query99	1166	856	828	828
Total cold run time: 280472 ms
Total hot run time: 171916 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 30.91 s 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 35d092422849901c8a1d29b2db59794deb778a15, data reload: false

query1	0.05	0.03	0.03
query2	0.09	0.04	0.04
query3	0.24	0.06	0.06
query4	1.67	0.10	0.10
query5	0.50	0.49	0.50
query6	1.12	0.73	0.74
query7	0.02	0.01	0.02
query8	0.06	0.04	0.05
query9	0.54	0.49	0.50
query10	0.55	0.55	0.53
query11	0.15	0.11	0.12
query12	0.15	0.12	0.12
query13	0.60	0.59	0.61
query14	0.79	0.79	0.79
query15	0.84	0.82	0.81
query16	0.37	0.35	0.36
query17	1.00	1.04	1.03
query18	0.24	0.24	0.26
query19	1.92	1.81	1.84
query20	0.02	0.01	0.00
query21	15.42	0.65	0.65
query22	4.46	6.80	2.08
query23	18.67	1.35	1.28
query24	2.07	0.23	0.22
query25	0.14	0.08	0.09
query26	0.29	0.18	0.18
query27	0.08	0.08	0.09
query28	13.27	1.01	1.00
query29	12.65	3.31	3.28
query30	0.26	0.08	0.06
query31	2.84	0.41	0.39
query32	3.25	0.48	0.47
query33	2.91	2.89	2.91
query34	17.18	4.45	4.35
query35	4.48	4.47	4.49
query36	0.66	0.46	0.47
query37	0.19	0.16	0.15
query38	0.14	0.14	0.14
query39	0.05	0.04	0.03
query40	0.16	0.15	0.15
query41	0.10	0.05	0.05
query42	0.06	0.04	0.05
query43	0.04	0.04	0.04
Total cold run time: 110.29 s
Total hot run time: 30.91 s

@Johnnyssc Johnnyssc force-pushed the ssc_fix_modify_storage_policy branch 3 times, most recently from 691e20e to beb1889 Compare June 25, 2024 09:43
@doris-robot
Copy link

TPC-H: Total hot run time: 39685 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit beb18896e13aa9831eefab2c254b6c250136014f, data reload: false

------ Round 1 ----------------------------------
q1	17624	4453	4330	4330
q2	2002	188	180	180
q3	10487	1077	1016	1016
q4	10185	686	768	686
q5	7500	2629	2623	2623
q6	216	131	132	131
q7	941	614	591	591
q8	9222	2055	2053	2053
q9	9000	6524	6479	6479
q10	8869	3740	3749	3740
q11	440	247	241	241
q12	500	231	230	230
q13	18047	2965	2994	2965
q14	260	218	217	217
q15	530	468	479	468
q16	486	379	366	366
q17	959	701	636	636
q18	7994	7364	7391	7364
q19	5066	1552	1569	1552
q20	657	321	318	318
q21	4944	3165	3897	3165
q22	402	337	334	334
Total cold run time: 116331 ms
Total hot run time: 39685 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4388	4288	4253	4253
q2	372	273	263	263
q3	2980	2794	2876	2794
q4	1984	1746	1693	1693
q5	5630	5484	5532	5484
q6	215	127	127	127
q7	2195	1795	1858	1795
q8	3270	3404	3434	3404
q9	8726	8646	8838	8646
q10	4077	3959	3762	3762
q11	578	516	501	501
q12	839	648	659	648
q13	16134	3191	3174	3174
q14	311	278	267	267
q15	524	485	475	475
q16	485	430	445	430
q17	1786	1541	1493	1493
q18	8103	7863	7810	7810
q19	1826	1580	1769	1580
q20	3044	1873	1874	1873
q21	5122	4958	4826	4826
q22	619	547	531	531
Total cold run time: 73208 ms
Total hot run time: 55829 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 174023 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit beb18896e13aa9831eefab2c254b6c250136014f, data reload: false

query1	925	388	391	388
query2	6443	2352	2386	2352
query3	6619	205	219	205
query4	19222	17619	17086	17086
query5	3548	484	461	461
query6	239	163	159	159
query7	4575	301	296	296
query8	318	288	296	288
query9	8624	2407	2403	2403
query10	602	300	289	289
query11	10451	10080	10125	10080
query12	111	86	82	82
query13	1637	375	356	356
query14	9458	7874	6996	6996
query15	237	199	189	189
query16	7628	268	264	264
query17	1917	541	515	515
query18	1921	276	269	269
query19	188	154	155	154
query20	87	82	83	82
query21	208	138	137	137
query22	4206	4067	4025	4025
query23	33730	33674	33359	33359
query24	11189	2984	2899	2899
query25	585	379	386	379
query26	714	156	159	156
query27	2259	319	330	319
query28	6450	2143	2162	2143
query29	900	625	643	625
query30	263	171	166	166
query31	966	745	742	742
query32	103	53	63	53
query33	788	293	291	291
query34	1069	477	480	477
query35	754	659	629	629
query36	1115	964	992	964
query37	155	72	77	72
query38	2953	2923	2757	2757
query39	902	861	846	846
query40	216	129	125	125
query41	54	50	52	50
query42	122	98	99	98
query43	583	525	562	525
query44	1218	743	726	726
query45	188	159	178	159
query46	1069	747	744	744
query47	1874	1780	1802	1780
query48	370	302	304	302
query49	887	433	441	433
query50	764	392	398	392
query51	6940	6753	6797	6753
query52	101	91	90	90
query53	358	294	291	291
query54	861	459	451	451
query55	75	73	72	72
query56	288	263	270	263
query57	1151	1079	1062	1062
query58	254	254	253	253
query59	3526	3225	3176	3176
query60	300	269	271	269
query61	94	94	95	94
query62	608	443	456	443
query63	315	295	295	295
query64	9081	2249	1723	1723
query65	3332	3115	3134	3115
query66	826	323	329	323
query67	15316	15005	14886	14886
query68	4480	551	542	542
query69	466	343	338	338
query70	1153	1156	1147	1147
query71	401	268	280	268
query72	6942	5726	5829	5726
query73	741	330	333	330
query74	5910	5504	5473	5473
query75	3351	2663	2708	2663
query76	2212	955	861	861
query77	426	304	310	304
query78	10207	9810	9881	9810
query79	2082	521	516	516
query80	1478	478	472	472
query81	537	224	216	216
query82	730	104	106	104
query83	201	173	177	173
query84	270	85	88	85
query85	1196	297	277	277
query86	412	321	339	321
query87	3254	3079	3117	3079
query88	3948	2367	2378	2367
query89	498	392	394	392
query90	1767	196	192	192
query91	128	100	99	99
query92	59	48	49	48
query93	4078	522	517	517
query94	1032	189	189	189
query95	412	312	311	311
query96	613	268	266	266
query97	3265	3094	3063	3063
query98	204	199	195	195
query99	1169	843	833	833
Total cold run time: 268452 ms
Total hot run time: 174023 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 30.49 s 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit beb18896e13aa9831eefab2c254b6c250136014f, data reload: false

query1	0.03	0.04	0.03
query2	0.08	0.04	0.04
query3	0.22	0.05	0.05
query4	1.68	0.06	0.07
query5	0.52	0.48	0.50
query6	1.12	0.72	0.71
query7	0.01	0.01	0.01
query8	0.05	0.04	0.04
query9	0.53	0.49	0.48
query10	0.54	0.54	0.53
query11	0.15	0.12	0.11
query12	0.15	0.12	0.12
query13	0.60	0.58	0.58
query14	0.76	0.80	0.78
query15	0.84	0.81	0.82
query16	0.35	0.36	0.37
query17	0.98	0.96	1.02
query18	0.21	0.24	0.26
query19	1.79	1.72	1.76
query20	0.02	0.01	0.01
query21	15.43	0.66	0.65
query22	4.40	7.29	1.95
query23	18.27	1.36	1.24
query24	2.09	0.22	0.23
query25	0.15	0.09	0.08
query26	0.26	0.17	0.17
query27	0.08	0.07	0.08
query28	13.30	1.01	1.00
query29	12.60	3.34	3.29
query30	0.25	0.06	0.06
query31	2.86	0.40	0.38
query32	3.27	0.47	0.47
query33	2.87	2.90	2.90
query34	17.17	4.41	4.38
query35	4.54	4.47	4.49
query36	0.64	0.46	0.46
query37	0.18	0.15	0.15
query38	0.15	0.14	0.15
query39	0.04	0.04	0.04
query40	0.18	0.14	0.13
query41	0.09	0.04	0.04
query42	0.06	0.04	0.04
query43	0.05	0.04	0.05
Total cold run time: 109.56 s
Total hot run time: 30.49 s

@Johnnyssc Johnnyssc force-pushed the ssc_fix_modify_storage_policy branch from beb1889 to a007707 Compare June 25, 2024 12:39
@Johnnyssc
Copy link
Contributor Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 39691 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit a0077076e5433348f91fa850936f9174ac3ee75a, data reload: false

------ Round 1 ----------------------------------
q1	17901	4607	4372	4372
q2	2373	181	187	181
q3	10515	1078	1049	1049
q4	10178	846	703	703
q5	7505	2651	2596	2596
q6	213	130	131	130
q7	929	592	603	592
q8	9230	2080	2036	2036
q9	8705	6503	6429	6429
q10	8937	3702	3756	3702
q11	455	234	227	227
q12	389	220	226	220
q13	18022	2994	3029	2994
q14	266	222	232	222
q15	519	480	491	480
q16	494	375	375	375
q17	949	682	702	682
q18	7991	7474	7404	7404
q19	5559	1521	1496	1496
q20	664	327	320	320
q21	4884	3170	3143	3143
q22	398	350	338	338
Total cold run time: 117076 ms
Total hot run time: 39691 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4389	4218	4203	4203
q2	369	269	262	262
q3	2940	2785	2716	2716
q4	1894	1646	1583	1583
q5	5294	5292	5276	5276
q6	217	128	126	126
q7	2168	1767	1800	1767
q8	3192	3339	3308	3308
q9	8324	8328	8334	8328
q10	3860	3637	3690	3637
q11	604	502	502	502
q12	772	613	631	613
q13	16519	3006	3001	3001
q14	295	275	270	270
q15	517	477	486	477
q16	484	413	411	411
q17	1768	1512	1500	1500
q18	7642	7586	7316	7316
q19	1716	1502	1578	1502
q20	1965	1776	1809	1776
q21	4777	4642	4774	4642
q22	641	552	538	538
Total cold run time: 70347 ms
Total hot run time: 53754 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 173440 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit a0077076e5433348f91fa850936f9174ac3ee75a, data reload: false

query1	909	373	387	373
query2	6653	2501	2357	2357
query3	6635	209	212	209
query4	20711	17343	17483	17343
query5	4115	476	464	464
query6	258	155	164	155
query7	4587	302	288	288
query8	350	323	287	287
query9	8719	2409	2376	2376
query10	598	308	265	265
query11	10399	10058	9986	9986
query12	131	79	91	79
query13	1633	355	365	355
query14	9390	7704	7625	7625
query15	265	190	187	187
query16	8153	267	266	266
query17	1905	588	531	531
query18	2101	273	272	272
query19	209	152	156	152
query20	94	84	80	80
query21	207	129	125	125
query22	4256	4085	3974	3974
query23	33536	33014	33020	33014
query24	12065	2789	2816	2789
query25	677	355	355	355
query26	1745	150	149	149
query27	2943	321	329	321
query28	7255	2090	2103	2090
query29	1007	607	609	607
query30	271	149	152	149
query31	949	738	754	738
query32	94	51	56	51
query33	771	276	281	276
query34	968	464	466	464
query35	749	648	608	608
query36	1079	943	951	943
query37	286	68	69	68
query38	2867	2716	2789	2716
query39	831	785	796	785
query40	280	124	123	123
query41	53	55	53	53
query42	124	95	96	95
query43	581	539	567	539
query44	1173	728	740	728
query45	197	162	168	162
query46	1088	733	724	724
query47	1886	1774	1766	1766
query48	373	288	293	288
query49	1195	408	408	408
query50	788	400	387	387
query51	6905	6851	6659	6659
query52	109	91	98	91
query53	355	291	286	286
query54	977	444	437	437
query55	75	72	75	72
query56	272	273	274	273
query57	1148	1085	1092	1085
query58	255	231	249	231
query59	3601	3137	3348	3137
query60	291	272	265	265
query61	91	87	90	87
query62	651	438	443	438
query63	335	293	283	283
query64	9802	2247	1823	1823
query65	3161	3095	3100	3095
query66	1386	341	336	336
query67	15424	15126	14844	14844
query68	4684	538	537	537
query69	563	438	376	376
query70	1120	1103	1169	1103
query71	453	279	271	271
query72	7157	5517	5471	5471
query73	765	338	326	326
query74	5852	5572	5477	5477
query75	3560	2715	2680	2680
query76	3297	912	955	912
query77	665	303	299	299
query78	10165	9782	9960	9782
query79	2210	526	519	519
query80	930	478	460	460
query81	594	225	224	224
query82	808	103	100	100
query83	270	171	167	167
query84	242	89	86	86
query85	1589	333	266	266
query86	483	334	317	317
query87	3305	3085	3106	3085
query88	3544	2341	2329	2329
query89	468	395	373	373
query90	1786	190	187	187
query91	128	97	97	97
query92	64	49	50	49
query93	1953	516	509	509
query94	1230	187	187	187
query95	404	313	321	313
query96	587	269	275	269
query97	3231	3056	3039	3039
query98	226	200	207	200
query99	1138	843	849	843
Total cold run time: 276418 ms
Total hot run time: 173440 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 30.24 s 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit a0077076e5433348f91fa850936f9174ac3ee75a, data reload: false

query1	0.04	0.03	0.03
query2	0.08	0.04	0.04
query3	0.22	0.04	0.05
query4	1.68	0.07	0.07
query5	0.53	0.49	0.49
query6	1.14	0.72	0.72
query7	0.02	0.02	0.01
query8	0.05	0.04	0.04
query9	0.54	0.49	0.50
query10	0.54	0.55	0.56
query11	0.15	0.11	0.12
query12	0.14	0.12	0.12
query13	0.60	0.58	0.58
query14	0.76	0.78	0.78
query15	0.84	0.81	0.83
query16	0.37	0.37	0.37
query17	1.02	0.94	0.95
query18	0.20	0.24	0.25
query19	1.91	1.74	1.85
query20	0.02	0.01	0.01
query21	15.44	0.66	0.65
query22	4.36	7.34	1.57
query23	18.29	1.35	1.31
query24	2.04	0.24	0.23
query25	0.16	0.09	0.08
query26	0.27	0.18	0.17
query27	0.08	0.08	0.09
query28	13.24	1.02	1.00
query29	12.61	3.33	3.30
query30	0.25	0.06	0.06
query31	2.87	0.39	0.38
query32	3.28	0.46	0.47
query33	2.90	2.89	2.90
query34	17.13	4.42	4.40
query35	4.46	4.46	4.44
query36	0.66	0.47	0.46
query37	0.18	0.14	0.15
query38	0.15	0.15	0.14
query39	0.05	0.04	0.03
query40	0.17	0.14	0.14
query41	0.09	0.04	0.04
query42	0.06	0.05	0.05
query43	0.04	0.04	0.05
Total cold run time: 109.63 s
Total hot run time: 30.24 s

@Johnnyssc
Copy link
Contributor Author

run cloud_p1

@Johnnyssc
Copy link
Contributor Author

run cloud_p0

@Johnnyssc
Copy link
Contributor Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 39731 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit a23fb90c8c9afdbc2c7ed0bd9608569c3f1ab9b6, data reload: false

------ Round 1 ----------------------------------
q1	17618	7427	7234	7234
q2	2053	181	186	181
q3	10891	1103	1217	1103
q4	10536	747	756	747
q5	7576	2673	2692	2673
q6	233	148	151	148
q7	995	613	614	613
q8	9235	1811	1919	1811
q9	6770	6374	6451	6374
q10	6994	2264	2320	2264
q11	461	299	259	259
q12	437	225	225	225
q13	17810	2926	2964	2926
q14	251	205	210	205
q15	595	512	482	482
q16	663	597	587	587
q17	973	585	552	552
q18	7208	6627	6625	6625
q19	1336	1004	1062	1004
q20	450	187	179	179
q21	4009	3398	3229	3229
q22	376	318	310	310
Total cold run time: 107470 ms
Total hot run time: 39731 ms

----- Round 2, with runtime_filter_mode=off -----
q1	7258	7195	7215	7195
q2	326	235	225	225
q3	2878	2813	2949	2813
q4	2094	1871	1891	1871
q5	5684	5650	5638	5638
q6	218	149	143	143
q7	2242	1811	1824	1811
q8	3424	3558	3469	3469
q9	8779	9105	8913	8913
q10	3582	3540	3545	3540
q11	604	519	525	519
q12	814	610	593	593
q13	12173	3151	3160	3151
q14	319	281	275	275
q15	559	500	516	500
q16	716	671	637	637
q17	1886	1628	1599	1599
q18	8202	7771	7641	7641
q19	1757	1560	1531	1531
q20	2075	1871	1875	1871
q21	5646	5530	5436	5436
q22	648	599	578	578
Total cold run time: 71884 ms
Total hot run time: 59949 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 197098 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit a23fb90c8c9afdbc2c7ed0bd9608569c3f1ab9b6, data reload: false

query1	1294	973	946	946
query2	6444	2332	2283	2283
query3	11118	4959	4831	4831
query4	33504	23472	23649	23472
query5	4748	484	478	478
query6	300	194	180	180
query7	4016	310	309	309
query8	302	246	238	238
query9	9530	2721	2710	2710
query10	497	257	257	257
query11	17924	15230	15141	15141
query12	162	106	105	105
query13	1576	428	423	423
query14	10784	6944	7997	6944
query15	264	199	213	199
query16	8064	476	456	456
query17	1734	623	578	578
query18	2048	323	321	321
query19	354	169	156	156
query20	122	114	114	114
query21	203	103	110	103
query22	4975	4741	4723	4723
query23	34838	33643	34683	33643
query24	10476	2486	2507	2486
query25	644	395	391	391
query26	1197	156	160	156
query27	2639	335	333	333
query28	7594	2513	2450	2450
query29	837	425	417	417
query30	230	149	147	147
query31	1054	850	859	850
query32	97	59	54	54
query33	780	301	315	301
query34	977	534	533	533
query35	889	750	760	750
query36	1121	958	971	958
query37	152	79	84	79
query38	4140	4466	4223	4223
query39	1506	1463	1470	1463
query40	216	116	116	116
query41	48	46	46	46
query42	119	114	110	110
query43	547	483	532	483
query44	1250	830	841	830
query45	195	169	174	169
query46	1175	732	767	732
query47	2061	1909	1928	1909
query48	435	326	332	326
query49	879	405	394	394
query50	824	434	397	397
query51	7369	7217	7212	7212
query52	105	95	95	95
query53	270	189	191	189
query54	1121	434	436	434
query55	86	86	83	83
query56	284	254	256	254
query57	1278	1186	1176	1176
query58	236	233	230	230
query59	3390	3154	3019	3019
query60	272	249	245	245
query61	105	103	124	103
query62	850	747	652	652
query63	226	198	191	191
query64	3993	698	643	643
query65	3231	3230	3187	3187
query66	709	294	311	294
query67	15978	15664	15646	15646
query68	5401	560	541	541
query69	481	266	263	263
query70	1227	1152	1072	1072
query71	455	255	264	255
query72	7045	4136	4073	4073
query73	800	366	359	359
query74	10155	9009	8832	8832
query75	3582	2668	2681	2668
query76	3626	1088	1148	1088
query77	605	271	277	271
query78	10393	9352	9445	9352
query79	2558	616	622	616
query80	1486	432	447	432
query81	542	237	235	235
query82	1330	119	129	119
query83	263	154	143	143
query84	284	75	80	75
query85	1513	328	309	309
query86	479	299	304	299
query87	4498	4460	4366	4366
query88	4075	2226	2196	2196
query89	431	288	302	288
query90	2041	191	201	191
query91	153	140	103	103
query92	71	50	53	50
query93	2722	545	541	541
query94	749	294	283	283
query95	358	254	256	254
query96	630	278	279	278
query97	2899	2658	2728	2658
query98	225	200	198	198
query99	1636	1324	1326	1324
Total cold run time: 309099 ms
Total hot run time: 197098 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 33.3 s 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit a23fb90c8c9afdbc2c7ed0bd9608569c3f1ab9b6, data reload: false

query1	0.03	0.03	0.03
query2	0.07	0.03	0.04
query3	0.24	0.07	0.07
query4	1.61	0.10	0.10
query5	0.43	0.39	0.40
query6	1.18	0.65	0.65
query7	0.02	0.02	0.02
query8	0.04	0.03	0.03
query9	0.58	0.52	0.50
query10	0.52	0.58	0.55
query11	0.14	0.10	0.11
query12	0.14	0.11	0.12
query13	0.61	0.60	0.59
query14	2.84	2.85	2.89
query15	0.89	0.82	0.83
query16	0.40	0.38	0.39
query17	1.08	1.06	1.04
query18	0.23	0.22	0.21
query19	1.97	1.77	2.03
query20	0.01	0.01	0.01
query21	15.36	0.62	0.58
query22	2.90	2.36	2.13
query23	16.89	0.91	0.92
query24	3.11	1.55	1.13
query25	0.15	0.17	0.10
query26	0.58	0.13	0.14
query27	0.05	0.05	0.04
query28	9.92	1.11	1.07
query29	12.58	3.29	3.23
query30	0.24	0.06	0.06
query31	2.85	0.39	0.38
query32	3.24	0.47	0.47
query33	3.07	3.11	3.24
query34	16.96	4.46	4.50
query35	4.50	4.47	4.53
query36	0.66	0.50	0.47
query37	0.09	0.06	0.06
query38	0.05	0.04	0.03
query39	0.03	0.03	0.02
query40	0.17	0.13	0.13
query41	0.08	0.03	0.02
query42	0.03	0.02	0.02
query43	0.03	0.03	0.03
Total cold run time: 106.57 s
Total hot run time: 33.3 s

@Johnnyssc
Copy link
Contributor Author

run p0

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Reviewers
No reviews
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

Successfully merging this pull request may close these issues.
2 participants
@Johnnyssc @doris-robot