From 0856102532c398dafd2316757e07d2e3f6f7cd9b Mon Sep 17 00:00:00 2001 From: Martin Cech Date: Tue, 9 Sep 2025 13:29:21 +0200 Subject: [PATCH 1/4] add new tesp runner, configure tpv to send jobs for specific role there fix two variable names in the vault --- .../tpv_rules_local.yml | 43 +- group_vars/galaxyservers.yml | 4 + .../secret.yml | 370 +++++++++--------- 3 files changed, 231 insertions(+), 186 deletions(-) diff --git a/files/galaxy-qa2.galaxy.cloud.e-infra.cz/tpv_rules_local.yml b/files/galaxy-qa2.galaxy.cloud.e-infra.cz/tpv_rules_local.yml index fc06b427..6ec543a6 100644 --- a/files/galaxy-qa2.galaxy.cloud.e-infra.cz/tpv_rules_local.yml +++ b/files/galaxy-qa2.galaxy.cloud.e-infra.cz/tpv_rules_local.yml @@ -1,3 +1,44 @@ -# prevent tpv lint complaints global: default_inherits: default +roles: + tesp_tester: + scheduling: + require: + - tes +destinations: + tesp_testing: + runner: pulsar_tes_runner + max_accepted_cores: 128 + max_accepted_mem: 512 + max_accepted_gpus: 0 + max_cores: 16 + max_mem: 180 + max_gpus: 0 + params: + tes_url: "http://147.251.245.185:8080" + pulsar_app_config: + message_queue_url: "pyamqp://{{ pulsar.user_name }}:{{ rabbitmq_users_password.pulsar }}@{{ rabbitmq_hostname }}:5671/pulsar?ssl=1" + dependency_resolution: remote + jobs_directory: "{{ pulsar_data_dir }}/files/staging" + persistence_directory: "/opt/pulsar/files/persistent" + remote_metadata: false + rewrite_parameters: true + outputs_to_working_directory: false + submit_native_specification: "-l select=1:ncpus={int(cores)}:mem={int(mem)}gb:scratch_local={int(scratch)}gb -l walltime={int(walltime)}:00:00 -q {{ pulsar.pbs_queue }} -N {{ pulsar.nfs_prefix }}_j{job.id}__{tool.id if '/' not in tool.id else tool.id.split('/')[-2]+'_v'+tool.id.split('/')[-1]}__{user.username if user and hasattr(user, 'username') else 'anonymous'}" + singularity_enabled: true + singularity_volumes: "$job_directory:rw,$tool_directory:ro,$job_directory/outputs:rw,$working_directory:rw,/cvmfs/data.galaxyproject.org:ro,$SCRATCHDIR:rw" + singularity_default_container_id: "/cvmfs/singularity.galaxyproject.org/all/python:3.8.3" + singularity_run_extra_arguments: >- + --env JAVA_OPTS="-Xmx{int(mem)}g -Djava.io.tmpdir=$SCRATCHDIR" + --env JAVA_TOOL_OPTIONS="-Xmx{int(mem)}g -Djava.io.tmpdir=$SCRATCHDIR" + env: + LC_ALL: C + TMPDIR: $SCRATCHDIR + TMP: $SCRATCHDIR + TEMP: $SCRATCHDIR + SINGULARITY_CACHEDIR: "/cvmfs/singularity.galaxyproject.org/all/" + SINGULARITY_TMPDIR: $SCRATCHDIR + XDG_CACHE_HOME: $SCRATCHDIR + scheduling: + require: + - tes diff --git a/group_vars/galaxyservers.yml b/group_vars/galaxyservers.yml index 68ca39c4..eecc982f 100644 --- a/group_vars/galaxyservers.yml +++ b/group_vars/galaxyservers.yml @@ -74,6 +74,10 @@ galaxy_job_config: amqp_publish_retry: true amqp_publish_retry_max_retries: 60 manager: _default_ + pulsar_tes_runner: + load: galaxy.jobs.runners.pulsar:PulsarTesJobRunner + amqp_url: "pyamqp://{{ pulsar.user_name }}:{{ rabbitmq_users_password.pulsar }}@{{ rabbitmq_hostname }}:5671/pulsar?ssl=1" + workers: 4 handling: assign: ['db-skip-locked'] execution: diff --git a/host_vars/galaxy-qa2.galaxy.cloud.e-infra.cz/secret.yml b/host_vars/galaxy-qa2.galaxy.cloud.e-infra.cz/secret.yml index 9e468733..84d98bbf 100644 --- a/host_vars/galaxy-qa2.galaxy.cloud.e-infra.cz/secret.yml +++ b/host_vars/galaxy-qa2.galaxy.cloud.e-infra.cz/secret.yml @@ -1,186 +1,186 @@ $ANSIBLE_VAULT;1.1;AES256 -63376366633932613365376266376137623835323662336533653866353335616331363465373536 -3765633836643238376434373235333039343936316630630a366535656266393562613036336236 -31643366366261653466323465653666396237666639613162643637353939613435356335323662 -6533646562336133610a636532643839386362396137336564333537333435333865656134306435 -36613636643964313964663833333463346533653232613233653831613864633231326132633231 -62663333313737666630343738383631316234313166623662383336303132353462373664643632 -35323731393432653834386331666162636237616439346263393536626438383065303666323635 -31356137313461356663303534393765393065643365326636316539623638643636666435316662 -63626530386536353839626565666537646538313837346535356566356635306238663163373038 -61346336376637333437323937643363643762356365633266363466646361356166383061373262 -33303462306261343231373762613436363830623662373132653864383030356463326539393730 -65333966393665346334613937643737303430343037653662393034663934383639353663656537 -31643134626165623239616438343736386466376563373834646137636133313633636264363835 -35343837396333396430373334646538333638376535653936343933313763333631663930393031 -30633138646664656338626337636265663262333639366631373136363137366235383963373132 -66616438616235373037346563343035316665646337376333303230663866353537306632623835 -65363531346132353365613661666137626335343163306262383466373864626439383432303039 -37613737316265376662623264343635633062323036626161663366336162636432303839333032 -33323963623239613962333231303936306565626433323439623332646336613337643637623765 -64656135396134666232653334626137303733633437326136306337323238346537346364633937 -34616331646237376464626663666465343234333038396235653461636363633063353262636336 -36623061323537656234393165613464656161323132303863396361393863633861316137393635 -61663938616431623566333830376662386434613663383865306339353365376632393239396134 -65313636396562633030333032376163613965306330383264616330333534613963376435303534 -36643034363264393131326165653364333831613766376535323961336135333334383062623437 -35326664323838373637306565643661643030386566653763643133656637356337333839636135 -62643433663336613162653338626264373836616235316635336635386333653231343639366631 -30633063393631316333333039653162323933336264343338653064346463666538383463656539 -33653462656339343337663034323536653833643764616433333837393533623233313236373030 -63326630633931383262393466613532353966396234613764376334376337356263366334306638 -31636435376266386431316538376234373738356162643338376138326161633030353763313265 -34656233653036663361366230316137633766323536343063373761623762653461633236613138 -30343037373339376264323237356633646539363136306134663136626435613632303161303630 -32623037313735343032643639306464316466626335666362343234306261376563616664346161 -65313331323639313666633465333463373938353231363430393136376264383339636236363161 -35623739646564366433643337303937663139373339643333393032323332373539626431383261 -38643738633965663764363630633839383533333038393238623666363561666566363563316335 -63626338633061333963393531353866666533366333613762363638333339313561623866366430 -30386162376338356161303763326635396430323633313037623864393965353133326431313837 -37656466666134383631613837373961383263346238363039663630313934663663366561363766 -66306362616231323162613038646237663436663034346362343639613534386163643966366134 -35633038346264336339613364333734633032386535393162396662396530306366373535373633 -37613637626337373364653562326230636131643362643636336135346538336538383730376361 -30306136633937383839336137376532663666326335303634366163393731623565656330393839 -37643163643465396663373237626464313564623265653738353431633862663736373466383732 -34646139343235613866376161323237356539643135653162336264303763306164333531373765 -66633630633734616536653537356266666463656337613232333230363738646231376661346330 -35393664356436303933343233346161356232353131313633333538643230316535366161616635 -62633033383436666431316466616565653564303037383463373061343239653933336632323736 -36393035616333323437393732353735316634303661616337346432383134663664383036643135 -36623938353362336534306462623064626262393835313961653633666163613566333636373034 -33653335303765396366303736363363333534613763313435346566363263343663373661643865 -30396561313536633563386639343735626134626235373936343938336563346165353266303264 -61623664633335666165653330326462353439333738346361653339356431353839363062646563 -62613864323361313834653666663664663538343537383465643532336236383131383739353064 -39623433373964613464323562343464383561646432616232306238636130666339363361653037 -35316464323634346631383161363464633764386466363062343733313263326135323830383938 -34623665656234323230313337653930373431303066616632633235636330666163653736633936 -30666634353733633039613566663563653336633635643161653930613235653261623738323038 -61373537353039363737363264653231353132333839313330616131323161333062316237646566 -63333430623666636366613166653261623637333434343035316230613333356136653832343864 -36353862646333666136653766656436623361326538386461323238626230306337333938356362 -35323535646162666162636463666136663561323463663465623237333363356462396165643230 -39353734366330663462356633316661643330636132343430363661666561376136326161303536 -61396432336561393935366362643337346534383464366665643165653139613636396566636433 -65363233313835663763636661323231386332336164646566313839666531646361313635376661 -30373066613261343639393539643233363835326530663939383763643430333161633531333138 -37336136326239636633363462636432363264336135653332613564613063613838353763316361 -35353635383232353631303636366232376533633733376233326332393537613430643166323563 -61396530333133316539636132383133633738623166663032323963623934336337643365303936 -35386133326538653763633564656231613163656635663132343664613730666136373930363061 -34616230633734306530383634383963656138303361646261643262373036366261346135663737 -65666234316333353262613030393832346138656362323031373539376137366665363765333633 -34613431393862646266303335373266663731643239643637353332643261376234653930356234 -36353339623562663666306538313430383166366230363337646566643062303661646261346135 -39376565636132393337613733393735356530363237343837633239303536376138613531343861 -66336636343163633238393036643363346237653634626337323238656266626564656161363538 -64326538383832613963636438326131376261346533353137373438366630626661333338633633 -32356638333631616163346431656264343130626130633865653932636239663836633737306334 -65383864343864323333613231633063356261356162376132663862323063323530386136373035 -39353063376465373663623833356432323839666432633930383339303964666561353434316338 -65373462643530616436366462326539643637663665323236306438366632343962626336383136 -36366637366466323739373935303636333539646533303039633161613437313765343965316666 -36343837653237353065313463323064656661373661663036613166343632666431326164656539 -64393338353137613664633065343265643936356634616234653331303064623834316563396635 -31336639373661633765386464623632326531316531313733643633323561616637656637313733 -30346534666261613130666364373765633861616338313938386561373063616537333361373934 -63353138306132373563323934343934626639373536343331646366656236646130613862633461 -31343038396632383133346430666464343161646362373837346236323934353464653933343762 -31626635663135616264653333646338613165306130333966663031353033333436386666653932 -61623230623530306566383363326263343639313037633533656261373834333936306630333961 -30386563366531316131386431336430666239336634663831303531393462383439613564323165 -30353761656134343532303937623465643631653161373432613039333736393264316134353633 -31386334656666346135393335646135356131643338353363646635336336333235396136326237 -65363739393231316232326138643839343636646336326535613765303164326666336163616137 -62626561643063653765656335653433316538656162373766383766356636363066343937636332 -33346363626431653163656234396330653763376133363238363565663439386633373966346533 -65623462333736616565656437316231353366373563326635626232643637343363663731353236 -61363365303434633237323163393162623138653233383134333632633465346439386330386666 -35376465616638396238363765613934313736636338623531626263613863323533653730346632 -36306133643537306463623236333839373730343336333539346433616636343130353161366636 -63383532663766646232646365666135336235323434346434363334343930353236353234303633 -63386265343130653336656639343638353531643636356334356436363235373731613763633438 -61353836626539373264336636366339346233656236626163306435633962323864666138326237 -35356666373163323562333331393766356464623861366634373831326432643636653733343930 -39383465633638626230343066643534353631373933366432656230393737373137333064313237 -64643464323231663030663336363033616135356638363535633266363238626430643462366237 -35653766663330326130366561616539366634313737663631626530393635613562613530633362 -66623832616463643831643137633038393562313635363832303764623963383363663232336466 -36333838306164643031623333383830316164646165376333306663376166393332323935316432 -33383133373132303962316534303065393362363462636561313938396235633963333861633566 -34636231343237383062633937383537623937656330353236613030343837656536373835393961 -36333937366533373533383439303130396464666135396161376464323132386362643439666637 -64623333336132613463313432666630343237643938353139373364346332373263623534393066 -65333736656262306238663232346137663765646433303833313561383633376139383939626432 -38346566383462326132333831643233383837636135363834313237323533306430626635383766 -30643938653233383232303531623531336639313936316665376430643066336137663063356238 -31383535626466356364393633383866363832633132373138396566616235613635653233356539 -37666637303139343165363564633364633262646139373830623933623164383037383434633162 -39356263393937316461656432636465303130316333656133663633303863346336626537633235 -30616637336165623932393536613833396264393664636431363230313732383661313530333037 -62613031626365643437633834356536366433363537363764376639386266663863613066643635 -33306132346239313235386439386135643136663963323531323831653735303961383438376563 -35633137316364396261383536323765383239313137653335666164336362323737393565366565 -36373539633936316333363638653666623565386132326231636239613963346161323838626164 -35313932656163376536326232373063373630373133646432383837303331326162633936636237 -36666234316262646635616165326434646535323236303034616530346431636231626537353531 -35613836613964353338626663613532353932353965386565393238343032333263636139363164 -31643131336137323264653438346262613464323336353435386364643035323739383933393963 -31353433383532346232643263336366653835613236636663663631663032656436343264353439 -36356533636138336431343161316432636439326530346163656662356261306239393433376633 -61613361373836343831343837626135633766303165323664623064386161323563353336633963 -34383865643662666637336534383466373863336339623865613239363836326130343666386361 -63643163633465616630343139633562303238666365326432623436366637323965366461343437 -66616433636438626465653731653435393466363761663131336431613164366138336133373033 -35353434646630656338653764666663386234353165336165636134616636643861336438383266 -64393839353539373537363537623463626362316635373061653462663064376635323433653534 -36316437303538383634643465303564303462623733343564313532303231393762336630383738 -39663761646239363830316531356236373661396466376261613738616138646461316435306132 -64633335653836343865663261643834666639343234663032363663646439663035663936373762 -64633530323735666438636330373561393365643464373433353436306334623965396433306435 -37626566363466386161643539626264616632656538636433656632663339666537383731386635 -62306539633435663633313535383966616565303462666138396266343363626636303537373238 -35623739323534306632383637613139353137393063396561336565646663383133656137363235 -36326632376164333132316131323133346133663162353430623934646161336264303730623936 -61353366356431376638623539656330626532303665656332363165663430393230383163336432 -30396663653231626366613938613930616262633930373134396566346535336134326262316134 -33623034363935623762393839396164323762376463626166383333356131653765383033383966 -64343261393262626134383832303636643337323565663061356266363836663866363832633837 -38646134653765633162333365623061373835383836306566373066383334653937373138386534 -64663637333635623765653730333463663463653461373637333262313139303539373235353239 -38633330653630316536306533303464353966303031613533663665326432393939316230323865 -32356139376566666161353635626336396537353764643534346265393937386230353935373562 -64363865613233333162303465303534343965343533313439363735336138643133313332666332 -34366466313730633135623532376530663032313361646234303965383563613432646666663439 -65643761346661663037623063633966396136666135613631386335636638343766646634626530 -31613766343135383731623735306430366131356335613536643831313536313439383830343064 -65646538313035643933323031373066653061323831643664303332643066316236306332616139 -32663336626231396365336439313866656266356637393063626464303232653663346666353332 -30613038373130623365336430356265303766326339313039656537666461623839646339613839 -30643232373038636466643032373062626165346161363732633234303064336236623333346666 -31333661643631333139373564373234383132653531313330613732626464623635383663363364 -63316462313233356364653665666138326536643338323136363030663032393636363265396330 -62356432623166323839393637383430366361313035336462323636313637616132643964623539 -33633235373461343362353361306363303465666438353534313131393632323935343936363134 -62613031383662656236616431396561643439333464303835323761306264343065633639643437 -36663062373366323566623464333634633437376631646663306330666635633663623638396630 -36643832306465643130366464336562656637626562613839643039363832613132663163633466 -61376437393563353835636635353833653839653035636638363331316663363436343934333835 -62353066386637326665396130383066636133323839663132383935363963333361326661613932 -39323539643838373266356535383563616634353032396231323065326539636361613465393433 -33633563653061313338306564376264656466393633663363363761326635353562666562663337 -66653163613766653734633136333664343535643238393738323738613065633133386564323834 -61623463356364316438616239363233663563306432613634663565343566303139613863366439 -39636339623734323532333163356331313665366466373461623938323630316237303637333739 -62343931656362636133656465333836306366393336373266633538386132306530366139376332 -34663164346638363665636133343234663436643830643336656337373366383762636161613665 -62303263636163333536313731616634616332623434643162336639346131613163383138323831 -33363461666230316637623731376161373062346332313830663135643666386562653931633636 -37616162653634343331626237613438363562626638396635643463653234303564343339336162 -33666338663566363162626236386362373562653161316633653066616365393865363965386435 -62386438313733616332373335366130313635343630363464303663363430663165626431343265 -32346539383333363333333661663232313663626433346232623837643231356234653834323261 -30326639666163313530616363316135653565663639396631373863613532356234613237656537 -62383831663335633865623933636230353966653266643939646164646538333664 +37666439623438323637336136333832656662323164303433366434616332363963643535653838 +6230393935363933326662326238353539626361306434650a613236383064326665316234386562 +66366439613835666339343531663437323231376262373137336166663032393266393631323337 +3462326431626165380a383038336436396164643631336335346433633266613462363931386261 +38373035623162383963633562323838393762356662363836636634303165646261386439326664 +30656366303439373563373335616263633336653839356361373766623331353531353864633332 +35303364353533366434373861323130393438343439353633343265613364333334336135313864 +35336263323664363031396532326131363762363465333034373864653138333230633837396339 +32623433306330303261376634346334306232363538323235646537323762623061313734633035 +65373731346337373539623866323064323930636163343933313134643538343031616662303130 +66656633376339323034383731353461643062393135363035653566363138383136343833383239 +37656361343830373362306165326639346630386638376464653761656234636664373161643465 +36633230626162346338633338363335643862353433663261613439623437663237653232383361 +37386634633238383662386361376337306461353136366530306432646664666539643762333161 +37383462336434616330313431363562373132626237613434626362313830363064653637373466 +63326461613539316331313033313033393566316234313032383030663530353362616466653534 +30656539303034323638303630663338306532363237363961353163313337336462623137663963 +61373432616132373330376466303861316635353732316636613461353964623330623166653266 +66326364313833643439356531626261323663363530333433336537313466333730366332323261 +64623831346632323066393966313561613064613630393434323437303538333462663432636463 +39323566666466396235636135323330376233613461313835643431626331343336633031386131 +35633137356262316361323863643735383734393664353261646538383837363232323064656433 +64656664393966366435326539643861393436353439353933323532636132613462633236313665 +61376639396661336638323336373136626436376536383739316265636635306362633435373937 +30306439356532336536356166306564663534633264383038356639616535643531646361626663 +63363930353562323534633666633634633832363534313939636335336530623232323062376131 +66616236633235313635336333303066653863396639363733346337646133363665356466643365 +34633761616437343237343861666637643633393663323832646338396362373061326332623939 +38653339316534323966326530623166356462616536343034393934636530633735643536663136 +36303533626631633538343430383031616361323732653365663534623236363165323139343666 +39653333336333653037353835393734336135323134323562353565626531633064373930376462 +62633134333865353934313430653364336339616161396233313330323632326638363930313932 +66326636666461653263306631636538656437626361306633313535306431623562323433383966 +62383837626161613331346564336435393263323866656432626535666231633036316337393133 +36623838663139373062386666316431653833346632326165333362343533383933393666663130 +65386337333335616464353739303431663238353736653331623133393334356231613461636135 +64636333316166373238363138303732343638366566303965393331313237376338346633333939 +36363031616362613761653866393136653435376436373631393730356334646462633730626437 +30643938383339383936636337306433636339393532633337336464646635616662323264653937 +39363566336665653532386432313832376333343639393137343439643065326463373165643438 +61303738303634373633656535633730626537393432306665336230333036643639346332656632 +64336338623765336261623263626563373837336365333834333732306338643866323666656233 +38656564343365366130643461663935396565313763363231666637633063333536663865653830 +36616531333633656531323032303031623931333130623336323635386130366136383735303964 +66633136373662316162633562396564373464623738666366323063646234383837363237336363 +37626630663537373363313339383438363836653636343862333964633236656133663366356638 +35376438626364643235393737333334633135313438333239616337626636313731396430393836 +35626335393264313335346431663633353030636165653237316263646439393932326332613566 +35393232313661653431343630333639333734373138666530376338383866633130366139333138 +33623637633236333437666163363230653535366264383539353261393438326161353265343363 +63623336386337613865336136626161303837316262393137623134323264633136376132343164 +39366237616535316131663764636639303631646432653864333861356265613832623736636666 +61323466663362313365323964623764373938343463333539646231313739656337653062393563 +62343864623232623533613035343961386339626339333634633932633264616461663036653262 +62373633343036353162653437666637323630363835363436306562383532613934643965636330 +33663062636533353363336236633331316265623666663436303334643136326432616632336334 +36623765386539333462363838303261633536656232643262313230343534643135313839363830 +38613562383633656637636636376533633437323636393765323166653561373832656238353566 +61393334353630343566323731336231653333663532623336633036656136636261373537333833 +34303935346131626431636637663634373134663161373366313837316538636532646238396532 +30393761313635383734396536303766643332336336323462353434336230363734653664363762 +36346266373736303162353431383563336330316534643266626235626136663466633633343130 +33386339663130316331336634326233306537356135346136643965303563363366393130646134 +30653137623431663934383263383830613439356136633263323139376530366462373539316131 +36333633353538386266363739333633343061306239636163653133333630633234336333353135 +37633463373065663461306434306163376334393834623335613735633537303762346539326436 +61363138383034383731393635313135323230353031346663383832626133323137346462376366 +62646130336362363261613635383064373531303334633463343638316239356533323233323038 +62333134616237376339653465633832303166366532326338366237306661373663313834313965 +64336630623734616562343861386332333064383934623230316264663834343963663266653737 +39383931633039316462343665663761383462613738653966333439373037333130636332323135 +64333639623031613261396266356664333362663362373635303036313961653464356366313865 +61326433356638613633623938383964666232383239643339363139313731343366623337663037 +63636235363038303135376239376361333463613736313931623435356536366232326261663736 +37366631373264316164353533373932623639306361613865326232373935323534356538376636 +34623133386465623831663538353362653837383934626638313939663539393661313735373631 +34356663653632326538333064336566363034623331373031313337663165333638383634633833 +33663164333837653630633431356632626336613565336233666564366330313130363237373464 +31306130343861356437303330383737653364346563623964303238646530323663633937633462 +31383162353164633363646264376364636230626464666333613065626162626365306465356232 +38653532353238623865656466313734386434623737386438383534313730393164376633643539 +64636238386431633662393562646232633364373234363162353665383832303161663131336161 +34656563306137323063336161323032316362663561303233356137373634373231333338653264 +35633831623131366466373366313862633661633463663462303764616239663331316265396465 +34373237376164613132626639383963303163666363343034356566393461363036333837306561 +30383566373561313338356362303661363965396434666266633964363639646166316634386230 +31623932626533363863323566396163333031333134353838306435336235303634663537663437 +64663861373065306636326363653166343061333765623466303531333338316635643332363266 +33373035306131636437323034373531386666613762636334323135633934646631316461666165 +66626236656461393532396334346530623434616165633738346137613335646436366232353462 +62386464636463376461646636363461623236663131646637363063653862636231396562623531 +38636139373335373964613136386533323531326139303363353837343565613464313164666538 +62396333323664353166343631633634363435656463323463633766383861646634643536303532 +35613331376135663165656465363732343965373639386335333636346536633738633565343338 +31616162626633636630326634386139346661363062653835363735393661643533656131306634 +33343834306662343862386532643334613065323362633332353961396236323338323035613232 +65643237393866353134386338396265643464303061613538643735313964313532623766363164 +63346333623330356334613331353161313162613138636463323137303362366233396434396531 +39656132666531306363396433323630313833373337666239633532636438343533633034313664 +31343631323164396664393539313433613738393936633163666630646439353662346532613432 +66373166656634333236663866653831346239326537656364383333343164356164663564386331 +33363161316263613566626437643761376232316233356334343238623135396662313738346431 +64643230396237393465623162363339313535363162323830633330666262633835306332303138 +36393263663764636433333130633964663330646630633237636638373331333732356436363131 +36333130356234656363626636353730656238316364356366646131313532356432383061626134 +37623965316263363339636263303431613333353734386134326165366234663065633037343430 +64356232613335303332613566303832663537353337303138343166653237306262353436386232 +33363732663830653630333739333966326439653739373934383534623261666636663831613162 +63653764613038396432623733333830373634636634666135653230306132383666343965323061 +30386238666364383130303738636365636238346533376661666661326661376439356430363864 +39393039666361333135366566353532646230646262316434323166623936663438313835336561 +32356237336432663736363262393530376164616531646333336433613937303863356131386437 +32376237353833373338396334386432623862663238366338356639376534333964633134356130 +38663832626433626235353637626638353237353139626439313464353735306232623030653961 +31643236343962333536613162653535333862636534373263373735303166653534346136333631 +33396565343734336132313730383262656439653836383931363635313730663535656335333362 +30303034633330613038646663313236626133316530306532376438643238333033373366333932 +36343535623731636230663139663261313532613766613235303731336233393664383963383339 +65376666353438356138613864383333373131323036636664353833643238303366383436376366 +38333765626266656264623966343938363265363564383139363339323537353830313639336335 +31663462613762636438343333373862356261333331646133653164633166363032366366326336 +31376562666339363239663831303230663136306630363664336333643130623836666565343335 +35636434333531643532303965313161343564303263356436366664353534633565613934313037 +36353231316461373539633236633937373463376237373231383965653032383238363934323434 +65353561333738663036353366643032303266663039353936626436613164643036633734653362 +61323933313631373562346661653437656632316662366631623065303064383433663136356636 +64313938383839353066623435396234633665653532373438313564303237616465656662396538 +39353365376165653961633765336335663239376135346161666665353432303662323738326465 +33383662666634663832336134313766616161613736323532373830383963636362643564613636 +38333933613764303862626563343737336630373663623361323535653836653437323865643537 +64376261323366346533626461336433633532343961613062333363333631313261316334616361 +61386435343135336539663232346538396663333737313630656164646566643230353831383130 +33323763376638633033616135336564343536653931363230663034643863323364633230643535 +30313666653833383365303165316633363661623739373233323266323965616362643339383862 +61653664343733633435663039386464323561623238616335326561646530343532343961333763 +63353864366639386465663864386238313366313463346530623739353032353433373334346162 +38656430383039306235616336303834623738393261646639363861313332313432376162303662 +64346639353534633036376131633534306361393832656333326331373962336234613231393635 +30306634616139373133313237613665343365633662363238313436313962633262373631346635 +37376163396630653931303030353830313862383832343033356336353039663462306332653361 +35306130633930616438316562316139366562316337363866613363646166306662623339376238 +36653664333164303135633138653563613364643864633161393638653162393234643331373030 +37366164396238616332396535633961636233303032656431393532396366353532313035636239 +30663138336261646665326136383066636362326137353364613335376631313465383364626566 +38643539643333386266623162643363623735663339343062663036636435616336656534343062 +65323831303761393534366530366231313165666161366633383062326465306439386363303164 +35363532353163396263386634616130613134346164386232633330633836383035323935353239 +64323232626232306534373333373938356535303165313733613831646233646661633433393833 +33646465316661303936376332316666373435616462646161393436306266326530333234316262 +39326635326137383836633365303265353966613631313064336534653536346663656265316634 +30393161303263323836623331393065323366653635343161656331376566316439313164346661 +63383933336436643939363363313463323831646462353230383737363161626532383036313864 +30623032623763383639303339393231666234366335393639333833393437633833373936346534 +39303435643936326562633661306433366335366462633065396436663335613262396236616130 +33356639336262366665636437386263656162636439653061393033626333353337343430616365 +39393537363238313837653436333739363038313032383033653162306663626262663331333335 +66393664343031383362356337346433356337316136623361346530623837623334313461343361 +61333537626438376436326431343562623561363132383837656362393563346138353166323032 +61643037616263663336323237633630373261316339383839303234373733366365356661636539 +30303665323330316662363630653231366461666234616434353663353865376238616564366563 +31373134343035306364366433343665633161316233386334666330313563303432646632643763 +30326334633064306234343336663464616234343361613234346431333864636138663462323038 +62623962333736303531613136366162383734623065356234313562383032313137393639653331 +35636133316565613462303764356533336661333063623439386637623462343136366165616537 +34373631613937323038626236663730303566356330323135666637613763636161333735396533 +38653139386362623730396131316431616635356632666362623237393130333839653063336133 +31666136633933653632643639633736646434383338343533623565633566316664383437356337 +34633738356265633134316230363834386634353734633532356334623138393133353633663463 +33386137613233333336396534386233663163383235343065613761616130613464633134656633 +35343063346163363432653733646666353134663665306366656133336537653031633533353761 +61336337653239306332386639366535363937653732646265383230363431383132646432376166 +63633739663731646362626561366330386264626665356433376433346466383034633464653966 +38306465623435343531306238336261356261353536386636353163616434353836333263616530 +37663264373862613935396230323337336437363731383334333264386433346132313139363439 +30363161313935363166333632626334623539623262643864633963376531323862366164363565 +30376232333366373634376437303261633239326334663537323665643666323665353861356462 +66613461353464313833653637353835353536376530623164323033393164646564616134633932 +32363534333365343162373763363537623339353931396433623238393164633234636666366535 +65643333636532323064396466383562633030623931303438656133386661316663643362663739 +61663337303434626334366330636433666538663932333236393930323365313639383764633533 +31346135323465373837303735393063333039663230343437346264336634393232656563376461 +32323536316537333939383831613664363335376533616264393361313230303238343165376661 +61346239346461343964336438656534323164643033366563623133356533656261653033313764 +63336665366163613965663534376330303163643338386636663839663039366530383365306264 +35663134663266663632373464666439303465396261666264376539366330626536 From 6f95cdef234264e15f5f1f44021e274e679b3c92 Mon Sep 17 00:00:00 2001 From: Martin Cech Date: Tue, 9 Sep 2025 13:41:51 +0200 Subject: [PATCH 2/4] update qa2 to 25.0 --- host_vars/galaxy-qa2.galaxy.cloud.e-infra.cz/vars.yml | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/host_vars/galaxy-qa2.galaxy.cloud.e-infra.cz/vars.yml b/host_vars/galaxy-qa2.galaxy.cloud.e-infra.cz/vars.yml index 4ed0dfe9..0a281b32 100644 --- a/host_vars/galaxy-qa2.galaxy.cloud.e-infra.cz/vars.yml +++ b/host_vars/galaxy-qa2.galaxy.cloud.e-infra.cz/vars.yml @@ -1,5 +1,5 @@ galaxy_build_client: false -galaxy_commit_id: release_24.2 +galaxy_commit_id: release_25.0 csnt_brand: QA2-TEST # csnt_enable_account_interface: false From 3aef93cc6a0eae765037c7a09d0ce64b9f53fc56 Mon Sep 17 00:00:00 2001 From: Martin Cech Date: Fri, 12 Sep 2025 11:36:12 +0200 Subject: [PATCH 3/4] add tpv tag "pulsar" to properly match destination convert tpv config to jinja template, since it uses variables that need to be filled --- group_vars/galaxyservers.yml | 2 ++ host_vars/galaxy-qa2.galaxy.cloud.e-infra.cz/vars.yml | 2 -- .../config/tpv_rules_local.yml.j2 | 1 + 3 files changed, 3 insertions(+), 2 deletions(-) rename files/galaxy-qa2.galaxy.cloud.e-infra.cz/tpv_rules_local.yml => templates/galaxy-qa2.galaxy.cloud.e-infra.cz/config/tpv_rules_local.yml.j2 (99%) diff --git a/group_vars/galaxyservers.yml b/group_vars/galaxyservers.yml index eecc982f..e1eed02d 100644 --- a/group_vars/galaxyservers.yml +++ b/group_vars/galaxyservers.yml @@ -261,6 +261,8 @@ galaxy_config_templates: dest: "{{ galaxy_config_dir }}/local_tool_conf.xml" - src: templates/galaxy/config/tpv_rules_meta.yml.j2 dest: "{{ tpv_mutable_dir }}/tpv_rules_meta.yml" + - src: templates/{{ inventory_hostname }}/config/tpv_rules_local.yml.j2 + dest: "{{ tpv_mutable_dir }}/tpv_rules_{{ inventory_hostname }}.yml" - src: "templates/galaxy/config/vault_conf.yml.j2" dest: "{{ galaxy_config_dir }}/vault_conf.yml" - src: "{{ lookup('first_found', ['templates/'+inventory_hostname+'/config/file_source_templates.yml.j2', 'templates/galaxy/config/file_source_templates.yml.j2']) }}" diff --git a/host_vars/galaxy-qa2.galaxy.cloud.e-infra.cz/vars.yml b/host_vars/galaxy-qa2.galaxy.cloud.e-infra.cz/vars.yml index 0a281b32..feb7b953 100644 --- a/host_vars/galaxy-qa2.galaxy.cloud.e-infra.cz/vars.yml +++ b/host_vars/galaxy-qa2.galaxy.cloud.e-infra.cz/vars.yml @@ -17,8 +17,6 @@ pulsar: galaxy_config_files: - src: files/galaxy/themes.yml dest: "{{ galaxy_config.galaxy.themes_config_file }}" - - src: "files/{{ inventory_hostname }}/tpv_rules_local.yml" - dest: "{{ tpv_mutable_dir }}/tpv_rules_{{ inventory_hostname }}.yml" - src: files/{{ inventory_hostname }}/file_sources_conf.yml dest: "{{ galaxy_config_dir }}/file_sources_conf.yml" - src: files/{{ inventory_hostname }}/user_preferences_extra_conf.yml diff --git a/files/galaxy-qa2.galaxy.cloud.e-infra.cz/tpv_rules_local.yml b/templates/galaxy-qa2.galaxy.cloud.e-infra.cz/config/tpv_rules_local.yml.j2 similarity index 99% rename from files/galaxy-qa2.galaxy.cloud.e-infra.cz/tpv_rules_local.yml rename to templates/galaxy-qa2.galaxy.cloud.e-infra.cz/config/tpv_rules_local.yml.j2 index 6ec543a6..79961d0a 100644 --- a/files/galaxy-qa2.galaxy.cloud.e-infra.cz/tpv_rules_local.yml +++ b/templates/galaxy-qa2.galaxy.cloud.e-infra.cz/config/tpv_rules_local.yml.j2 @@ -42,3 +42,4 @@ destinations: scheduling: require: - tes + - pulsar From 8af8f1a62a8cbd77685b8a92bb45ac6d8eeae77d Mon Sep 17 00:00:00 2001 From: Martin Cech Date: Mon, 15 Sep 2025 15:38:01 +0200 Subject: [PATCH 4/4] drop miniconda role we don't use conda for tools or galaxy reqs --- galaxy.yml | 3 --- group_vars/galaxyservers.yml | 5 ----- requirements.yml | 2 -- 3 files changed, 10 deletions(-) diff --git a/galaxy.yml b/galaxy.yml index 430dd541..68c0bea1 100644 --- a/galaxy.yml +++ b/galaxy.yml @@ -198,9 +198,6 @@ - usegalaxy_eu.apptainer - galaxyproject.galaxy - usegalaxy_eu.tpv_auto_lint - - role: galaxyproject.miniconda - become: true - become_user: "{{ galaxy_user_name }}" - geerlingguy.redis - role: usegalaxy_eu.flower when: enable_flower | bool diff --git a/group_vars/galaxyservers.yml b/group_vars/galaxyservers.yml index e1eed02d..1d358e2c 100644 --- a/group_vars/galaxyservers.yml +++ b/group_vars/galaxyservers.yml @@ -50,11 +50,6 @@ galaxy_commit_id: release_24.2 galaxy_force_checkout: true galaxy_job_config_file: "{{ galaxy_config_dir }}/galaxy.yml" -# Miniconda -miniconda_prefix: "{{ galaxy_tool_dependency_dir }}/_conda" -miniconda_version: 24.11.1 -miniconda_channels: ['conda-forge', 'defaults'] - # Pulsar pulsar_data_dir: "/storage/{{ pulsar.nfs_home }}/home/{{ pulsar.user_name }}/{{ pulsar.nfs_prefix }}" diff --git a/requirements.yml b/requirements.yml index f2d168a8..396fda4c 100644 --- a/requirements.yml +++ b/requirements.yml @@ -6,8 +6,6 @@ version: 1.1.7 - src: galaxyproject.postgresql_objects version: 1.2.0 -- src: galaxyproject.miniconda - version: 0.3.1 - src: usegalaxy_eu.certbot version: 0.1.11 - src: galaxyproject.tusd