Debian Science Project
Summary
Workflow
sistemi di gestione dei flussi di lavoro per ricerca scientifica

Questo task elenca alcuni pacchetti che forniscono sistemi di gestione dei flussi di lavoro utili per la ricerca scientifica.

Description

For a better overview of the project's availability as a Debian package, each head row has a color code according to this scheme:

If you discover a project which looks like a good candidate for Debian Science to you, or if you have prepared an unofficial Debian package, please do not hesitate to send a description of that project to the Debian Science mailing list

Links to other tasks

Debian Science Workflow packages

Official Debian packages with high relevance

capsule-nextflow
strumento per pacchettizzare e mettere in produzione applicazioni Java
Versions of package capsule-nextflow
ReleaseVersionArchitectures
trixie1.1.1+dfsg-1all
bookworm1.1.1+dfsg-1all
sid1.1.1+dfsg-1all
Popcon: 3 users (1 upd.)*
Versions and Archs
License: DFSG free
Git

Una capsula è un singolo JAR eseguibile che contiene tutto ciò di cui un'applicazione ha bisogno per l'esecuzione sotto forma di file incorporati * di metadati dichiarativi. Può contenere artefatti JAR, dipendenze e risorse, librerie native, la versione necessaria del Java Runtime Environment, le opzioni della Java Virtual Machine necessarie per eseguire correttamente l'applicazione, agenti nativi o Java e altro. In breve, una capsula è un JAR autosufficiente che sa tutto ciò che c'è da sapere per eseguire l'applicazione nel modo in cui è stata pensata.

Un modo di pensare la capsula è a un grosso JAR sotto steroidi (che ammette anche librerie native e non interferisce mai con le dipendenze del sistema) e uno script dichiarativo d'avvio uniti insieme; un altro, è di vederla come la controparte dello strumento di compilazione al momento della messa in produzione. Così come uno strumento di compilazione gestisce la compilazione, Capsule gestisce il lancio dell'applicazione.

Questo pacchetto contiene un fork del progetto Capsule originale. Questo fork è adatto come dipendenza di nextflow.

coop-computing-tools
strumenti per calcolo cooperativo
Versions of package coop-computing-tools
ReleaseVersionArchitectures
bookworm9.9-2amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
sid9.9-4.1amd64,arm64,armel,armhf,i386,mips64el,ppc64el,riscv64,s390x
stretch4.0-1.1amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
trixie9.9-4.1amd64,arm64,armel,armhf,i386,mips64el,ppc64el,s390x
bullseye7.1.2-5amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
buster7.0.9-2amd64,arm64,armhf,i386
Debtags of package coop-computing-tools:
uitoolkitncurses
Popcon: 4 users (0 upd.)*
Versions and Archs
License: DFSG free
Git

Questa è una raccolta di software che aiuta gli utenti a condividere risorse in un ambiente di calcolo complesso, eterogeneo e inaffidabile. Include:

  • Chirp: un file system personale e un protocollo di I/O che permette a utenti non privilegiati di condividere spazio in maniera sicura, efficiente e comoda; combinato con Parrot, Chirp permette agli utenti di creare file system personalizzati distribuiti su area vasta;
  • Parrot: un file system virtuale, a livello utente e trasparente che permette a qualsiasi programma ordinario di collegarsi a un device remoto di memorizzazione come un server FTP o un server Chirp;
  • Makeflow: un sistema di flusso di lavoro per calcolo parallelo e distribuito che usa un linguaggio molto simile a Make;
  • Work Queue: un sistema e un'API per costruire programmi in stile master-worker che scalano fino a migliaia di processori;
  • All Pairs: un'astrazione computazionale per eseguire prodotti cartesiani molto grandi;
  • Wavefront: un'astrazione computazionale per eseguire problemi molto grandi di programmazione dinamica;
  • The Fault Tolerant Shell: un linguaggio di programmazione di alto livello che permette agli utenti di unire la facilità degli script della shell, la potenza della programmazione distribuita e la precisione dei linguaggi compilati. Praticamente, programmazione parallela e gestione delle eccezioni per gli script.
cwltool
implementazione di riferimento di Common Workflow Language
Versions of package cwltool
ReleaseVersionArchitectures
bookworm3.1.20230209161050-1all
trixie3.1.20240404144621-2all
sid3.1.20240404144621-2all
stretch1.0.20170114120503-1all
buster1.0.20181217162649+dfsg-10all
bullseye3.0.20210124104916-3+deb11u1all
upstream3.1.20240508115724
Popcon: 34 users (5 upd.)*
Newer upstream!
License: DFSG free
Git

Questa è l'implementazione di riferimento degli standard del Common Workflow Language.

Gli standard aperti CWL servono a descrivere flussi di lavoro e strumenti di analisi in un modo che li renda portabili e scalabili su una varietà di ambienti software e hardware, dalle workstation a cluster, cloud e ambienti HPC (High Performance Computing). CWL è progettato per soddisfare le esigenze di scienze con grande uso di dati, come la bioinformatica. le immagini medicali, l'astronomia, la fisica e la chimica.

L'implementazione di riferimento di CWL (cwltool) è pensata per essere ricca di funzionalità e per fornire una validazione completa di file CWL, oltre a fornire altri strumenti correlati al lavoro con descrizioni CWL.

Please cite: Michael R. Crusoe, Sanne Abeln, Alexandru Iosup, Peter Amstutz, John Chilton, Nebojša Tijanić, Hervé Ménager, Stian Soiland-Reye, Bogdan Gavrilović, Carole Goble and The CWL Community: Methods included: standardizing computational reuse and portability with the Common Workflow Language. Communications of the ACM 65(6):54-63 (2022)
Registry entries: SciCrunch  Bioconda 
gearman
coda di compiti distribuiti
Versions of package gearman
ReleaseVersionArchitectures
bookworm1.1.20+ds-1all
trixie1.1.20+ds-1.2all
sid1.1.20+ds-1.2all
bullseye1.1.19.1+ds-2all
buster-backports1.1.19.1+ds-2~bpo10+1all
buster1.1.18+ds-3all
jessie1.0.6-5all
stretch1.0.6-9all
upstream1.1.21
Debtags of package gearman:
rolemetapackage
Popcon: 0 users (0 upd.)*
Newer upstream!
License: DFSG free
Git

Gearman è un sistema per dare via lavoro ad altre macchine, inviando chiamate a funzioni a macchine che sono più adatte al lavoro, per lavorare in parallelo, per bilanciare i carichi di molte chiamate di funzione o per chiamare funzioni tra diversi linguaggi.

Questo è un pacchetto fittizio che dipende dal client e dal server.

gearman-tools
strumenti per la coda dei compiti distribuiti Gearman
Versions of package gearman-tools
ReleaseVersionArchitectures
bullseye1.1.19.1+ds-2amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
bookworm1.1.20+ds-1amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
stretch1.0.6-9amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
trixie1.1.20+ds-1.2amd64,arm64,armel,armhf,i386,mips64el,ppc64el,s390x
buster1.1.18+ds-3amd64,arm64,armhf,i386
sid1.1.20+ds-1.2amd64,arm64,armel,armhf,i386,mips64el,ppc64el,riscv64,s390x
jessie1.0.6-5amd64,armel,armhf,i386
buster-backports1.1.19.1+ds-2~bpo10+1amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
upstream1.1.21
Popcon: 10 users (3 upd.)*
Newer upstream!
License: DFSG free
Git

Gearman è un sistema per dare via lavoro ad altre macchine, inviando chiamate a funzioni a macchine che sono più adatte al lavoro, per lavorare in parallelo, per bilanciare i carichi di molte chiamate di funzione o per chiamare funzioni tra diversi linguaggi.

Questo pacchetto contiene alcuni strumenti a riga di comando per manipolare i compiti gearman.

make
utilità per guidare la compilazione
Versions of package make
ReleaseVersionArchitectures
jessie4.0-8.1amd64,armel,armhf,i386
stretch4.1-9.1amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
buster4.2.1-1.2amd64,arm64,armhf,i386
bullseye4.3-4.1amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
bookworm4.3-4.1amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
trixie4.3-4.1amd64,arm64,armel,armhf,i386,mips64el,ppc64el,riscv64,s390x
sid4.3-4.1amd64,arm64,armel,armhf,i386,mips64el,ppc64el,riscv64,s390x
upstream4.4.1
Debtags of package make:
develbuildtools
interfacecommandline
roleprogram
scopeutility
suitegnu
works-withsoftware:source
Popcon: 31630 users (7656 upd.)*
Newer upstream!
License: DFSG free
Git

GNU Make è un'utilità che controlla la generazione degli eseguibili e di altre parti di un programma a partire dai file sorgente. Determina automaticamente quali parti di un grosso programma necessitano di essere (ri)compilate ed esegue i comandi per (ri)crearle. Make può essere usato per organizzare compiti nei quali obiettivi (file) devono essere automaticamente aggiornati in base a file di partenza ogni volta che le fonti corrispondenti sono rinnovate; non è limitato a compilare programmi eseguibili. A dire il vero, Make è un risolutore di dipendenze multiuso.

The package is enhanced by the following packages: make-doc
pegasus-wms
sistema di gestione di flusso di lavoro scientifico per HTCondor
Versions of package pegasus-wms
ReleaseVersionArchitectures
jessie4.4.0+dfsg-4amd64,armel,armhf,i386
stretch4.4.0+dfsg-6amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
buster4.4.0+dfsg-8amd64,arm64,armhf,i386
Popcon: 0 users (0 upd.)*
Versions and Archs
License: DFSG free

Il progetto Pegasus comprende un insieme di tecnologie che aiutano le applicazioni basate su flusso di lavoro ad essere eseguite in svariati ambienti differenti, inclusi desktop, cluster universitari, griglie e ora nuvole. I flussi di lavoro scientifici permetto agli utenti di esprimere facilmente elaborazioni multi-passo, per esempio recuperare dati da un database, riformattare i dati ed eseguire un'analisi. Una volta che un'applicazione è stata formalizzato come un flusso di lavoro, il Pegasus Workflow Management Service può mapparla nelle risorse di calcolo disponibili ed eseguire i passi nell'ordine corretto.

Screenshots of package pegasus-wms
python3-nipype
catena di elaborazione dati per l'analisi di neuroimmagini in Python 3
Versions of package python3-nipype
ReleaseVersionArchitectures
bookworm1.8.5-3all
bullseye1.6.0-2all
sid1.8.6-3all
Popcon: 12 users (15 upd.)*
Versions and Archs
License: DFSG free
Git

Nipype interfaccia Python con altri pacchetti per neuroimmagini e crea un'API per specificare una completa catena di elaborazione dati per analisi in Python. Attualmente ha interfacce per SPM, FSL, AFNI, Freesurfer, ma potrebbe essere estesa ad altri pacchetti (come lipsia).

Please cite: SS Ghosh, C Burns, D Clark, K Gorgolewski, YO Halchenko, C Madison, R Tungaraza and KJ Millman: Nipype: Opensource platform for unified and replicable interaction with existing neuroimaging tools (eprint) 16th Annual Meeting of the Organization for Human Brain Mapping :106 (2010)
python3-wdlparse
analizzatore di WDL (Workflow Description Language) per Python
Versions of package python3-wdlparse
ReleaseVersionArchitectures
bookworm0.1.0-3all
bullseye0.1.0-2all
sid0.1.0-3all
trixie0.1.0-3all
Popcon: 2 users (1 upd.)*
Versions and Archs
License: DFSG free
Git

Pacchetto Python che fornisce gli analizzatori WDL Antlr4 e Hermes generati per Python.

snakemake
sistema di gestione dei flussi di lavoro in Python
Versions of package snakemake
ReleaseVersionArchitectures
buster5.4.0-1all
trixie7.32.4-3all
sid7.32.4-3all
bullseye5.24.1-2all
stretch3.10.0-1all
bookworm7.21.0-1all
upstream8.14.0
Popcon: 30 users (1 upd.)*
Newer upstream!
License: DFSG free
Git

I sistemi di compilazione come GNU Make sono usati frequentemente per creare flussi di lavoro complicati, ad esempio in bioinformatica. Questo progetto ha lo scopo di ridurre la complessità di creare flussi di lavoro fornendo un linguaggio specifico di dominio (DSL) pulito e moderno in stile Python, insieme a un ambiente di esecuzione veloce e confortevole.

Please cite: Johannes Köster and Sven Rahmann: Snakemake-a scalable bioinformatics workflow engine. Bioinformatics (2012)
Registry entries: Bio.tools  SciCrunch  Bioconda 
toil
motore per flusso di lavoro multipiattaforma
Versions of package toil
ReleaseVersionArchitectures
buster3.18.0-2all
bookworm5.9.2-2+deb12u1all
bullseye5.2.0-5all
trixie6.1.0-4all
sid6.1.0-4all
upstream7.0.0
Popcon: 4 users (1 upd.)*
Newer upstream!
License: DFSG free
Git

Toil è un motore per flusso di lavoro in Python puro scalabile, efficiente, multipiattaforma e facile da usare. Funziona con svariati bilanciatori del carico di comune utilizzo, come Slurm o Sun Grid Engine. Toil è anche compatibile con CWL (Common Workflow Language) attraverso l'interfaccia "toil-cwl-runner", che questo pacchetto rende disponibile per mezzo del sistema delle alternative di Debian sotto l'alias "cwl-runner".

Please cite: John Vivian, Arjun Arkal Rao, Frank Austin Nothaft, Christopher Ketchum, Joel Armstrong, Adam Novak, Jacob Pfeil, Jake Narkizian Alden D. Deran, Audrey Musselman-Brown, Hannes Schmidt, Peter Amstutz, Brian Craft, Mary Goldman, Kate Rosenbloom, Melissa Cline, Brian O'Connor, Megan Hanna, Chet Birger, W. James Kent David A. Patterson, Anthony D. Joseph, Jingchun Zhu, Sasha Zaranek, Gad Getz, David Haussler and Benedict Paten: Toil enables reproducible, open source, big biomedical data analyses. Nature Biotechnology 35(4):314–316 (2017)
Registry entries: Bioconda 

Official Debian packages with lower relevance

cwlformat
strumento per formattare codice per Common Workflow Language
Versions of package cwlformat
ReleaseVersionArchitectures
trixie2022.02.18-3all
bookworm2022.02.18-2all
sid2022.02.18-3all
bullseye2021.01.05-1all
Popcon: 1 users (0 upd.)*
Versions and Archs
License: DFSG free
Git

CWL Format è una specifica e un'implementazione di riferimento per uno strumento molto presuntuoso per formattare codice CWL.

Emette in output il CWL (Common Workflow Language) in un formato YAML standardizzato. Non ha impostazioni o opzioni perché le persone hanno di meglio da fare con il proprio tempo. E perché CWL Format ha sempre ragione.

libbenchmark-tools
libreria di supporto per microbenchmark, strumenti e documentazione
Versions of package libbenchmark-tools
ReleaseVersionArchitectures
buster1.4.1-3all
stretch-backports1.3.0-1~bpo9+1all
bullseye1.5.2-2all
bookworm1.7.1-1all
trixie1.8.3-3all
sid1.8.3-3all
upstream1.8.4
Popcon: 0 users (0 upd.)*
Newer upstream!
License: DFSG free
Git

Libreria per supportare il benchmarking delle funzioni, simile ai test di unità.

Questo pacchetto contiene gli strumenti e la documentazione.

*Popularitycontest results: number of people who use this package regularly (number of people who upgraded this package recently) out of 237110