Debian Science Project
Summary
Workflow
sistemi di gestione dei flussi di lavoro per ricerca scientifica

Questo task elenca alcuni pacchetti che forniscono sistemi di gestione dei flussi di lavoro utili per la ricerca scientifica.

Description

For a better overview of the project's availability as a Debian package, each head row has a color code according to this scheme:

If you discover a project which looks like a good candidate for Debian Science to you, or if you have prepared an unofficial Debian package, please do not hesitate to send a description of that project to the Debian Science mailing list

Links to other tasks

Debian Science Workflow packages

Official Debian packages with high relevance

Coop-computing-tools
strumenti per calcolo cooperativo
Maintainer: Alastair McKinstry
Versions of package coop-computing-tools
ReleaseVersionArchitectures
buster7.0.9-2amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
bullseye7.1.2-3amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
sid7.1.2-3amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
wheezy3.5.1-2amd64,armel,armhf,i386,ia64,kfreebsd-amd64,kfreebsd-i386,mips,mipsel,powerpc,s390,s390x,sparc
stretch4.0-1.1amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
Debtags of package coop-computing-tools:
uitoolkitncurses
Popcon: 7 users (5 upd.)*
Versions and Archs
License: DFSG free
Git

Questa è una raccolta di software che aiuta gli utenti a condividere risorse in un ambiente di calcolo complesso, eterogeneo e inaffidabile. Include:

  • Chirp: un file system personale e un protocollo di I/O che permette a utenti non privilegiati di condividere spazio in maniera sicura, efficiente e comoda; combinato con Parrot, Chirp permette agli utenti di creare file system personalizzati distribuiti su area vasta;
  • Parrot: un file system virtuale, a livello utente e trasparente che permette a qualsiasi programma ordinario di collegarsi a un device remoto di memorizzazione come un server FTP o un server Chirp;
  • Makeflow: un sistema di flusso di lavoro per calcolo parallelo e distribuito che usa un linguaggio molto simile a Make;
  • Work Queue: un sistema e un'API per costruire programmi in stile master-worker che scalano fino a migliaia di processori;
  • All Pairs: un'astrazione computazionale per eseguire prodotti cartesiani molto grandi;
  • Wavefront: un'astrazione computazionale per eseguire problemi molto grandi di programmazione dinamica;
  • The Fault Tolerant Shell: un linguaggio di programmazione di alto livello che permette agli utenti di unire la facilità degli script della shell, la potenza della programmazione distribuita e la precisione dei linguaggi compilati. Praticamente, programmazione parallela e gestione delle eccezioni per gli script.
Cwltool
implementazione di riferimento di Common Workflow Language
Versions of package cwltool
ReleaseVersionArchitectures
stretch1.0.20170114120503-1all
sid3.0.20200807132242-2all
bullseye3.0.20200807132242-2all
buster1.0.20181217162649+dfsg-10all
upstream3.0.20201121085451
Popcon: 21 users (12 upd.)*
Newer upstream!
License: DFSG free
Git

Questa è l'implementazione di riferimento degli standard del Common Workflow Language.

Gli standard aperti CWL servono a descrivere flussi di lavoro e strumenti di analisi in un modo che li renda portabili e scalabili su una varietà di ambienti software e hardware, dalle workstation a cluster, cloud e ambienti HPC (High Performance Computing). CWL è progettato per soddisfare le esigenze di scienze con grande uso di dati, come la bioinformatica. le immagini medicali, l'astronomia, la fisica e la chimica.

L'implementazione di riferimento di CWL (cwltool) è pensata per essere ricca di funzionalità e per fornire una validazione completa di file CWL, oltre a fornire altri strumenti correlati al lavoro con descrizioni CWL.

Please cite: Peter Amstutz, Michael R. Crusoe, Nebojša Tijanić, Brad Chapman, John Chilton, Michael Heuer, Andrey Kartashov, Dan Leehr, Hervé Ménager, Maya Nedeljkovich, Matt Scales, Stian Soiland-Reyes and Luka Stojanovic: Common Workflow Language, v1.0. (2016)
Registry entries: SciCrunch  OMICtools  Bioconda 
Gearman
coda di compiti distribuiti
Versions of package gearman
ReleaseVersionArchitectures
bullseye1.1.19.1+ds-2all
wheezy0.33-2all
squeeze0.13-1all
jessie1.0.6-5all
stretch1.0.6-9all
buster1.1.18+ds-3all
sid1.1.19.1+ds-2all
Debtags of package gearman:
rolemetapackage
Popcon: 0 users (0 upd.)*
Versions and Archs
License: DFSG free
Git

Gearman è un sistema per dare via lavoro ad altre macchine, inviando chiamate a funzioni a macchine che sono più adatte al lavoro, per lavorare in parallelo, per bilanciare i carichi di molte chiamate di funzione o per chiamare funzioni tra diversi linguaggi.

Questo è un pacchetto fittizio che dipende dal client e dal server.

Gearman-tools
strumenti per la coda dei compiti distribuiti Gearman
Versions of package gearman-tools
ReleaseVersionArchitectures
wheezy0.33-2amd64,armel,armhf,i386,ia64,kfreebsd-amd64,kfreebsd-i386,mips,mipsel,powerpc,s390,s390x,sparc
stretch1.0.6-9amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
jessie1.0.6-5amd64,armel,armhf,i386
squeeze0.13-1amd64,armel,i386,ia64,kfreebsd-amd64,kfreebsd-i386,mips,mipsel,powerpc,s390,sparc
sid1.1.19.1+ds-2amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
bullseye1.1.19.1+ds-2amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
buster1.1.18+ds-3amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
Popcon: 16 users (7 upd.)*
Versions and Archs
License: DFSG free
Git

Gearman è un sistema per dare via lavoro ad altre macchine, inviando chiamate a funzioni a macchine che sono più adatte al lavoro, per lavorare in parallelo, per bilanciare i carichi di molte chiamate di funzione o per chiamare funzioni tra diversi linguaggi.

Questo pacchetto contiene alcuni strumenti a riga di comando per manipolare i compiti gearman.

Make
utilità per guidare la compilazione
Maintainer: Manoj Srivastava
Versions of package make
ReleaseVersionArchitectures
bullseye4.3-4amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
squeeze3.81-8amd64,armel,i386,ia64,kfreebsd-amd64,kfreebsd-i386,mips,mipsel,powerpc,s390,sparc
wheezy3.81-8.2amd64,armel,armhf,i386,ia64,kfreebsd-amd64,kfreebsd-i386,mips,mipsel,powerpc,s390,s390x,sparc
jessie4.0-8.1amd64,armel,armhf,i386
stretch4.1-9.1amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
buster4.2.1-1.2amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
sid4.3-4amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
Debtags of package make:
develbuildtools
interfacecommandline
roleprogram
scopeutility
suitegnu
works-withsoftware:source
Popcon: 32758 users (7028 upd.)*
Versions and Archs
License: DFSG free
Git

GNU Make è un'utilità che controlla la generazione degli eseguibili e di altre parti di un programma a partire dai file sorgente. Determina automaticamente quali parti di un grosso programma necessitano di essere (ri)compilate ed esegue i comandi per (ri)crearle. Make può essere usato per organizzare compiti nei quali obiettivi (file) devono essere automaticamente aggiornati in base a file di partenza ogni volta che le fonti corrispondenti sono rinnovate; non è limitato a compilare programmi eseguibili. A dire il vero, Make è un risolutore di dipendenze multiuso.

The package is enhanced by the following packages: make-doc
Pegasus-wms
sistema di gestione di flusso di lavoro scientifico per HTCondor
Versions of package pegasus-wms
ReleaseVersionArchitectures
wheezy4.0.1+dfsg-8amd64,armel,armhf,i386,ia64,mips,mipsel,powerpc,s390,s390x,sparc
jessie4.4.0+dfsg-4amd64,armel,armhf,i386
stretch4.4.0+dfsg-6amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
buster4.4.0+dfsg-8amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
Popcon: 8 users (3 upd.)*
Versions and Archs
License: DFSG free

Il progetto Pegasus comprende un insieme di tecnologie che aiutano le applicazioni basate su flusso di lavoro ad essere eseguite in svariati ambienti differenti, inclusi desktop, cluster universitari, griglie e ora nuvole. I flussi di lavoro scientifici permetto agli utenti di esprimere facilmente elaborazioni multi-passo, per esempio recuperare dati da un database, riformattare i dati ed eseguire un'analisi. Una volta che un'applicazione è stata formalizzato come un flusso di lavoro, il Pegasus Workflow Management Service può mapparla nelle risorse di calcolo disponibili ed eseguire i passi nell'ordine corretto.

Screenshots of package pegasus-wms
Snakemake
sistema di gestione dei flussi di lavoro in Python
Versions of package snakemake
ReleaseVersionArchitectures
sid5.24.1-1all
stretch3.10.0-1all
buster5.4.0-1all
bullseye5.24.1-1all
upstream5.30.1
Popcon: 17 users (5 upd.)*
Newer upstream!
License: DFSG free
Git

I sistemi di compilazione come GNU Make sono usati frequentemente per creare flussi di lavoro complicati, ad esempio in bioinformatica. Questo progetto ha lo scopo di ridurre la complessità di creare flussi di lavoro fornendo un linguaggio specifico di dominio (DSL) pulito e moderno in stile Python, insieme a un ambiente di esecuzione veloce e confortevole.

Please cite: Johannes Köster and Sven Rahmann: Snakemake-a scalable bioinformatics workflow engine. Bioinformatics (2012)
Registry entries: Bio.tools  SciCrunch  OMICtools  Bioconda 
Toil
cross-platform workflow engine
Versions of package toil
ReleaseVersionArchitectures
buster3.18.0-2all
sid4.2.0-1all
bullseye4.2.0-1all
Popcon: 10 users (2 upd.)*
Versions and Archs
License: DFSG free
Git

Toil is a scalable, efficient, cross-platform and easy-to-use workflow engine in pure Python. It works with several well established load balancers like Slurm or the Sun Grid Engine. Toil is also compatible with the Common Workflow Language (CWL) via the "toil-cwl-runner" interface, which this package make available via the Debian alternativess system under the alias "cwl-runner".

Please cite: John Vivian, Arjun Arkal Rao, Frank Austin Nothaft, Christopher Ketchum, Joel Armstrong, Adam Novak, Jacob Pfeil, Jake Narkizian Alden D. Deran, Audrey Musselman-Brown, Hannes Schmidt, Peter Amstutz, Brian Craft, Mary Goldman, Kate Rosenbloom, Melissa Cline, Brian O'Connor, Megan Hanna, Chet Birger, W. James Kent David A. Patterson, Anthony D. Joseph, Jingchun Zhu, Sasha Zaranek, Gad Getz, David Haussler and Benedict Paten: Toil enables reproducible, open source, big biomedical data analyses. Nature Biotechnology 35(4):314–316 (2017)
Registry entries: OMICtools  Bioconda 

Official Debian packages with lower relevance

Libbenchmark-tools
libreria di supporto per microbenchmark, strumenti e documentazione
Versions of package libbenchmark-tools
ReleaseVersionArchitectures
bullseye1.5.2-2all
sid1.5.2-2all
buster1.4.1-3all
Popcon: 0 users (0 upd.)*
Versions and Archs
License: DFSG free
Git

Libreria per supportare il benchmarking delle funzioni, simile ai test di unità.

Questo pacchetto contiene gli strumenti e la documentazione.

*Popularitycontest results: number of people who use this package regularly (number of people who upgraded this package recently) out of 201026