Debian Science Project
Summary
Workflow
workflow management systems useful for scientific research

This task lists some packages providing workflow management systems useful for scientific research.

Description

For a better overview of the project's availability as a Debian package, each head row has a color code according to this scheme:

If you discover a project which looks like a good candidate for Debian Science to you, or if you have prepared an unofficial Debian package, please do not hesitate to send a description of that project to the Debian Science mailing list

Links to other tasks

Debian Science Workflow packages

Official Debian packages with high relevance

Coop-computing-tools
outils de calcul coopératif
Maintainer: Alastair McKinstry
Versions of package coop-computing-tools
ReleaseVersionArchitectures
wheezy3.5.1-2amd64,armel,armhf,i386,ia64,kfreebsd-amd64,kfreebsd-i386,mips,mipsel,powerpc,s390,s390x,sparc
sid7.0.9-5amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
buster7.0.9-2amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
stretch4.0-1.1amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
bullseye7.0.9-5amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
Debtags of package coop-computing-tools:
uitoolkitncurses
Popcon: 4 users (2 upd.)*
Versions and Archs
License: DFSG free
Git

Il s'agit d'une collection de logiciels aidant les utilisateurs à partager des ressources dans un environnement de calcul complexe, hétérogène et non fiable. Elle inclut :

  • Chirp : Un protocole d'entrée/sortie et un système de fichiers personnel qui prmet à des utilisateurs non privilégiés de partager un espace de manière sécurisée, efficace et commode. Associé à Parrot, Chirp permet aux utilisateurs de créer des systèmes de fichiers distribués dans des endroits personnalisés
  • Parrot : Un système de fichiers virtuel transparent au niveau utilisateur permettant de rlier à n'importe quel programme un périphérique de stockage distant tel qu'un serveur FTP ou Chirp.
  • Makeflow : un système de flux pour le calcul parallèle et distribué qui utilise un langage très proche de Make.
  • Work Queue : Un système et une API pour construire des programmes à la façon master-worker, capables d'aller jusqu'à des milliers de processeurs.
  • All Pairs : Une abstraction de calcul pour exécuter de très gros produits cartésiens.
  • Wavefront : Une abstraction de calcul pour exécuter de très gros problèmes de programmation dynamique.
  • The Fault Tolerant Shell : Un langage de programmation de haut niveau qui permet aux utilisateurs de combiner la facilité des scripts shell, la puissance de la programmation distribuée et la précision des langages compilés. C'est de la programmation parallèle de base et de la gestion d'exceptions pour des scripts.
Cwltool
implémentation de la référence du langage Common Workflow
Versions of package cwltool
ReleaseVersionArchitectures
stretch1.0.20170114120503-1all
bullseye2.0.20200126090152+dfsg-1all
sid2.0.20200126090152+dfsg-1all
buster1.0.20181217162649+dfsg-10all
Popcon: 16 users (39 upd.)*
Versions and Archs
License: DFSG free
Git

C'est l'implémentation de référence des standards de Common Workflow Language.

Les standards ouverts CWL servent à décrire des analyses de flux de travail et des outils afin de les rendre portables et déployabls sur une grande diversité d'environnements logiciels et matériels, des stations de travail aux clustrs en passant par le cloud et le calcul haute performance (HPC). CWL a été conçu pour satisfaire les besoins des scientifiques manipulant beaucoup de données comme la bioinformatique, l'imagerie médicaale, l'astronomie, la physique et la chimie.

L'implémentation de la référence CWL (cwltool) vise à être entièrement personnalisée et à offrir une validation exhaustive de fichiers CWL, mais aussi d'autres outils de travail avec des descriptions CWL.

Please cite: Peter Amstutz, Michael R. Crusoe, Nebojša Tijanić, Brad Chapman, John Chilton, Michael Heuer, Andrey Kartashov, Dan Leehr, Hervé Ménager, Maya Nedeljkovich, Matt Scales, Stian Soiland-Reyes and Luka Stojanovic: Common Workflow Language, v1.0. (2016)
Registry entries: SciCrunch  OMICtools  Bioconda 
Gearman
file d’attente de travaux distribués
Versions of package gearman
ReleaseVersionArchitectures
sid1.1.18+ds-3.1all
wheezy0.33-2all
buster1.1.18+ds-3all
bullseye1.1.18+ds-3.1all
jessie1.0.6-5all
stretch1.0.6-9all
squeeze0.13-1all
upstream1.1.19.1
Debtags of package gearman:
rolemetapackage
Popcon: 0 users (0 upd.)*
Newer upstream!
License: DFSG free
Git

Gearman est un système pour confier des travaux à d’autres machines, en répartissant les appels de fonction aux machines les plus adaptées, pour travailler en parallèle, pour répartir les charges de beaucoup d’appels de fonction ou appeler des fonctions entre langages.

Ce paquet est un paquet vide qui dépend à la fois du client et du serveur.

Gearman-tools
outils pour la file d’attente de travaux distribués de Gearman
Versions of package gearman-tools
ReleaseVersionArchitectures
bullseye1.1.18+ds-3.1amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
wheezy0.33-2amd64,armel,armhf,i386,ia64,kfreebsd-amd64,kfreebsd-i386,mips,mipsel,powerpc,s390,s390x,sparc
jessie1.0.6-5amd64,armel,armhf,i386
stretch1.0.6-9amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
buster1.1.18+ds-3amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
squeeze0.13-1amd64,armel,i386,ia64,kfreebsd-amd64,kfreebsd-i386,mips,mipsel,powerpc,s390,sparc
sid1.1.18+ds-3.1amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
upstream1.1.19.1
Popcon: 15 users (10 upd.)*
Newer upstream!
License: DFSG free
Git

Gearman est un système pour confier des travaux à d’autres machines, en répartissant les appels de fonction aux machines les plus adaptées, pour travailler en parallèle, pour répartir les charges de beaucoup d’appels de fonction ou appeler des fonctions entre langages.

Ce paquet fournit quelques outils en ligne de commande pour manipuler les travaux de Gearman.

Make
utilitaire pour mener la compilation
Versions of package make
ReleaseVersionArchitectures
bullseye4.2.1-1.2amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
squeeze3.81-8amd64,armel,i386,ia64,kfreebsd-amd64,kfreebsd-i386,mips,mipsel,powerpc,s390,sparc
wheezy3.81-8.2amd64,armel,armhf,i386,ia64,kfreebsd-amd64,kfreebsd-i386,mips,mipsel,powerpc,s390,s390x,sparc
jessie4.0-8.1amd64,armel,armhf,i386
stretch4.1-9.1amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
buster4.2.1-1.2amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
sid4.2.1-1.2amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
upstream4.3
Debtags of package make:
develbuildtools
interfacecommandline
roleprogram
scopeutility
suitegnu
works-withsoftware:source
Popcon: 34123 users (8805 upd.)*
Newer upstream!
License: DFSG free
Git

L'utilitaire GNU Make contrôle la création d'exécutables et autres fichiers d'un programme à partir des sources. Il détermine automatiquement quelles parties d'un long programme doivent être (re)créées et génère les commandes pour les (re)créer. Make peut être utilisé pour organiser toute tâche pour laquelle des cibles (fichiers) doivent être automatiquement mises à jour à partir d'un ensemble de fichiers sources quand la source est plus récente - il n'est pas limité à la compilation de programmes informatiques. En fait, Make est un résolveur de dépendances généraliste.

The package is enhanced by the following packages: make-doc
Pegasus-wms
Scientific workflow management system for HTCondor
Versions of package pegasus-wms
ReleaseVersionArchitectures
wheezy4.0.1+dfsg-8amd64,armel,armhf,i386,ia64,mips,mipsel,powerpc,s390,s390x,sparc
jessie4.4.0+dfsg-4amd64,armel,armhf,i386
stretch4.4.0+dfsg-6amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
buster4.4.0+dfsg-8amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
Popcon: 4 users (1 upd.)*
Versions and Archs
License: DFSG free

The Pegasus project encompasses a set of technologies the help workflow-based applications execute in a number of different environments including desktops, campus clusters, grids, and now clouds. Scientific workflows allow users to easily express multi-step computations, for example retrieve data from a database, reformat the data, and run an analysis. Once an application is formalized as a workflow the Pegasus Workflow Management Service can map it onto available compute resources and execute the steps in appropriate order.

Screenshots of package pegasus-wms
Snakemake
pythonic workflow management system
Versions of package snakemake
ReleaseVersionArchitectures
sid5.10.0-2all
stretch3.10.0-1all
buster5.4.0-1all
bullseye5.10.0-2all
Popcon: 3 users (16 upd.)*
Versions and Archs
License: DFSG free
Git

Build systems like GNU Make are frequently used to create complicated workflows, e.g. in bioinformatics. This project aims to reduce the complexity of creating workflows by providing a clean and modern domain specific language (DSL) in Python style, together with a fast and comfortable execution environment.

Please cite: Johannes Köster and Sven Rahmann: Snakemake-a scalable bioinformatics workflow engine. Bioinformatics (2012)
Registry entries: Bio.tools  SciCrunch  OMICtools  Bioconda 
Toil
cross-platform workflow engine
Versions of package toil
ReleaseVersionArchitectures
buster3.18.0-2all
bullseye3.24.0-1all
sid3.24.0-1all
Popcon: 3 users (10 upd.)*
Versions and Archs
License: DFSG free
Git

Toil is a scalable, efficient, cross-platform and easy-to-use workflow engine in pure Python. It works with several well established load balancers like Slurm or the Sun Grid Engine. Toil is also compatible with the Common Workflow Language (CWL) via the "toil-cwl-runner" interface, which this package make available via the Debian alternativess system under the alias "cwl-runner".

Please cite: John Vivian, Arjun Arkal Rao, Frank Austin Nothaft, Christopher Ketchum, Joel Armstrong, Adam Novak, Jacob Pfeil, Jake Narkizian Alden D. Deran, Audrey Musselman-Brown, Hannes Schmidt, Peter Amstutz, Brian Craft, Mary Goldman, Kate Rosenbloom, Melissa Cline, Brian O'Connor, Megan Hanna, Chet Birger, W. James Kent David A. Patterson, Anthony D. Joseph, Jingchun Zhu, Sasha Zaranek, Gad Getz, David Haussler and Benedict Paten: Toil enables reproducible, open source, big biomedical data analyses. Nature Biotechnology 35(4):314–316 (2017)
Registry entries: OMICtools  Bioconda 

Official Debian packages with lower relevance

Libbenchmark-tools
bibliothèque de prise en charge de micro-benchmark –⋅outils et documentation
Versions of package libbenchmark-tools
ReleaseVersionArchitectures
sid1.5.0-4all
bullseye1.5.0-4all
buster1.4.1-3all
Popcon: 0 users (0 upd.)*
Versions and Archs
License: DFSG free
Git

Il s'agit d'une bibliothèque pour mesurer la performance de fonctions, semblable à unit-tests.

Ce paquet fournit les outils et la documentation.

*Popularitycontest results: number of people who use this package regularly (number of people who upgraded this package recently) out of 203320