Debian Science Workflow packages

A capsule is a single executable JAR that contains everything an application needs to run either in the form of embedded files or as declarative metadata. It can contain JAR artifacts, dependencies and resources, native libraries, the required Java Runtime Environment version, the Java Virtual Machine flags required to run the application well, Java or native agents and more. In short, a capsule is a self-contained JAR that knows everything there is to know about how to run the application the way it is meant to run.

One way of thinking about a capsule is as a fat JAR on steroids (that also allows native libraries and never interferes with your dependencies) and a declarative startup script rolled into one; another, is to see it is as the deploy-time counterpart to your build tool. Just as a build tool manages your build, Capsule manages the launching of your application.

This package contains a fork of the original capsule project. This fork is suited as a dependency of nextflow.

Il s'agit d'une collection de logiciels aidant les utilisateurs à partager des ressources dans un environnement de calcul complexe, hétérogène et non fiable. Elle inclut :

• Chirp : Un protocole d'entrée/sortie et un système de fichiers personnel qui prmet à des utilisateurs non privilégiés de partager un espace de manière sécurisée, efficace et commode. Associé à Parrot, Chirp permet aux utilisateurs de créer des systèmes de fichiers distribués dans des endroits personnalisés
• Parrot : Un système de fichiers virtuel transparent au niveau utilisateur permettant de rlier à n'importe quel programme un périphérique de stockage distant tel qu'un serveur FTP ou Chirp.
• Makeflow : un système de flux pour le calcul parallèle et distribué qui utilise un langage très proche de Make.
• Work Queue : Un système et une API pour construire des programmes à la façon master-worker, capables d'aller jusqu'à des milliers de processeurs.
• All Pairs : Une abstraction de calcul pour exécuter de très gros produits cartésiens.
• Wavefront : Une abstraction de calcul pour exécuter de très gros problèmes de programmation dynamique.
• The Fault Tolerant Shell : Un langage de programmation de haut niveau qui permet aux utilisateurs de combiner la facilité des scripts shell, la puissance de la programmation distribuée et la précision des langages compilés. C'est de la programmation parallèle de base et de la gestion d'exceptions pour des scripts.

C'est l'implémentation de référence des standards de Common Workflow Language.

Les standards ouverts CWL servent à décrire des analyses de flux de travail et des outils afin de les rendre portables et déployabls sur une grande diversité d'environnements logiciels et matériels, des stations de travail aux clustrs en passant par le cloud et le calcul haute performance (HPC). CWL a été conçu pour satisfaire les besoins des scientifiques manipulant beaucoup de données comme la bioinformatique, l'imagerie médicaale, l'astronomie, la physique et la chimie.

L'implémentation de la référence CWL (cwltool) vise à être entièrement personnalisée et à offrir une validation exhaustive de fichiers CWL, mais aussi d'autres outils de travail avec des descriptions CWL.

Gearman est un système pour confier des travaux à d’autres machines, en répartissant les appels de fonction aux machines les plus adaptées, pour travailler en parallèle, pour répartir les charges de beaucoup d’appels de fonction ou appeler des fonctions entre langages.

Ce paquet est un paquet vide qui dépend à la fois du client et du serveur.

Gearman est un système pour confier des travaux à d’autres machines, en répartissant les appels de fonction aux machines les plus adaptées, pour travailler en parallèle, pour répartir les charges de beaucoup d’appels de fonction ou appeler des fonctions entre langages.

Ce paquet fournit quelques outils en ligne de commande pour manipuler les travaux de Gearman.

L'utilitaire GNU Make contrôle la création d'exécutables et autres fichiers d'un programme à partir des sources. Il détermine automatiquement quelles parties d'un long programme doivent être (re)créées et génère les commandes pour les (re)créer. Make peut être utilisé pour organiser toute tâche pour laquelle des cibles (fichiers) doivent être automatiquement mises à jour à partir d'un ensemble de fichiers sources quand la source est plus récente - il n'est pas limité à la compilation de programmes informatiques. En fait, Make est un résolveur de dépendances généraliste.

The Pegasus project encompasses a set of technologies the help workflow-based applications execute in a number of different environments including desktops, campus clusters, grids, and now clouds. Scientific workflows allow users to easily express multi-step computations, for example retrieve data from a database, reformat the data, and run an analysis. Once an application is formalized as a workflow the Pegasus Workflow Management Service can map it onto available compute resources and execute the steps in appropriate order.

Nipype interfaces Python to other neuroimaging packages and creates an API for specifying a full analysis pipeline in Python. Currently, it has interfaces for SPM, FSL, AFNI, Freesurfer, but could be extended for other packages (such as lipsia).

A Python package that provides the generated Hermes and Antlr4 WDL parsers for Python.

Build systems like GNU Make are frequently used to create complicated workflows, e.g. in bioinformatics. This project aims to reduce the complexity of creating workflows by providing a clean and modern domain specific language (DSL) in Python style, together with a fast and comfortable execution environment.

Toil is a scalable, efficient, cross-platform and easy-to-use workflow engine in pure Python. It works with several well established load balancers like Slurm or the Sun Grid Engine. Toil is also compatible with the Common Workflow Language (CWL) via the "toil-cwl-runner" interface, which this package make available via the Debian alternativess system under the alias "cwl-runner".

CWL Format is a specification and a reference implementation for a very opinionated CWL code formatter.

It outputs Common Workflow Language(CWL) in a standardized YAML format. It has no settings or options because you have better things to do with your time. And because CWL Format is always correct.

Il s'agit d'une bibliothèque pour mesurer la performance de fonctions, semblable à unit-tests.

Ce paquet fournit les outils et la documentation.