Debian Science Distributed Computing packages

The Modules package provides for the dynamic modification of a user's environment via modulefiles. Each modulefile contains the information needed to configure the shell for an application. Once the Modules package is initialized, the environment can be modified dynamically on a per-module basis using the module command which interprets modulefiles. Typically modulefiles instruct the module command to alter or set shell environment variables such as PATH, MANPATH, etc. modulefiles may be shared by many users on a system and users may have their own collection to supplement or replace the shared modulefiles. The modules environment is common on SGI/Crays and many workstation farms.

Grid Engine est un logiciel facilitant la gestion d’une grille informatique (gestion de ressources distribuées – DRM). Bien plus qu’être simplement des outils de répartition de charges ou des mécanismes de planifications, les logiciels DRM fournissent habituellement les fonctions essentielles suivantes pour de larges ensembles de ressources distribuées :

 – allocation basée sur une politique de ressources distribuées (temps CPU,
  licences logicielles, etc.) ;
 – mise en file d’attente et planification de lots ;
 – prise en charge de divers matériels pour serveur, systèmes
  d’exploitation et architectures ;
 – répartition de charges et exécution de travaux distants ;
 – statistiques comptables de travaux détaillées ;
 – ressources par utilisateur paramétrables finement ;
 – interruption, redémarrage ou migration de travaux ;
 – outils de rapport d’état de travaux, hôtes et groupes ;
 – tableaux de travaux ;
 – intégration et contrôle de travaux parallèles.

Ce paquet fournit les utilitaires utilisateur de Grid Engine.

Grid Engine est un logiciel facilitant la gestion d’une grille informatique (gestion de ressources distribuées – DRM). Bien plus qu’être simplement des outils de répartition de charges ou des mécanismes de planifications, les logiciels DRM fournissent habituellement les fonctions essentielles suivantes pour de larges ensembles de ressources distribuées :

 – allocation basée sur une politique de ressources distribuées (temps CPU,
  licences logicielles, etc.) ;
 – mise en file d’attente et planification de lots ;
 – prise en charge de divers matériels pour serveur, systèmes
  d’exploitation et architectures ;
 – répartition de charges et exécution de travaux distants ;
 – statistiques comptables de travaux détaillées ;
 – ressources par utilisateur paramétrables finement ;
 – interruption, redémarrage ou migration de travaux ;
 – outils de rapport d’état de travaux, hôtes et groupes ;
 – tableaux de travaux ;
 – intégration et contrôle de travaux parallèles.

Ce paquet fournit le serveur d'exécution de Grid engine.

Grid Engine est un logiciel facilitant la gestion d’une grille informatique (gestion de ressources distribuées – DRM). Bien plus qu’être simplement des outils de répartition de charges ou des mécanismes de planifications, les logiciels DRM fournissent habituellement les fonctions essentielles suivantes pour de larges ensembles de ressources distribuées :

 – allocation basée sur une politique de ressources distribuées (temps CPU,
  licences logicielles, etc.) ;
 – mise en file d’attente et planification de lots ;
 – prise en charge de divers matériels pour serveur, systèmes
  d’exploitation et architectures ;
 – répartition de charges et exécution de travaux distants ;
 – statistiques comptables de travaux détaillées ;
 – ressources par utilisateur paramétrables finement ;
 – interruption, redémarrage ou migration de travaux ;
 – outils de rapport d’état de travaux, hôtes et groupes ;
 – tableaux de travaux ;
 – intégration et contrôle de travaux parallèles.

Ce paquet fournit le serveur maître de Grid Engine.

Grid Engine est un logiciel facilitant la gestion d’une grille informatique (gestion de ressources distribuées – DRM). Bien plus qu’être simplement des outils de répartition de charges ou des mécanismes de planifications, les logiciels DRM fournissent habituellement les fonctions essentielles suivantes pour de larges ensembles de ressources distribuées :

 – allocation basée sur une politique de ressources distribuées (temps CPU,
  licences logicielles, etc.) ;
 – mise en file d’attente et planification de lots ;
 – prise en charge de divers matériels pour serveur, systèmes
  d’exploitation et architectures ;
 – répartition de charges et exécution de travaux distants ;
 – statistiques comptables de travaux détaillées ;
 – ressources par utilisateur paramétrables finement ;
 – interruption, redémarrage ou migration de travaux ;
 – outils de rapport d’état de travaux, hôtes et groupes ;
 – tableaux de travaux ;
 – intégration et contrôle de travaux parallèles.

Ce paquet fournit le frontal graphique d’administration de Grid Engine.

Ce paquet facilite la mise à niveau des installations d’htcondor vers le paquet appelé « condor ». Ce paquet est vide et peut être supprimé sans danger.

IPython can be used as a replacement for the standard Python shell, or it can be used as a complete working environment for scientific computing (like Matlab or Mathematica) when paired with the standard Python scientific and numerical tools. It supports dynamic object introspections, numbered input/output prompts, a macro system, session logging, session restoring, complete system shell access, verbose and colored traceback reports, auto-parentheses, auto-quoting, and is embeddable in other Python programs.

This package contains the actual terminal shell for Python 3.

NorduGrid is a collaboration aiming at development, maintenance and support of the middleware, known as the Advanced Resource Connector (ARC).

This client package contains all the CLI tools that are needed to operate with x509 proxies, submit and manage jobs and handle data transfers.

Open MPI is a project combining technologies and resources from several other projects (FT-MPI, LA-MPI, LAM/MPI, and PACX-MPI) in order to build the best MPI library available. A completely new MPI-3.1 compliant implementation, Open MPI offers advantages for system and software vendors, application developers and computer science researchers.

Features:

• Full MPI-3.1 standards conformance
• Thread safety and concurrency
• Dynamic process spawning
• High performance on all platforms
• Reliable and fast job management
• Network and process fault tolerance
• Support network heterogeneity
• Single library supports all networks
• Run-time instrumentation
• Many job schedulers supported
• Internationalized error messages
• Component-based design, documented APIs

This package contains the Open MPI utility programs.

SCOOP (Scalable COncurrent Operations in Python) is a distributed task module allowing concurrent parallel programming on various environments, from heterogeneous grids to supercomputers.

This package contains the Python3 modules.

Il s'agit d'une collection de logiciels aidant les utilisateurs à partager des ressources dans un environnement de calcul complexe, hétérogène et non fiable. Elle inclut :

• Chirp : Un protocole d'entrée/sortie et un système de fichiers personnel qui prmet à des utilisateurs non privilégiés de partager un espace de manière sécurisée, efficace et commode. Associé à Parrot, Chirp permet aux utilisateurs de créer des systèmes de fichiers distribués dans des endroits personnalisés
• Parrot : Un système de fichiers virtuel transparent au niveau utilisateur permettant de rlier à n'importe quel programme un périphérique de stockage distant tel qu'un serveur FTP ou Chirp.
• Makeflow : un système de flux pour le calcul parallèle et distribué qui utilise un langage très proche de Make.
• Work Queue : Un système et une API pour construire des programmes à la façon master-worker, capables d'aller jusqu'à des milliers de processeurs.
• All Pairs : Une abstraction de calcul pour exécuter de très gros produits cartésiens.
• Wavefront : Une abstraction de calcul pour exécuter de très gros problèmes de programmation dynamique.
• The Fault Tolerant Shell : Un langage de programmation de haut niveau qui permet aux utilisateurs de combiner la facilité des scripts shell, la puissance de la programmation distribuée et la précision des langages compilés. C'est de la programmation parallèle de base et de la gestion d'exceptions pour des scripts.

Le mesureur de performance HPC Challenge (High Performance Computing – Informatique de haute performance) exécute une suite de sept tests pour les CPU, la mémoire et le réseau pour des grappes HPC. Entre autres, il fournit le mesureur HPL (High-Performance LINPACK), utilisé par le classement Top500 (http://www.top500.org/).

MPI pour Python (mpi4py) fournit des liaisons pour la norme MPI (Message Passing Interface) pour le langage de programmation Python, permettant à n’importe quel programme en Python d’exploiter plusieurs processeurs.

Mpi4py est construit sur la base de la spécification MPI-1/MPI-2 et fournit une interface orientée objet qui suit de près les liaisons C++ vers MPI-2. Il gère les communications point-à-point (envoi, réception) et collectives (diffusions générales ou particulières de données) de n’importe quel objet de Python sélectionnable ainsi que des communications optimisées d’objet de Python exposant l’interface à tampon non-segmenté (tableaux NumPy, objets internes d’octets, chaîne ou tableau).

PSOM is a lightweight library to manage complex multi-stage data processing. A pipeline is a collection of jobs, i.e. Matlab or Octave code with a well identified set of options that are using files for inputs and outputs. To use PSOM, the only requirement is to generate a description of a pipeline in the form of a simple Matlab/Octave structure. PSOM then automatically offers the following services:

• Run jobs in parallel using multiple CPUs or within a distributed computing environment.
• Generate log files and keep track of the pipeline execution. These logs are detailed enough to fully reproduce the analysis.
• Handle job failures: successful completion of jobs is checked and failed jobs can be restarted.
• Handle updates of the pipeline: change options or add jobs and let PSOM figure out what to reprocess.