Debian Science Distributed Computing packages

DMTCP (Distributed MultiThreaded Checkpointing) is a tool to transparently checkpointing the state of an arbitrary group of programs including multi-threaded and distributed computations. It operates directly on the user binary executable, with no Linux kernel modules or other kernel mods.

Among the applications supported by DMTCP are Open MPI, MATLAB, Python, Perl, and many programming languages and shell scripting languages. DMTCP also supports GNU screen sessions, including vim/cscope and emacs. With the use of TightVNC, it can also checkpoint and restart X-Window applications, as long as they do not use extensions (e.g.: no OpenGL, no video).

This package contains DMTCP binaries.

Das Paket Environment Modules ermöglicht die dynamische Modifikation einer Benutzerumgebung über »modulefiles«. Jedes »modulefile« enthält die Informationen, um die Shell für eine Anwendung zu konfigurieren. Sobald das Paket Environment Modules initialisiert wurde, kann die Umgebung dynamisch verändert werden. Dies geschieht mit dem Befehl module, der die »modulefiles« per Modul interpretiert. Typischerweise ändern oder setzen die »modulefiles« über den Befehl module Umgebungsvariablen wie PATH, MANPATH usw. »modulefiles« können von vielen Benutzern auf einem System gemeinsam genutzt werden. Benutzer könnten eine eigene Sammlung besitzen, um die gemeinsam genutzten »modulefiles« zu ergänzen oder zu ersetzen. Die Modules-Umgebung ist auf SGI/Crays und vielen Farmen von Arbeitsplatzrechnern verbreitet.

The Globus Toolkit is an open source software toolkit used for building Grid systems and applications. It is being developed by the Globus Alliance and many others all over the world. A growing number of projects and companies are using the Globus Toolkit to unlock the potential of grids for their cause.

The globus-core package is no longer needed with Globus Toolkit 6. This transitional package provides a dummy pkg-config file to fulfill dependencies during the transition. In can be removed when no longer needed.

Die Software Grid Engine erleichtert die Verwaltung verteilter Ressourcen (distributed resource management, DRM). Weit mehr als nur einfache Werkzeuge zur Lastverteilung oder Mechanismen zur Batch-Planung, bietet DRM-Software typischerweise die folgenden Schlüsselfunktionen über große Gruppen verteilter Ressourcen:

• Auf Richtlinien basierende Zuweisung verteilter Ressourcen (CPU-Zeit, Software-Lizenzen, usw.)
• Planung von Batches & Verwaltung von Batch-Queues
• Unterstützung vielfältiger Server-Hardware, Betriebssysteme und Architekturen
• Lastausgleich & Ausführung von Aufträgen auf entfernten Rechnern
• Detaillierte, kontenbezogene Statistiken und Auftragsprotokolle
• Feinkörnige Verteilung nutzerspezifizierter Ressourcen
• Unterbrechung/Wiederaufnahme/Verlagerung von Aufgaben
• Statusinformationen von Aufgaben/Rechnern/Cluster
• Wiederholter Aufruf des gleichen Kommandos mit unterschiedlichen Parametern (Job-Arrays)
• Zusammenarbeit & Steuerung von parallelen Jobs

Dieses Paket enthält Benutzerprogramme zur Verwaltung der »Grid Engine«- Warteschlangen.

Die Software Grid Engine erleichtert die Verwaltung verteilter Ressourcen (distributed resource management, DRM). Weit mehr als nur einfache Werkzeuge zur Lastverteilung oder Mechanismen zur Batch-Planung, bietet DRM-Software typischerweise die folgenden Schlüsselfunktionen über große Gruppen verteilter Ressourcen:

• Auf Richtlinien basierende Zuweisung verteilter Ressourcen (CPU-Zeit, Software-Lizenzen, usw.)
• Planung von Batches & Verwaltung von Batch-Queues
• Unterstützung vielfältiger Server-Hardware, Betriebssysteme und Architekturen
• Lastausgleich & Ausführung von Aufträgen auf entfernten Rechnern
• Detaillierte, kontenbezogene Statistiken und Auftragsprotokolle
• Feinkörnige Verteilung nutzerspezifizierter Ressourcen
• Unterbrechung/Wiederaufnahme/Verlagerung von Aufgaben
• Statusinformationen von Aufgaben/Rechnern/Cluster
• Wiederholter Aufruf des gleichen Kommandos mit unterschiedlichen Parametern (Job-Arrays)
• Zusammenarbeit & Steuerung von parallelen Jobs

Dieses Paket enthält den »Grid Engine Execution Server«.

Die Software Grid Engine erleichtert die Verwaltung verteilter Ressourcen (distributed resource management, DRM). Weit mehr als nur einfache Werkzeuge zur Lastverteilung oder Mechanismen zur Batch-Planung, bietet DRM-Software typischerweise die folgenden Schlüsselfunktionen über große Gruppen verteilter Ressourcen:

• Auf Richtlinien basierende Zuweisung verteilter Ressourcen (CPU-Zeit, Software-Lizenzen, usw.)
• Planung von Batches & Verwaltung von Batch-Queues
• Unterstützung vielfältiger Server-Hardware, Betriebssysteme und Architekturen
• Lastausgleich & Ausführung von Aufträgen auf entfernten Rechnern
• Detaillierte, kontenbezogene Statistiken und Auftragsprotokolle
• Feinkörnige Verteilung nutzerspezifizierter Ressourcen
• Unterbrechung/Wiederaufnahme/Verlagerung von Aufgaben
• Statusinformationen von Aufgaben/Rechnern/Cluster
• Wiederholter Aufruf des gleichen Kommandos mit unterschiedlichen Parametern (Job-Arrays)
• Zusammenarbeit & Steuerung von parallelen Jobs

Dieses Paket enthält die Haupt-Steuerungsprozesse (master server).

Die Software Grid Engine erleichtert die Verwaltung verteilter Ressourcen (distributed resource management, DRM). Weit mehr als nur einfache Werkzeuge zur Lastverteilung oder Mechanismen zur Batch-Planung, bietet DRM-Software typischerweise die folgenden Schlüsselfunktionen über große Gruppen verteilter Ressourcen:

• Auf Richtlinien basierende Zuweisung verteilter Ressourcen (CPU-Zeit, Software-Lizenzen, usw.)
• Planung von Batches & Verwaltung von Batch-Queues
• Unterstützung vielfältiger Server-Hardware, Betriebssysteme und Architekturen
• Lastausgleich & Ausführung von Aufträgen auf entfernten Rechnern
• Detaillierte, kontenbezogene Statistiken und Auftragsprotokolle
• Feinkörnige Verteilung nutzerspezifizierter Ressourcen
• Unterbrechung/Wiederaufnahme/Verlagerung von Aufgaben
• Statusinformationen von Aufgaben/Rechnern/Cluster
• Wiederholter Aufruf des gleichen Kommandos mit unterschiedlichen Parametern (Job-Arrays)
• Zusammenarbeit & Steuerung von parallelen Jobs

Dieses Paket enthält das grafische Frontend zur Verwaltung der Grid Engine.

This package aids upgrades of existing htcondor installations to the package name "condor". The package is empty and it can safely be removed.

IPython kann als Ersatz zur Python-Standardshell oder, falls sie zusammen mit den wissenschaftlichen und numerischen Python-Werkzeugen genutzt wird, als vollständige Arbeitsumgebung für wissenschaftliches Rechnen (wie Matlab oder Mathematica) benutzt werden. Sie unterstützt dynamische Objektintrospektionen, nummerierte Eingabe-/Ausgabeprompts, ein Makrosystem, Protokollierung und Wiederherstellung von Sitzungen, vollständigen Shellzugriff auf das System, umfangreiche und farbige Traceback-Berichte, automatische Klammerung, automatische Anführungszeichen. Außerdem kann sie in andere Python-Programme integriert werden.

Dieses Paket enthält die eigentliche Terminal-Shell für Python 3.

MPICH is a high-performance and widely portable implementation of the MPI-3.1 standard from the Argonne National Laboratory. It efficiently supports different computation and communication platforms including commodity clusters, SMPs, massively parallel systems, and high-speed networks. This release has all MPI 3.1 functions and features required by the standard with the exception of support for the "external32" portable I/O format and user-defined data representations for I/O.

This package includes the program binaries necessary to run MPICH programs.

The package provides a python interpreter with MPI (Message Passing Interface, message-based parallel programming) support.

NorduGrid is a collaboration aiming at development, maintenance and support of the middleware, known as the Advanced Resource Connector (ARC).

This client package contains all the CLI tools that are needed to operate with x509 proxies, submit and manage jobs and handle data transfers.

Das Projekt Open MPI kombiniert Methoden und Ressourcen aus mehreren anderen Projekten (FT-MPI, LA-MPI, LAM/MPI und PACX-MPI), um die beste verfügbare MPI-Bibliothek (Message Passing Interface) zu verwirklichen. Als eine völlig neue, MPI-3.1-konforme Umsetzung bietet Open MPI Vorteile für System- und Software-Hersteller, Anwendungsentwickler und forschende Informatiker.

Merkmale:

• vollständig konform zum MPI-3.1-Standard
• Threadsicherheit und Nebenläufigkeit
• dynamische Erzeugung von Prozessen
• leistungsstark auf allen Plattformen
• zuverlässige und schnelle Job-Verwaltung
• tolerant gegenüber Netzwerk- und Prozessfehlern
• unterstützt heterogene Netzwerke
• eine einzelne Bibliothek unterstützt sämtliche Netzwerke
• Instrumentierung zur Laufzeit
• unterstützt viele Job-Scheduler
• internationalsierte Fehlermeldungen
• komponentenbasierter Entwurf, dokumentierte APIs

Dieses Paket enthält die Open-MPI-Dienstprogramme.

The package provides a python interpreter with MPI (Message Passing Interface, message-based parallel programming) support.

SCOOP (Scalable COncurrent Operations in Python) is a distributed task module allowing concurrent parallel programming on various environments, from heterogeneous grids to supercomputers.

This package contains the Python3 modules.

This is a collection of software that help users to share resources in a complex, heterogeneous, and unreliable computing environment. This includes:

• Chirp: A personal filesystem and I/O protocol that allows unprivileged users to share space securely, efficiently, and conveniently. When combined with Parrot, Chirp allows users to create custom wide-area distributed filesystems.
• Parrot: A transparent user-level virtual filesystem that allows any ordinary program to be attached to a remote storage device such as an FTP server or a Chirp server.
• Makeflow: A workflow system for parallel and distributed computing that uses a language very similar to Make.
• Work Queue: A system and API for building master-worker style programs that scale up to thousands of processors.
• All Pairs: A computational abstraction for running very large Cartesian products.
• Wavefront: A computational abstraction for running very large dynamic programming problems.
• The Fault Tolerant Shell: A high-level programming language that allows users to combine the ease of shell scripting, the power of distributed programming, and the precision of compiled languages. Basically, parallel programming and exception handling for scripts.

The High Performance Computing (HPC) Challenge benchmark runs a suite of 7 tests that measure the performance of CPU, memory and network for HPC clusters. Amongst others, it includes the High-Performance LINPACK (HPL) benchmark, used by the Top500 ranking (http://www.top500.org/).

This package brings parallel computing capabilities to Octave by providing a convenient interface to MPI primitives. This is achieved using simple MPI Derived Datatypes.

This Octave add-on package is part of the Octave-Forge project.

MPI for Python (mpi4py) provides bindings of the Message Passing Interface (MPI) standard for the Python programming language, allowing any Python program to exploit multiple processors.

mpi4py is constructed on top of the MPI-1/MPI-2 specification and provides an object oriented interface which closely follows MPI-2 C++ bindings. It supports point-to-point (sends, receives) and collective (broadcasts, scatters, gathers) communications of any picklable Python object as well as optimized communications of Python object exposing the single-segment buffer interface (NumPy arrays, builtin bytes/string/array objects).

PSOM is a lightweight library to manage complex multi-stage data processing. A pipeline is a collection of jobs, i.e. Matlab or Octave code with a well identified set of options that are using files for inputs and outputs. To use PSOM, the only requirement is to generate a description of a pipeline in the form of a simple Matlab/Octave structure. PSOM then automatically offers the following services:

• Run jobs in parallel using multiple CPUs or within a distributed computing environment.
• Generate log files and keep track of the pipeline execution. These logs are detailed enough to fully reproduce the analysis.
• Handle job failures: successful completion of jobs is checked and failed jobs can be restarted.
• Handle updates of the pipeline: change options or add jobs and let PSOM figure out what to reprocess.