Debian Science Distributed Computing packages

DMTCP (Distributed MultiThreaded Checkpointing, punti di controllo multithread distribuiti) è uno strumento per mettere, in modo trasparente, punti di controllo allo stato di un gruppo arbitrario di programmi incluse elaborazioni distribuite e multithread. Opera direttamente sull'eseguibile binario dell'utente, senza l'uso di moduli del kernel Linux * altre modifiche al kernel.

Tra le applicazioni che DMTCP gestisce ci sono Open MPI, MATLAB, Python, Perl e molti linguaggi di programmazione e linguaggi di script per la shell. DMTCP gestisce anche le sessioni di GNU screen, con inclusi vim/cscope ed Emacs. Con l'uso di TightVNC può anche mettere punti di controllo e riavviare applicazioni di X Window, a patto che queste non usino estensioni (ad esempio: senza OpenGL e video).

Questo pacchetto contiene i binari di DMTCP.

Il pacchetto Modules fornisce la possibilità di modificare dinamicamente l'ambiente di un utente attraverso modulefile. Ogni modulefile contiene le informazioni necessarie per configurare la shell per un'applicazione. Una volta che il pacchetto Modules è inizializzato, l'ambiente può essere modificato dinamicamente per ciascun modulo, usando il comando module che interpreta i modulefile. Tipicamente i modulefile dicono al comando module come modificare o impostare le variabili d'ambiente della shell come PATH, MANPATH, ecc. I modulefile possono essere condivisi da più utenti sul sistema e gli utenti possono avere la propria raccolta per integrare o sostituire i modulefile condivisi. L'ambiente modules è comune su molti sistemi SGI/Cray e insiemi di workstation.

Il toolkit Globus è un insieme di strumenti software open source usati per costruire sistemi e applicazioni Grid. Viene sviluppato dalla Globus Alliance e da molti altri in tutto il mondo. Un numero crescente di progetti e aziende fanno uso del Globus Toolkit per rendere disponibili le potenzialità delle griglie a proprio vantaggio.

Il pacchetto glubus-core non è più necessario con Globus Toolkit 6. Questo pacchetto di transizione fornisce un file pkg-config fittizio per soddisfare le dipendenze durante la transizione. Può essere rimosso quando non è più necessario.

Grid Engine è un software che facilita la "gestione di risorse distribuite" (DRM, distributed resource management). Il software DRM è ben più di semplici strumenti per il bilancio del carico o meccanismi di schedulazione in blocco e tipicamente fornisce le seguenti funzionalità chiave per vasti insiemi di risorse distribuite:

• allocazione delle risorse distribuite (tempo CPU, licenze software, ecc.) basata su politiche;
• inserimento in coda e pianificazione in blocco;
• gestione di diversi hardware server, SO e architetture;
• bilanciamento del carico e esecuzione di compiti in remoto;
• statistiche dettagliate di contabilizzazione dei compiti;
• risorse specificabili dall'utente in modo finemente granulare;
• sospensione, ripresa e migrazione di compiti;
• strumenti per riportare lo stato di compiti, host e cluster;
• array di compiti;
• integrazione e controllo di compiti paralleli.

Questo pacchetto contiene le utilità utente di Grid Engine.

Grid Engine è un software che facilita la "gestione di risorse distribuite" (DRM, distributed resource management). Il software DRM è ben più di semplici strumenti per il bilancio del carico o meccanismi di schedulazione in blocco e tipicamente fornisce le seguenti funzionalità chiave per vasti insiemi di risorse distribuite:

• allocazione delle risorse distribuite (tempo CPU, licenze software, ecc.) basata su politiche;
• inserimento in coda e pianificazione in blocco;
• gestione di diversi hardware server, SO e architetture;
• bilanciamento del carico e esecuzione di compiti in remoto;
• statistiche dettagliate di contabilizzazione dei compiti;
• risorse specificabili dall'utente in modo finemente granulare;
• sospensione, ripresa e migrazione di compiti;
• strumenti per riportare lo stato di compiti, host e cluster;
• array di compiti;
• integrazione e controllo di compiti paralleli.

Questo pacchetto contiene il server di esecuzione di Grid Engine.

Grid Engine è un software che facilita la "gestione di risorse distribuite" (DRM, distributed resource management). Il software DRM è ben più di semplici strumenti per il bilancio del carico o meccanismi di schedulazione in blocco e tipicamente fornisce le seguenti funzionalità chiave per vasti insiemi di risorse distribuite:

• allocazione delle risorse distribuite (tempo CPU, licenze software, ecc.) basata su politiche;
• inserimento in coda e pianificazione in blocco;
• gestione di diversi hardware server, SO e architetture;
• bilanciamento del carico e esecuzione di compiti in remoto;
• statistiche dettagliate di contabilizzazione dei compiti;
• risorse specificabili dall'utente in modo finemente granulare;
• sospensione, ripresa e migrazione di compiti;
• strumenti per riportare lo stato di compiti, host e cluster;
• array di compiti;
• integrazione e controllo di compiti paralleli.

Questo pacchetto contiene il server master Grid Engine.

Grid Engine è un software che facilita la "gestione di risorse distribuite" (DRM, distributed resource management). Il software DRM è ben più di semplici strumenti per il bilancio del carico o meccanismi di schedulazione in blocco e tipicamente fornisce le seguenti funzionalità chiave per vasti insiemi di risorse distribuite:

• allocazione delle risorse distribuite (tempo CPU, licenze software, ecc.) basata su politiche;
• inserimento in coda e pianificazione in blocco;
• gestione di diversi hardware server, SO e architetture;
• bilanciamento del carico e esecuzione di compiti in remoto;
• statistiche dettagliate di contabilizzazione dei compiti;
• risorse specificabili dall'utente in modo finemente granulare;
• sospensione, ripresa e migrazione di compiti;
• strumenti per riportare lo stato di compiti, host e cluster;
• array di compiti;
• integrazione e controllo di compiti paralleli.

Questo pacchetto contiene il frontend grafico per l'amministrazione di Grid Engine.

Questo pacchetto aiuta ad aggiornare le installazioni esistenti di htcondor al nuovo nome di pacchetto "condor". Il pacchetto è vuoto e può essere rimosso senza problemi.

IPython può essere usata come sostituto della shell Python standard, oppure può essere usata come un ambiente di lavoro completo per calcoli scientifici (come Matlab o Mathematica) se accoppiata con gli strumenti scientifici e numerici standard di Python. Supporta l'introspezione degli oggetti dinamici, prompt di input/output numerati, un sistema per macro, la registrazione della sessione, il ripristino della sessione, l'accesso completo alla shell di sistema, rapporti di esecuzione completi e colorati, parentesi automatiche, auto-citazione ed è inseribile all'interno di altri programmi Python.

Questo pacchetto contiene l'effettiva shell in terminale per Python 3.

MPICH is a high-performance and widely portable implementation of the MPI-3.1 standard from the Argonne National Laboratory. It efficiently supports different computation and communication platforms including commodity clusters, SMPs, massively parallel systems, and high-speed networks. This release has all MPI 3.1 functions and features required by the standard with the exception of support for the "external32" portable I/O format and user-defined data representations for I/O.

This package includes the program binaries necessary to run MPICH programs.

Il pacchetto fornisce un interprete Python con MPI (Message Passing Interface, programmazione parallela basata su messaggi).

NorduGrid è una collaborazione che ha come fine lo sviluppo, la manutenzione e la gestione del middleware, conosciuto come ARC (Advanced Resource Connector - connettore di risorse avanzato).

Questo pacchetto client contiene tutti gli strumenti CLI che sono necessari per funzionare con proxy x509, inviare e gestire compiti, e gestire trasferimenti di dati.

Open MPI è un progetto che combina tecnologie e risorse da parecchi altri progetti (FT-MPI, LA-MPI, LAM/MPI e PACX-MPI) per poter costruire la miglior libreria MPI disponibile. Open MPI è un'implementazione conforme con MPI-3.1 completamente nuova e offre vantaggi per venditori di sistemi e di software, sviluppatori di applicazioni e ricercatori nel campo dell'informatica.

Funzionalità:

• piena conformità agli standard MPI-3.1;
• sicurezza e concorrenza dei thread;
• creazione dinamica dei processi;
• alte prestazioni su tutte le piattaforme;
• gestione dei compiti affidabile e veloce;
• tolleranza agli errori della rete e dei processi;
• gestione dell'eterogeneità di rete;
• una sola libreria gestisce tutte le reti;
• strumentazione in fase di esecuzione;
• supporta diversi schedulatori di compiti;
• messaggi di errore internazionalizzati;
• progettazione basata su componenti, API documentate.

Questo pacchetto contiene i programmi di utilità di Open MPI.

Il pacchetto fornisce un interprete Python con MPI (Message Passing Interface, programmazione parallela basata su messaggi).

SCOOP (Scalable COncurrent Operations in Python) è un modulo per compiti distribuiti che permette la programmazione parallela concorrente in vari ambienti, dalle griglie eterogenee ai supercomputer.

Il pacchetto contiene i moduli Python 3.

Questa è una raccolta di software che aiuta gli utenti a condividere risorse in un ambiente di calcolo complesso, eterogeneo e inaffidabile. Include:

• Chirp: un file system personale e un protocollo di I/O che permette a utenti non privilegiati di condividere spazio in maniera sicura, efficiente e comoda; combinato con Parrot, Chirp permette agli utenti di creare file system personalizzati distribuiti su area vasta;
• Parrot: un file system virtuale, a livello utente e trasparente che permette a qualsiasi programma ordinario di collegarsi a un device remoto di memorizzazione come un server FTP o un server Chirp;
• Makeflow: un sistema di flusso di lavoro per calcolo parallelo e distribuito che usa un linguaggio molto simile a Make;
• Work Queue: un sistema e un'API per costruire programmi in stile master-worker che scalano fino a migliaia di processori;
• All Pairs: un'astrazione computazionale per eseguire prodotti cartesiani molto grandi;
• Wavefront: un'astrazione computazionale per eseguire problemi molto grandi di programmazione dinamica;
• The Fault Tolerant Shell: un linguaggio di programmazione di alto livello che permette agli utenti di unire la facilità degli script della shell, la potenza della programmazione distribuita e la precisione dei linguaggi compilati. Praticamente, programmazione parallela e gestione delle eccezioni per gli script.

Il benchmark High Performance Computing (HPC) Challenge esegue una suite di 7 test che misurano le prestazioni di CPU, memoria e rete per cluster HPC. Include, tra le altre cose, il benchmark High-Performance LINPACK (HPL) utilizzato dalla classifica Top500 (http://www.top500.org/).

Questo pacchetto porta in Octave le funzionalità di calcolo parallelo fornendo un'interfaccia comoda alle primitive MPI. Ciò viene ottenuto usando semplici tipi di dati derivati da MPI.

Questo pacchetto di componenti aggiuntivi di Octave fa parte del progetto Octave-Forge.

MPI per Python (mpi4py) fornisce collegamenti allo standard MPI (Message Passing Interface) per il linguaggio di programmazione Python, permettendo a qualsiasi programma Python di sfruttare processori multipli.

mpi4py è costruito sulla base della specifica MPI-1/MPI-2 e fornisce un'interfaccia orientata agli oggetti che segue da vicino i collegamenti C++ per MPI-2. Gestisce comunicazioni punto-a-punto (invio, ricezione) e collettive (broadcast, scatter, gather) di qualsiasi oggetto Python di cui si può fare il pickle, oltre a comunicazioni ottimizzate di oggetti Python che espongono l'interfaccia buffer a singolo segmento (array NumPy, oggetti incorporati per byte/stringhe/array).

PSOM is a lightweight library to manage complex multi-stage data processing. A pipeline is a collection of jobs, i.e. Matlab or Octave code with a well identified set of options that are using files for inputs and outputs. To use PSOM, the only requirement is to generate a description of a pipeline in the form of a simple Matlab/Octave structure. PSOM then automatically offers the following services:

• Run jobs in parallel using multiple CPUs or within a distributed computing environment.
• Generate log files and keep track of the pipeline execution. These logs are detailed enough to fully reproduce the analysis.
• Handle job failures: successful completion of jobs is checked and failed jobs can be restarted.
• Handle updates of the pipeline: change options or add jobs and let PSOM figure out what to reprocess.