Debian Science Distributed Computing packages

DMTCP (Distributed MultiThreaded Checkpointing) er et værktøj til transparent at kontrollere tilstanden på en arbitrær gruppe af programmer inklusiv flertrådet og distribueret beregninger. Programmet fungerer direkte på den kørbare binære fil for brugeren, uden nogen Linuxkernemoduler eller andre kerneændringer.

Blandt de understøttede programmer af DMTCP er OpenMPI, MATLAB, Python, Perl og mange programmeringssprog og skalskriptsprog. DMTCP understøtter også GNU-skærmsessioner, inklusiv vims/cscope og emacs. Med brugen af TightVNC kan den også kontrollere og genstarte X-vinduesprogrammer, så længe at de ikke bruger udvidelser (f.eks.: ingen OpenGL, ingen video).

Denne pakke indeholder binære filer for DMTCP.

Pakken Modules tilbyder den dynamiske modifikation af en brugers miljø via modulfiler. Hver modulfil indeholder informationen krævet for at konfigurere skallen for et program. Når først pakken Modules er initialiseret, så kan miljøet ændres dynamisk på et per modul-basis via kommandoen module, som fortolker modulfiler. Typiske modulfiler instruerer modulkommandoen til at ændre eller angive skalmiljøvariabler såsom PATH, MANPATH etc. Modulfiler kan deles af mange brugere på et system og brugere kan have deres egen samling som supplement eller erstatning for delte modulfiler. Modulernes miljø er udbredt på SGI/Crays og mange farme for arbejdsstationer.

Værktøjssættet Globus Toolkit er et åben kildetekst program, der bruges til at udvikle gridsystemer og -applikationer. Det udvikles af Globus Alliance og mange andre verden rundt. Et voksende antal projekter og virksomheder, anvender Globus Toolkit til at låse op for potentialet i gittersystemer (grids), til brug for deres formål.

Pakken globus-core er ikke længere krævet med Globus Toolkit 6. Denne overgangspakke tilbyder en tom pkg-config-fil til at opfylde afhængigheder under overgangen. Den kan fjernes, når den ikke længere er krævet.

Grid Engine er et program, som faciliterer »distribueret ressourcehåndtering« (DRM). Langt udover simple værktøjer for belastningsfordeling eller jobplanlægningsmekanismer tilbyder DRM-programmer de følgende nøglefunktioner over mange slags distribuerede ressourcer:

• Politikbaseret allokering af distribuerede ressourcer (CPU-tid, softwarelicenser etc.)
• Jobkø og -planlægning
• Understøttelse af forskellig serverprogrammel, operativsystemer og arkitekturer
• Belastningsfordeling og udførsel af eksterne job
• Detaljeret statistik over job
• Finkornede brugerspecifikke ressourcer
• Hvile/genoptag/migrer job
• Værktøjer for rapportering af status for job/vært/kluster
• Jobopdelinger
• Integration og kontrol af parallelle job

Denne pakke indeholder brugerredskaber for Grid Engine.

Grid Engine er et program, som faciliterer »distribueret ressourcehåndtering« (DRM). Langt udover simple værktøjer for belastningsfordeling eller jobplanlægningsmekanismer tilbyder DRM-programmer de følgende nøglefunktioner over mange slags distribuerede ressourcer:

• Politikbaseret allokering af distribuerede ressourcer (CPU-tid, softwarelicenser etc.)
• Jobkø og -planlægning
• Understøttelse af forskellig serverprogrammel, operativsystemer og arkitekturer
• Belastningsfordeling og udførsel af eksterne job
• Detaljeret statistik over job
• Finkornede brugerspecifikke ressourcer
• Hvile/genoptag/migrer job
• Værktøjer for rapportering af status for job/vært/kluster
• Jobopdelinger
• Integration og kontrol af parallelle job

Denne pakke indeholder kørselsserveren for Grid Engine.

Grid Engine er et program, som faciliterer »distribueret ressourcehåndtering« (DRM). Langt udover simple værktøjer for belastningsfordeling eller jobplanlægningsmekanismer tilbyder DRM-programmer de følgende nøglefunktioner over mange slags distribuerede ressourcer:

• Politikbaseret allokering af distribuerede ressourcer (CPU-tid, softwarelicenser etc.)
• Jobkø og -planlægning
• Understøttelse af forskellig serverprogrammel, operativsystemer og arkitekturer
• Belastningsfordeling og udførsel af eksterne job
• Detaljeret statistik over job
• Finkornede brugerspecifikke ressourcer
• Hvile/genoptag/migrer job
• Værktøjer for rapportering af status for job/vært/kluster
• Jobopdelinger
• Integration og kontrol af parallelle job

Denne pakke indeholder Grid Engine-masterserveren.

Grid Engine er et program, som faciliterer »distribueret ressourcehåndtering« (DRM). Langt udover simple værktøjer for belastningsfordeling eller jobplanlægningsmekanismer tilbyder DRM-programmer de følgende nøglefunktioner over mange slags distribuerede ressourcer:

• Politikbaseret allokering af distribuerede ressourcer (CPU-tid, softwarelicenser etc.)
• Jobkø og -planlægning
• Understøttelse af forskellig serverprogrammel, operativsystemer og arkitekturer
• Belastningsfordeling og udførsel af eksterne job
• Detaljeret statistik over job
• Finkornede brugerspecifikke ressourcer
• Hvile/genoptag/migrer job
• Værktøjer for rapportering af status for job/vært/kluster
• Jobopdelinger
• Integration og kontrol af parallelle job

Denne pakke indeholder den grafiske Grid Engine-administrationsbrugerflade.

Denne pakke hjælper med opgraderinger af eksisterende htcondor-installationer til pakken med navnet »condor«. Pakken er tom og kan fjernes.

IPython kan bruges som en erstatning for standardskallen for Python, eller den kan bruges som et fuldstændig arbejdsmiljø for videnskabelig beregning (såsom Matlab eller Mathematica) når parret med de videnskabelige og numeriske standardværktøjer for Python. Pakken understøtter dynamiske objektintrospektioner, nummererede input/output prompter, et makrosystem, sessionslogning, gendannelse af session, fuldstændig skaladgang for systemet, uddybende og farvelagte sporingsrapporter, automatiske parenteser, automatisk citation og er indlejret i andre Pythonprogrammer.

Denne pakke indeholder den faktiske terminalskal for Python 3.

MPICH er en højtydende og meget mobil implementering af standarden MPI-3.1 fra Argonne National Laboratory. Den understøtter effektivt forskellige beregnings- og kommunikationsplatforme inklusive klynger af forbrugerelektronik, SMP'er, massive parallelle systemer og højhastighedsnetværk. Denne udgivelse har alle MPI 3.1-funktioner kræver af standarden med undtagelse af understøttelse for »external32« flytbart I/O-format og brugerdefinerede datarepræsentationer for I/O.

Denne pakke indeholder programmets binære filer nødvendige for at afvikle MPICH-programmer.

Denne pakke tilbyder en Pythonfortolker med MPI-understøttelse (Message Passing Interface, beskedbaseret parallel programmering).

NorduGrid er et samarbejde der forsøger at udvikle, vedligeholde og understøtte middlewaren, kendt som Advanced Resource Connector (ARC).

Denne klientpakke indeholder alle CLI-værktøjerne, der er krævet for at operere med x509-proxier, indsende og håndtere job og håndtere dataoverførsler.

Open MPI er et projekt, der kombinerer teknologier og ressourcer fra flere andre projekter (FT-MPI, LA-MPI, LAM/MPI og PACX-MPI) for at bygge det bedste tilgængelige MPI-bibliotek. En fuldstændig ny implementering der overholder MPI-3.1. Open MPI tilbyder fordele for system- og softwareleverandører, programudviklere og computervidenskabsforskere.

Funktioner:

• Fuld overholdelse af MPI-3.1-standarder
• Trådsikker og samtidighed
• Dynamisk procesdeling
• Høj ydelse på alle platforme
• Troværdig og fast jobhåndtering
• Understøtter netværksheterogenitet
• Et bibliotek understøtter alle netværk
• Kørselstids instrumentation
• Mange jobplanlæggere er understøttet
• Internationaliserede fejlbeskeder
• Komponentbaseret design, dokumenterede API'er

Denne pakke indeholder redskabsprogrammerne for Open MPI.

Denne pakke tilbyder en Pythonfortolker med MPI-understøttelse (Message Passing Interface, beskedbaseret parallel programmering).

SCOOP (Scalable COncurrent Operations in Python) is a distributed task module allowing concurrent parallel programming on various environments, from heterogeneous grids to supercomputers.

This package contains the Python3 modules.

Dette er en samling af programmer, som hjælper brugerne med at dele ressourcer i en kompleks, heterogent og utroværdigt computermiljø. Dette inkluderer:

• Chirp: Et personligt filsystem og I/O-protokol som giver upriviligerede brugere adgang til at dele plads sikkert, effektivt og bekvemt. Når kombineret med Parrot giver Chirp mulighed for, at brugerne kan oprette tilpassede wide-area distribuerede filsystemer.
• Parrot: Et gennemsigtigt virtuel filsystem på brugerniveau som tillader at alle normale programmer vedhæftes til eksterne lagerenheder såsom en FTP-server eller en Chirp-server.
• Makeflow: Et system for arbejdsforløb for parallel og distribueret beregning som bruger et sprog meget lig Make.
• Work Queue: Et system og en API for bygning af mesterstilprogrammer som skalerer op til tusindvis af processorer.
• All Pairs: En beregningsmæssig abstraktion for kørsel af meget store kartesianske produkter.
• Wavefront: En beregningsmæssig abstraktion for kørsel af meget store dynamiske programmeringsproblemer.
• The Fault Tolerant Shell: Et programmeringssprog på højt niveau som giver brugere mulighed for at kombinere nemheden ved skalskripter, kraften i distribueret programmering og præcisionen i kompilerede sprog. Grundlæggende, parallel programmering og undtagelseshåndtering for skripter.

High Performance Computing (HPC) Challenge benchmark kører en programpakke med 7 test, som måler ydelsen for CPU, hukommelse og netværk for HPC- klynger. Blandt andet er Performance LINPACK (HPL) benchmark inkluderet, brugt af Top500 ranking (http://www.top500.org/).

Denne pakke bringer parallelle beregningsfunktioner til Octave ved at tilbyde en nem grænseflade til MPI-primitiver. Dette opnås via simple MPI-afledte datatyper.

Denne Octave-udvidelsespakke er en del af projektet Octave-Forge.

MPI for Python (mpi4py) tilbyder bindinger for Message Parssing Interface-standarden (MPI) for programmeringssproget Python, så ethvert Pythonprogram kan udnytte flere processorer.

Mpi4py er konstrueret oven på MPI-1/MPI-2-specifikationen og tilbyder en objektorienteret grænseflade, som tæt følger MPI-2 C++-bindingerne. Understøtter punkt til punkt (sender, modtager) og kollektive (broadcasts, scatters, gathers) kommunikationer for ethvert valgbart Pythonobjekt samt som optimerede kommunikationer af Pythonobjekt, der viser enkelt-segment mellemlagergrænsefladen (NumPy-tabeller, indbyggede byte/streng/tabel objekter).

PSOM is a lightweight library to manage complex multi-stage data processing. A pipeline is a collection of jobs, i.e. Matlab or Octave code with a well identified set of options that are using files for inputs and outputs. To use PSOM, the only requirement is to generate a description of a pipeline in the form of a simple Matlab/Octave structure. PSOM then automatically offers the following services:

• Run jobs in parallel using multiple CPUs or within a distributed computing environment.
• Generate log files and keep track of the pipeline execution. These logs are detailed enough to fully reproduce the analysis.
• Handle job failures: successful completion of jobs is checked and failed jobs can be restarted.
• Handle updates of the pipeline: change options or add jobs and let PSOM figure out what to reprocess.