Debian Science Project
Summary
Distributed Computing
pacchetti Debian Science per l'elaborazione distribuita

Questo metapacchetto installa i pacchetti di Debian Science utili per diversi tipi di elaborazione distribuita, come elaborazione grid, cloud, cluster e parallela.

Description

For a better overview of the project's availability as a Debian package, each head row has a color code according to this scheme:

If you discover a project which looks like a good candidate for Debian Science to you, or if you have prepared an unofficial Debian package, please do not hesitate to send a description of that project to the Debian Science mailing list

Links to other tasks

Debian Science Distributed Computing packages

Official Debian packages with high relevance

environment-modules
sistema modulare per gestire variabili d'ambiente
Maintainer: Alastair McKinstry
Versions of package environment-modules
ReleaseVersionArchitectures
bookworm5.2.0-1amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
sid5.6.0-1amd64,arm64,armel,armhf,i386,mips64el,ppc64el,riscv64,s390x
bullseye4.6.1-1amd64,arm64,armhf,i386
forky5.6.0-1amd64,arm64,armhf,i386,ppc64el,riscv64,s390x
trixie5.5.0-1amd64,arm64,armel,armhf,i386,ppc64el,riscv64,s390x
Popcon: 57 users (256 upd.)*
Versions and Archs
License: DFSG free
Git

Il pacchetto Modules fornisce la possibilità di modificare dinamicamente l'ambiente di un utente attraverso modulefile. Ogni modulefile contiene le informazioni necessarie per configurare la shell per un'applicazione. Una volta che il pacchetto Modules è inizializzato, l'ambiente può essere modificato dinamicamente per ciascun modulo, usando il comando module che interpreta i modulefile. Tipicamente i modulefile dicono al comando module come modificare o impostare le variabili d'ambiente della shell come PATH, MANPATH, ecc. I modulefile possono essere condivisi da più utenti sul sistema e gli utenti possono avere la propria raccolta per integrare o sostituire i modulefile condivisi. L'ambiente modules è comune su molti sistemi SGI/Cray e insiemi di workstation.

gridengine-client
utilità per la gestione di code di Grid Engine
Versions of package gridengine-client
ReleaseVersionArchitectures
bullseye8.1.9+dfsg-9.1amd64,arm64,armhf,i386
forky8.1.9+dfsg-13.1amd64,arm64,armhf,i386,ppc64el,riscv64,s390x
trixie8.1.9+dfsg-13.1amd64,arm64,armel,armhf,i386,ppc64el,riscv64,s390x
sid8.1.9+dfsg-13.1amd64,arm64,armel,armhf,i386,mips64el,ppc64el,riscv64,s390x
bookworm8.1.9+dfsg-10amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
Debtags of package gridengine-client:
roleprogram
Popcon: 64 users (2 upd.)*
Versions and Archs
License: DFSG free
Git

Grid Engine è un software che facilita la "gestione di risorse distribuite" (DRM, distributed resource management). Il software DRM è ben più di semplici strumenti per il bilancio del carico o meccanismi di schedulazione in blocco e tipicamente fornisce le seguenti funzionalità chiave per vasti insiemi di risorse distribuite:

  • allocazione delle risorse distribuite (tempo CPU, licenze software, ecc.) basata su politiche;
  • inserimento in coda e pianificazione in blocco;
  • gestione di diversi hardware server, SO e architetture;
  • bilanciamento del carico e esecuzione di compiti in remoto;
  • statistiche dettagliate di contabilizzazione dei compiti;
  • risorse specificabili dall'utente in modo finemente granulare;
  • sospensione, ripresa e migrazione di compiti;
  • strumenti per riportare lo stato di compiti, host e cluster;
  • array di compiti;
  • integrazione e controllo di compiti paralleli.

Questo pacchetto contiene le utilità utente di Grid Engine.

gridengine-exec
gestione di risorse distribuite - server di esecuzione
Versions of package gridengine-exec
ReleaseVersionArchitectures
sid8.1.9+dfsg-13.1amd64,arm64,armel,armhf,i386,mips64el,ppc64el,riscv64,s390x
forky8.1.9+dfsg-13.1amd64,arm64,armhf,i386,ppc64el,riscv64,s390x
bullseye8.1.9+dfsg-9.1amd64,arm64,armhf,i386
trixie8.1.9+dfsg-13.1amd64,arm64,armel,armhf,i386,ppc64el,riscv64,s390x
bookworm8.1.9+dfsg-10amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
Debtags of package gridengine-exec:
roleprogram
Popcon: 54 users (1 upd.)*
Versions and Archs
License: DFSG free
Git

Grid Engine è un software che facilita la "gestione di risorse distribuite" (DRM, distributed resource management). Il software DRM è ben più di semplici strumenti per il bilancio del carico o meccanismi di schedulazione in blocco e tipicamente fornisce le seguenti funzionalità chiave per vasti insiemi di risorse distribuite:

  • allocazione delle risorse distribuite (tempo CPU, licenze software, ecc.) basata su politiche;
  • inserimento in coda e pianificazione in blocco;
  • gestione di diversi hardware server, SO e architetture;
  • bilanciamento del carico e esecuzione di compiti in remoto;
  • statistiche dettagliate di contabilizzazione dei compiti;
  • risorse specificabili dall'utente in modo finemente granulare;
  • sospensione, ripresa e migrazione di compiti;
  • strumenti per riportare lo stato di compiti, host e cluster;
  • array di compiti;
  • integrazione e controllo di compiti paralleli.

Questo pacchetto contiene il server di esecuzione di Grid Engine.

gridengine-master
gestione di risorse distribuite - Master Server
Versions of package gridengine-master
ReleaseVersionArchitectures
trixie8.1.9+dfsg-13.1amd64,arm64,armel,armhf,i386,ppc64el,riscv64,s390x
bullseye8.1.9+dfsg-9.1amd64,arm64,armhf,i386
bookworm8.1.9+dfsg-10amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
forky8.1.9+dfsg-13.1amd64,arm64,armhf,i386,ppc64el,riscv64,s390x
sid8.1.9+dfsg-13.1amd64,arm64,armel,armhf,i386,mips64el,ppc64el,riscv64,s390x
Popcon: 24 users (1 upd.)*
Versions and Archs
License: DFSG free
Git

Grid Engine è un software che facilita la "gestione di risorse distribuite" (DRM, distributed resource management). Il software DRM è ben più di semplici strumenti per il bilancio del carico o meccanismi di schedulazione in blocco e tipicamente fornisce le seguenti funzionalità chiave per vasti insiemi di risorse distribuite:

  • allocazione delle risorse distribuite (tempo CPU, licenze software, ecc.) basata su politiche;
  • inserimento in coda e pianificazione in blocco;
  • gestione di diversi hardware server, SO e architetture;
  • bilanciamento del carico e esecuzione di compiti in remoto;
  • statistiche dettagliate di contabilizzazione dei compiti;
  • risorse specificabili dall'utente in modo finemente granulare;
  • sospensione, ripresa e migrazione di compiti;
  • strumenti per riportare lo stato di compiti, host e cluster;
  • array di compiti;
  • integrazione e controllo di compiti paralleli.

Questo pacchetto contiene il server master Grid Engine.

gridengine-qmon
utilità grafiche per la gestione della coda di Grid Engine
Versions of package gridengine-qmon
ReleaseVersionArchitectures
trixie8.1.9+dfsg-13.1amd64,arm64,armel,armhf,i386,ppc64el,riscv64,s390x
sid8.1.9+dfsg-13.1amd64,arm64,armel,armhf,i386,mips64el,ppc64el,riscv64,s390x
forky8.1.9+dfsg-13.1amd64,arm64,armhf,i386,ppc64el,riscv64,s390x
bookworm8.1.9+dfsg-10amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
bullseye8.1.9+dfsg-9.1amd64,arm64,armhf,i386
Debtags of package gridengine-qmon:
uitoolkitmotif
Popcon: 14 users (3 upd.)*
Versions and Archs
License: DFSG free
Git

Grid Engine è un software che facilita la "gestione di risorse distribuite" (DRM, distributed resource management). Il software DRM è ben più di semplici strumenti per il bilancio del carico o meccanismi di schedulazione in blocco e tipicamente fornisce le seguenti funzionalità chiave per vasti insiemi di risorse distribuite:

  • allocazione delle risorse distribuite (tempo CPU, licenze software, ecc.) basata su politiche;
  • inserimento in coda e pianificazione in blocco;
  • gestione di diversi hardware server, SO e architetture;
  • bilanciamento del carico e esecuzione di compiti in remoto;
  • statistiche dettagliate di contabilizzazione dei compiti;
  • risorse specificabili dall'utente in modo finemente granulare;
  • sospensione, ripresa e migrazione di compiti;
  • strumenti per riportare lo stato di compiti, host e cluster;
  • array di compiti;
  • integrazione e controllo di compiti paralleli.

Questo pacchetto contiene il frontend grafico per l'amministrazione di Grid Engine.

htcondor
pacchetto fittizio di transizione
Versions of package htcondor
ReleaseVersionArchitectures
sid23.9.6+dfsg-2.1amd64,arm64,armel,armhf,i386,mips64el,ppc64el,riscv64,s390x
forky23.9.6+dfsg-2.1amd64,arm64,armhf,i386,ppc64el,riscv64,s390x
trixie23.9.6+dfsg-2.1amd64,arm64,armel,armhf,i386,ppc64el,riscv64,s390x
upstream24.12.4
Popcon: 82 users (0 upd.)*
Newer upstream!
License: DFSG free
Git

Questo pacchetto aiuta ad aggiornare le installazioni esistenti di htcondor al nuovo nome di pacchetto "condor". Il pacchetto è vuoto e può essere rimosso senza problemi.

Please cite: Michael Litzkow, Miron Livny and Matt Mutka: Condor - A Hunter of Idle Workstations (eprint) Proceedings of the 8th International Conference of Distributed Computing Systems :104-111 (1988)
ipython3
shell Python 3 interattiva migliorata
Versions of package ipython3
ReleaseVersionArchitectures
bullseye7.20.0-1+deb11u1all
bookworm8.5.0-4all
sid8.35.0-2all
forky8.35.0-2all
trixie8.35.0-1all
bullseye-security7.20.0-1+deb11u1all
upstream9.5.0
Popcon: 1494 users (998 upd.)*
Newer upstream!
License: DFSG free
Git

IPython può essere usata come sostituto della shell Python standard, oppure può essere usata come un ambiente di lavoro completo per calcoli scientifici (come Matlab o Mathematica) se accoppiata con gli strumenti scientifici e numerici standard di Python. Supporta l'introspezione degli oggetti dinamici, prompt di input/output numerati, un sistema per macro, la registrazione della sessione, il ripristino della sessione, l'accesso completo alla shell di sistema, rapporti di esecuzione completi e colorati, parentesi automatiche, auto-citazione ed è inseribile all'interno di altri programmi Python.

Questo pacchetto contiene l'effettiva shell in terminale per Python 3.

The package is enhanced by the following packages: isympy3 python3-matplotlib python3-sympy
Screenshots of package ipython3
mpich
??? missing short description for package mpich :-(
Versions of package mpich
ReleaseVersionArchitectures
sid4.3.1-3amd64,arm64,armel,armhf,i386,mips64el,ppc64el,riscv64,s390x
forky4.3.0+really4.2.1-1amd64,arm64,armhf,i386,ppc64el,riscv64,s390x
trixie4.3.0+really4.2.1-1amd64,arm64,armel,armhf,i386,ppc64el,riscv64,s390x
bookworm4.0.2-3amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
bullseye3.4.1-5~deb11u1amd64,arm64,armhf,i386
upstream4.3.2rc1
Debtags of package mpich:
adminbenchmarking, monitoring
networkhiavailability, load-balancing, scanner
scopeutility
usetransmission
Popcon: 89 users (220 upd.)*
Newer upstream!
License: DFSG free
Git
nordugrid-arc-client
client a riga di comando per ARC
Maintainer: Mattias Ellert
Versions of package nordugrid-arc-client
ReleaseVersionArchitectures
bullseye6.10.2-1amd64,arm64,armhf,i386
sid7.1.0-1amd64,arm64,armel,armhf,i386,mips64el,ppc64el,riscv64,s390x
forky7.1.0-1amd64,arm64,armhf,i386,ppc64el,riscv64,s390x
trixie7.0.0-3amd64,arm64,armel,armhf,i386,ppc64el,riscv64,s390x
bookworm6.17.0-3amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
Popcon: 22 users (154 upd.)*
Versions and Archs
License: DFSG free
Git

NorduGrid è una collaborazione che ha come fine lo sviluppo, la manutenzione e la gestione del middleware, conosciuto come ARC (Advanced Resource Connector - connettore di risorse avanzato).

Questo pacchetto client contiene tutti gli strumenti CLI che sono necessari per funzionare con proxy x509, inviare e gestire compiti, e gestire trasferimenti di dati.

openmpi-bin
libreria per il passaggio di messaggi dalle alte prestazioni -- binari
Versions of package openmpi-bin
ReleaseVersionArchitectures
trixie5.0.7-1amd64,arm64,ppc64el,riscv64,s390x
bullseye4.1.0-10amd64,arm64,armhf,i386
bookworm4.1.4-3amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
sid5.0.8-10amd64,arm64,mips64el,ppc64el,riscv64,s390x
forky5.0.8-10amd64,arm64,ppc64el,riscv64,s390x
Debtags of package openmpi-bin:
admincluster
fieldbiology, chemistry, mathematics, physics
interfacecommandline
roleprogram
scopeutility
Popcon: 953 users (1088 upd.)*
Versions and Archs
License: DFSG free
Git

Open MPI è un progetto che combina tecnologie e risorse da parecchi altri progetti (FT-MPI, LA-MPI, LAM/MPI e PACX-MPI) per poter costruire la miglior libreria MPI disponibile. Open MPI è un'implementazione conforme con MPI-3.1 completamente nuova e offre vantaggi per venditori di sistemi e di software, sviluppatori di applicazioni e ricercatori nel campo dell'informatica.

Funzionalità:

  • piena conformità agli standard MPI-3.1;
  • sicurezza e concorrenza dei thread;
  • creazione dinamica dei processi;
  • alte prestazioni su tutte le piattaforme;
  • gestione dei compiti affidabile e veloce;
  • tolleranza agli errori della rete e dei processi;
  • gestione dell'eterogeneità di rete;
  • una sola libreria gestisce tutte le reti;
  • strumentazione in fase di esecuzione;
  • supporta diversi schedulatori di compiti;
  • messaggi di errore internazionalizzati;
  • progettazione basata su componenti, API documentate.

Questo pacchetto contiene i programmi di utilità di Open MPI.

python3-scoop
libreria Python 3 per programmazione parallela concorrente
Versions of package python3-scoop
ReleaseVersionArchitectures
bullseye0.7.1.1-7all
Popcon: 0 users (0 upd.)*
Versions and Archs
License: DFSG free
Git

SCOOP (Scalable COncurrent Operations in Python) è un modulo per compiti distribuiti che permette la programmazione parallela concorrente in vari ambienti, dalle griglie eterogenee ai supercomputer.

Il pacchetto contiene i moduli Python 3.

Official Debian packages with lower relevance

coop-computing-tools
strumenti per calcolo cooperativo
Maintainer: Alastair McKinstry
Versions of package coop-computing-tools
ReleaseVersionArchitectures
sid7.14.5-1amd64,arm64,armel,armhf,i386,mips64el,ppc64el,riscv64,s390x
bookworm9.9-2amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
bullseye7.1.2-5amd64,arm64,armhf,i386
trixie7.14.5-1amd64,arm64,armel,armhf,i386,ppc64el,riscv64,s390x
forky7.14.5-1amd64,arm64,armhf,i386,ppc64el,riscv64,s390x
upstream7.15
Debtags of package coop-computing-tools:
uitoolkitncurses
Popcon: 27 users (153 upd.)*
Newer upstream!
License: DFSG free
Git

Questa è una raccolta di software che aiuta gli utenti a condividere risorse in un ambiente di calcolo complesso, eterogeneo e inaffidabile. Include:

  • Chirp: un file system personale e un protocollo di I/O che permette a utenti non privilegiati di condividere spazio in maniera sicura, efficiente e comoda; combinato con Parrot, Chirp permette agli utenti di creare file system personalizzati distribuiti su area vasta;
  • Parrot: un file system virtuale, a livello utente e trasparente che permette a qualsiasi programma ordinario di collegarsi a un device remoto di memorizzazione come un server FTP o un server Chirp;
  • Makeflow: un sistema di flusso di lavoro per calcolo parallelo e distribuito che usa un linguaggio molto simile a Make;
  • Work Queue: un sistema e un'API per costruire programmi in stile master-worker che scalano fino a migliaia di processori;
  • All Pairs: un'astrazione computazionale per eseguire prodotti cartesiani molto grandi;
  • Wavefront: un'astrazione computazionale per eseguire problemi molto grandi di programmazione dinamica;
  • The Fault Tolerant Shell: un linguaggio di programmazione di alto livello che permette agli utenti di unire la facilità degli script della shell, la potenza della programmazione distribuita e la precisione dei linguaggi compilati. Praticamente, programmazione parallela e gestione delle eccezioni per gli script.
Please cite: Douglas Thain, Christopher Moretti, and Jeffrey Hemmes: Chirp: A Practical Global Filesystem for Cluster and Grid Computing. (2009)
hpcc
benchmark HPC Challenge
Versions of package hpcc
ReleaseVersionArchitectures
sid1.5.0-4amd64,arm64,armel,armhf,i386,mips64el,ppc64el,riscv64,s390x
forky1.5.0-4amd64,arm64,armhf,i386,ppc64el,riscv64,s390x
bookworm1.5.0-3amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
trixie1.5.0-4amd64,arm64,armel,armhf,i386,ppc64el,riscv64,s390x
Debtags of package hpcc:
adminbenchmarking
roleprogram
Popcon: 5 users (5 upd.)*
Versions and Archs
License: DFSG free
Git

Il benchmark High Performance Computing (HPC) Challenge esegue una suite di 7 test che misurano le prestazioni di CPU, memoria e rete per cluster HPC. Include, tra le altre cose, il benchmark High-Performance LINPACK (HPL) utilizzato dalla classifica Top500 (http://www.top500.org/).

python3-mpi4py
collegamenti allo standard MPI (Message Passing Interface)
Versions of package python3-mpi4py
ReleaseVersionArchitectures
forky4.1.0-5amd64,arm64,armhf,i386,ppc64el,riscv64,s390x
sid4.1.0-8amd64,arm64,armel,armhf,i386,mips64el,ppc64el,riscv64,s390x
bullseye3.0.3-8amd64,arm64,armhf,i386
bookworm3.1.4-2amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
trixie4.0.3-4amd64,arm64,armel,armhf,i386,ppc64el,riscv64,s390x
Popcon: 716 users (339 upd.)*
Versions and Archs
License: DFSG free
Git

MPI per Python (mpi4py) fornisce collegamenti allo standard MPI (Message Passing Interface) per il linguaggio di programmazione Python, permettendo a qualsiasi programma Python di sfruttare processori multipli.

mpi4py è costruito sulla base della specifica MPI-1/MPI-2 e fornisce un'interfaccia orientata agli oggetti che segue da vicino i collegamenti C++ per MPI-2. Gestisce comunicazioni punto-a-punto (invio, ricezione) e collettive (broadcast, scatter, gather) di qualsiasi oggetto Python di cui si può fare il pickle, oltre a comunicazioni ottimizzate di oggetti Python che espongono l'interfaccia buffer a singolo segmento (array NumPy, oggetti incorporati per byte/stringhe/array).

Packaging has started and developers might try the packaging code in VCS

mpich2python
MPI-enhanced Python interpreter (MPICH2 based version)
Versions of package mpich2python
ReleaseVersionArchitectures
VCS2.9.4-4all
Versions and Archs
License: free
Debian package not available
Git
Version: 2.9.4-4

The package provides a python interpreter with MPI (Message Passing Interface, message-based parallel programming) support.

openmpipython
MPI-enhanced Python interpreter (OpenMPI based version)
Versions of package openmpipython
ReleaseVersionArchitectures
VCS2.9.4-4all
Versions and Archs
License: free
Debian package not available
Git
Version: 2.9.4-4

The package provides a python interpreter with MPI (Message Passing Interface, message-based parallel programming) support.

No known packages available

psom
pipeline system for Octave and Matlab
Responsible: NeuroDebian Team
License: MIT/Expat
Debian package not available
Language: Matlab/Octave

PSOM is a lightweight library to manage complex multi-stage data processing. A pipeline is a collection of jobs, i.e. Matlab or Octave code with a well identified set of options that are using files for inputs and outputs. To use PSOM, the only requirement is to generate a description of a pipeline in the form of a simple Matlab/Octave structure. PSOM then automatically offers the following services:

  • Run jobs in parallel using multiple CPUs or within a distributed computing environment.
  • Generate log files and keep track of the pipeline execution. These logs are detailed enough to fully reproduce the analysis.
  • Handle job failures: successful completion of jobs is checked and failed jobs can be restarted.
  • Handle updates of the pipeline: change options or add jobs and let PSOM figure out what to reprocess.
*Popularitycontest results: number of people who use this package regularly (number of people who upgraded this package recently) out of 268328