Debian Science Project
Summary
Distributed Computing
Debian Science - Pakete für »Distributed Computing«

Dieses Metapaket installiert »Debian Science«-Pakete, die für verschiedene Arten des verteilten Rechnens wie Grid-, Cloud-, Cluster- und Parallel- Computing nützlich sind.

Description

For a better overview of the project's availability as a Debian package, each head row has a color code according to this scheme:

If you discover a project which looks like a good candidate for Debian Science to you, or if you have prepared an unofficial Debian package, please do not hesitate to send a description of that project to the Debian Science mailing list

Links to other tasks

Debian Science Distributed Computing packages

Official Debian packages with high relevance

dmtcp
??? missing short description for package dmtcp :-(
Maintainer: Kapil Arya
Versions of package dmtcp
ReleaseVersionArchitectures
jessie2.3.1-6amd64,armhf,i386
Debtags of package dmtcp:
roleprogram
Popcon: 2 users (0 upd.)*
Versions and Archs
License: DFSG free
Svn
Please cite: Jason Ansel, Kapil Arya, and Gene Cooperman: DMTCP: Transparent Checkpointing for Cluster Computations and the Desktop (2009)
environment-modules
Modulares System zur Behandlung von Umgebungsvariablen
Maintainer: Alastair McKinstry
Versions of package environment-modules
ReleaseVersionArchitectures
bullseye4.6.1-1amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
buster4.2.2-1amd64,arm64,armhf,i386
sid5.5.0-1amd64,arm64,armel,armhf,i386,mips64el,ppc64el,riscv64,s390x
trixie5.5.0-1amd64,arm64,armel,armhf,i386,mips64el,ppc64el,riscv64,s390x
stretch3.2.10-10amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
jessie3.2.10-9amd64,armel,armhf,i386
bookworm5.2.0-1amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
Popcon: 37 users (69 upd.)*
Versions and Archs
License: DFSG free
Git

Das Paket Environment Modules ermöglicht die dynamische Modifikation einer Benutzerumgebung über »modulefiles«. Jedes »modulefile« enthält die Informationen, um die Shell für eine Anwendung zu konfigurieren. Sobald das Paket Environment Modules initialisiert wurde, kann die Umgebung dynamisch verändert werden. Dies geschieht mit dem Befehl module, der die »modulefiles« per Modul interpretiert. Typischerweise ändern oder setzen die »modulefiles« über den Befehl module Umgebungsvariablen wie PATH, MANPATH usw. »modulefiles« können von vielen Benutzern auf einem System gemeinsam genutzt werden. Benutzer könnten eine eigene Sammlung besitzen, um die gemeinsam genutzten »modulefiles« zu ergänzen oder zu ersetzen. Die Modules-Umgebung ist auf SGI/Crays und vielen Farmen von Arbeitsplatzrechnern verbreitet.

globus-core
??? missing short description for package globus-core :-(
Maintainer: Mattias Ellert
Versions of package globus-core
ReleaseVersionArchitectures
jessie9.0amd64,armel,armhf,i386
stretch9.1amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
Popcon: 0 users (0 upd.)*
Versions and Archs
License: DFSG free
Svn
gridengine-client
Programme zur Verwaltung der »Grid Engine«-Warteschlangen
Versions of package gridengine-client
ReleaseVersionArchitectures
stretch8.1.9+dfsg-4+deb9u2amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
buster8.1.9+dfsg-9amd64,arm64,armhf,i386
sid8.1.9+dfsg-11.1amd64,arm64,armel,armhf,i386,mips64el,ppc64el,riscv64,s390x
bookworm8.1.9+dfsg-10amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
bullseye8.1.9+dfsg-9.1amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
Debtags of package gridengine-client:
roleprogram
Popcon: 67 users (0 upd.)*
Versions and Archs
License: DFSG free
Git

Die Software Grid Engine erleichtert die Verwaltung verteilter Ressourcen (distributed resource management, DRM). Weit mehr als nur einfache Werkzeuge zur Lastverteilung oder Mechanismen zur Batch-Planung, bietet DRM-Software typischerweise die folgenden Schlüsselfunktionen über große Gruppen verteilter Ressourcen:

  • Auf Richtlinien basierende Zuweisung verteilter Ressourcen (CPU-Zeit, Software-Lizenzen, usw.)
  • Planung von Batches & Verwaltung von Batch-Queues
  • Unterstützung vielfältiger Server-Hardware, Betriebssysteme und Architekturen
  • Lastausgleich & Ausführung von Aufträgen auf entfernten Rechnern
  • Detaillierte, kontenbezogene Statistiken und Auftragsprotokolle
  • Feinkörnige Verteilung nutzerspezifizierter Ressourcen
  • Unterbrechung/Wiederaufnahme/Verlagerung von Aufgaben
  • Statusinformationen von Aufgaben/Rechnern/Cluster
  • Wiederholter Aufruf des gleichen Kommandos mit unterschiedlichen Parametern (Job-Arrays)
  • Zusammenarbeit & Steuerung von parallelen Jobs

Dieses Paket enthält Benutzerprogramme zur Verwaltung der »Grid Engine«- Warteschlangen.

gridengine-exec
Verwaltung verteilter Ressourcen - »Execution Server«
Versions of package gridengine-exec
ReleaseVersionArchitectures
bullseye8.1.9+dfsg-9.1amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
stretch8.1.9+dfsg-4+deb9u2amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
bookworm8.1.9+dfsg-10amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
sid8.1.9+dfsg-11.1amd64,arm64,armel,armhf,i386,mips64el,ppc64el,riscv64,s390x
buster8.1.9+dfsg-9amd64,arm64,armhf,i386
Debtags of package gridengine-exec:
roleprogram
Popcon: 58 users (0 upd.)*
Versions and Archs
License: DFSG free
Git

Die Software Grid Engine erleichtert die Verwaltung verteilter Ressourcen (distributed resource management, DRM). Weit mehr als nur einfache Werkzeuge zur Lastverteilung oder Mechanismen zur Batch-Planung, bietet DRM-Software typischerweise die folgenden Schlüsselfunktionen über große Gruppen verteilter Ressourcen:

  • Auf Richtlinien basierende Zuweisung verteilter Ressourcen (CPU-Zeit, Software-Lizenzen, usw.)
  • Planung von Batches & Verwaltung von Batch-Queues
  • Unterstützung vielfältiger Server-Hardware, Betriebssysteme und Architekturen
  • Lastausgleich & Ausführung von Aufträgen auf entfernten Rechnern
  • Detaillierte, kontenbezogene Statistiken und Auftragsprotokolle
  • Feinkörnige Verteilung nutzerspezifizierter Ressourcen
  • Unterbrechung/Wiederaufnahme/Verlagerung von Aufgaben
  • Statusinformationen von Aufgaben/Rechnern/Cluster
  • Wiederholter Aufruf des gleichen Kommandos mit unterschiedlichen Parametern (Job-Arrays)
  • Zusammenarbeit & Steuerung von parallelen Jobs

Dieses Paket enthält den »Grid Engine Execution Server«.

gridengine-master
Verwaltung verteilter Ressourcen - Steuerungsprozess(e)
Versions of package gridengine-master
ReleaseVersionArchitectures
buster8.1.9+dfsg-9amd64,arm64,armhf,i386
sid8.1.9+dfsg-11.1amd64,arm64,armel,armhf,i386,mips64el,ppc64el,riscv64,s390x
bookworm8.1.9+dfsg-10amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
bullseye8.1.9+dfsg-9.1amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
stretch8.1.9+dfsg-4+deb9u2amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
Popcon: 29 users (0 upd.)*
Versions and Archs
License: DFSG free
Git

Die Software Grid Engine erleichtert die Verwaltung verteilter Ressourcen (distributed resource management, DRM). Weit mehr als nur einfache Werkzeuge zur Lastverteilung oder Mechanismen zur Batch-Planung, bietet DRM-Software typischerweise die folgenden Schlüsselfunktionen über große Gruppen verteilter Ressourcen:

  • Auf Richtlinien basierende Zuweisung verteilter Ressourcen (CPU-Zeit, Software-Lizenzen, usw.)
  • Planung von Batches & Verwaltung von Batch-Queues
  • Unterstützung vielfältiger Server-Hardware, Betriebssysteme und Architekturen
  • Lastausgleich & Ausführung von Aufträgen auf entfernten Rechnern
  • Detaillierte, kontenbezogene Statistiken und Auftragsprotokolle
  • Feinkörnige Verteilung nutzerspezifizierter Ressourcen
  • Unterbrechung/Wiederaufnahme/Verlagerung von Aufgaben
  • Statusinformationen von Aufgaben/Rechnern/Cluster
  • Wiederholter Aufruf des gleichen Kommandos mit unterschiedlichen Parametern (Job-Arrays)
  • Zusammenarbeit & Steuerung von parallelen Jobs

Dieses Paket enthält die Haupt-Steuerungsprozesse (master server).

gridengine-qmon
Verwaltung verteilter Ressourcen - grafische Warteschlangen-Verwaltung
Versions of package gridengine-qmon
ReleaseVersionArchitectures
bullseye8.1.9+dfsg-9.1amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
bookworm8.1.9+dfsg-10amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
sid8.1.9+dfsg-11.1amd64,arm64,armel,armhf,i386,mips64el,ppc64el,riscv64,s390x
stretch8.1.9+dfsg-4+deb9u2amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
buster8.1.9+dfsg-9amd64,arm64,armhf,i386
Debtags of package gridengine-qmon:
uitoolkitmotif
Popcon: 18 users (0 upd.)*
Versions and Archs
License: DFSG free
Git

Die Software Grid Engine erleichtert die Verwaltung verteilter Ressourcen (distributed resource management, DRM). Weit mehr als nur einfache Werkzeuge zur Lastverteilung oder Mechanismen zur Batch-Planung, bietet DRM-Software typischerweise die folgenden Schlüsselfunktionen über große Gruppen verteilter Ressourcen:

  • Auf Richtlinien basierende Zuweisung verteilter Ressourcen (CPU-Zeit, Software-Lizenzen, usw.)
  • Planung von Batches & Verwaltung von Batch-Queues
  • Unterstützung vielfältiger Server-Hardware, Betriebssysteme und Architekturen
  • Lastausgleich & Ausführung von Aufträgen auf entfernten Rechnern
  • Detaillierte, kontenbezogene Statistiken und Auftragsprotokolle
  • Feinkörnige Verteilung nutzerspezifizierter Ressourcen
  • Unterbrechung/Wiederaufnahme/Verlagerung von Aufgaben
  • Statusinformationen von Aufgaben/Rechnern/Cluster
  • Wiederholter Aufruf des gleichen Kommandos mit unterschiedlichen Parametern (Job-Arrays)
  • Zusammenarbeit & Steuerung von parallelen Jobs

Dieses Paket enthält das grafische Frontend zur Verwaltung der Grid Engine.

htcondor
transitional dummy package
Versions of package htcondor
ReleaseVersionArchitectures
sid23.6.2+dfsg-2amd64,arm64,armel,armhf,i386,mips64el,ppc64el,riscv64,s390x
jessie8.2.3~dfsg.1-6amd64,armel,armhf,i386
stretch8.4.11~dfsg.1-1amd64,arm64,armel,armhf,i386,mips,mipsel,ppc64el,s390x
stretch-security8.4.11~dfsg.1-1+deb9u2amd64,arm64,armel,armhf,i386
buster8.6.8~dfsg.1-2+deb10u1amd64,arm64,armhf,i386
buster-security8.6.8~dfsg.1-2+deb10u1amd64,arm64,armhf,i386
trixie23.6.2+dfsg-2amd64,arm64,armel,armhf,i386,mips64el,ppc64el,riscv64,s390x
upstream24.2.2
Popcon: 82 users (0 upd.)*
Newer upstream!
License: DFSG free
Git

This package aids upgrades of existing htcondor installations to the package name "condor". The package is empty and it can safely be removed.

Please cite: Michael Litzkow, Miron Livny and Matt Mutka: Condor - A Hunter of Idle Workstations (eprint) Proceedings of the 8th International Conference of Distributed Computing Systems :104-111 (1988)
ipython3
Erweiterte interaktive Python-3-Shell
Versions of package ipython3
ReleaseVersionArchitectures
buster-security5.8.0-1+deb10u1all
bullseye7.20.0-1+deb11u1all
bullseye-security7.20.0-1+deb11u1all
jessie2.3.0-2all
sid8.30.0-2all
bookworm8.5.0-4all
trixie8.30.0-2all
stretch-security5.1.0-3+deb9u1all
stretch5.1.0-3all
buster5.8.0-1+deb10u1all
Popcon: 1678 users (835 upd.)*
Versions and Archs
License: DFSG free
Git

IPython kann als Ersatz zur Python-Standardshell oder, falls sie zusammen mit den wissenschaftlichen und numerischen Python-Werkzeugen genutzt wird, als vollständige Arbeitsumgebung für wissenschaftliches Rechnen (wie Matlab oder Mathematica) benutzt werden. Sie unterstützt dynamische Objektintrospektionen, nummerierte Eingabe-/Ausgabeprompts, ein Makrosystem, Protokollierung und Wiederherstellung von Sitzungen, vollständigen Shellzugriff auf das System, umfangreiche und farbige Traceback-Berichte, automatische Klammerung, automatische Anführungszeichen. Außerdem kann sie in andere Python-Programme integriert werden.

Dieses Paket enthält die eigentliche Terminal-Shell für Python 3.

The package is enhanced by the following packages: isympy3 python3-matplotlib python3-sympy
Screenshots of package ipython3
mpich
??? missing short description for package mpich :-(
Versions of package mpich
ReleaseVersionArchitectures
trixie4.2.0-14amd64,arm64,armel,armhf,i386,mips64el,ppc64el,riscv64,s390x
bookworm4.0.2-3amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
bullseye3.4.1-5~deb11u1amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
buster3.3-3amd64,arm64,armhf,i386
stretch3.2-7amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
jessie3.1-5amd64,armel,armhf,i386
sid4.2.1-4amd64,arm64,armel,armhf,i386,mips64el,ppc64el,riscv64,s390x
upstream4.3.0~rc1
Debtags of package mpich:
adminbenchmarking, monitoring
networkhiavailability, load-balancing, scanner
scopeutility
usetransmission
Popcon: 70 users (43 upd.)*
Newer upstream!
License: DFSG free
Git
mpich2python
??? missing short description for package mpich2python :-(
Versions of package mpich2python
ReleaseVersionArchitectures
jessie2.9.4-3amd64,armel,armhf,i386
Popcon: users ( upd.)*
Versions and Archs
License: DFSG free
Git
nordugrid-arc-client
ARC command line clients
Maintainer: Mattias Ellert
Versions of package nordugrid-arc-client
ReleaseVersionArchitectures
buster5.4.3-2amd64,arm64,armhf,i386
jessie4.2.0-2amd64,armel,armhf,i386
stretch5.3.0~rc1-1amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
bullseye6.10.2-1amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
sid6.21.1-1amd64,arm64,armel,armhf,i386,mips64el,ppc64el,riscv64,s390x
trixie6.21.1-1amd64,arm64,armel,armhf,i386,mips64el,ppc64el,riscv64,s390x
bookworm6.17.0-3amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
Popcon: 2 users (1 upd.)*
Versions and Archs
License: DFSG free
Git

NorduGrid is a collaboration aiming at development, maintenance and support of the middleware, known as the Advanced Resource Connector (ARC).

This client package contains all the CLI tools that are needed to operate with x509 proxies, submit and manage jobs and handle data transfers.

openmpi-bin
Leistungsstarke Message-Passing-Bibliothek - Programmdateien
Versions of package openmpi-bin
ReleaseVersionArchitectures
trixie5.0.6-3amd64,arm64,mips64el,ppc64el,riscv64,s390x
bullseye4.1.0-10amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
stretch2.0.2-2amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
bookworm4.1.4-3amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
buster3.1.3-11amd64,arm64,armhf,i386
jessie1.6.5-9.1+deb8u1amd64,armel,armhf,i386
sid5.0.6-3amd64,arm64,mips64el,ppc64el,riscv64,s390x
Debtags of package openmpi-bin:
admincluster
fieldbiology, chemistry, mathematics, physics
interfacecommandline
roleprogram
scopeutility
Popcon: 993 users (758 upd.)*
Versions and Archs
License: DFSG free
Git

Das Projekt Open MPI kombiniert Methoden und Ressourcen aus mehreren anderen Projekten (FT-MPI, LA-MPI, LAM/MPI und PACX-MPI), um die beste verfügbare MPI-Bibliothek (Message Passing Interface) zu verwirklichen. Als eine völlig neue, MPI-3.1-konforme Umsetzung bietet Open MPI Vorteile für System- und Software-Hersteller, Anwendungsentwickler und forschende Informatiker.

Merkmale:

  • vollständig konform zum MPI-3.1-Standard
  • Threadsicherheit und Nebenläufigkeit
  • dynamische Erzeugung von Prozessen
  • leistungsstark auf allen Plattformen
  • zuverlässige und schnelle Job-Verwaltung
  • tolerant gegenüber Netzwerk- und Prozessfehlern
  • unterstützt heterogene Netzwerke
  • eine einzelne Bibliothek unterstützt sämtliche Netzwerke
  • Instrumentierung zur Laufzeit
  • unterstützt viele Job-Scheduler
  • internationalsierte Fehlermeldungen
  • komponentenbasierter Entwurf, dokumentierte APIs

Dieses Paket enthält die Open-MPI-Dienstprogramme.

openmpipython
??? missing short description for package openmpipython :-(
Versions of package openmpipython
ReleaseVersionArchitectures
jessie2.9.4-3amd64,armel,armhf,i386
Popcon: 0 users (0 upd.)*
Versions and Archs
License: DFSG free
Git
python3-scoop
Python3 library for concurrent parallel programming
Versions of package python3-scoop
ReleaseVersionArchitectures
buster0.7.1.1-3all
bullseye0.7.1.1-7all
stretch0.7.1.1-1all
Popcon: 0 users (0 upd.)*
Versions and Archs
License: DFSG free
Git

SCOOP (Scalable COncurrent Operations in Python) is a distributed task module allowing concurrent parallel programming on various environments, from heterogeneous grids to supercomputers.

This package contains the Python3 modules.

Official Debian packages with lower relevance

coop-computing-tools
cooperative computing tools
Maintainer: Alastair McKinstry
Versions of package coop-computing-tools
ReleaseVersionArchitectures
buster7.0.9-2amd64,arm64,armhf,i386
sid7.13.1-3amd64,arm64,armel,armhf,i386,mips64el,ppc64el,riscv64,s390x
stretch4.0-1.1amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
bookworm9.9-2amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
trixie7.13.1-3amd64,arm64,armel,armhf,i386,mips64el,ppc64el,riscv64,s390x
bullseye7.1.2-5amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
Debtags of package coop-computing-tools:
uitoolkitncurses
Popcon: 1 users (0 upd.)*
Versions and Archs
License: DFSG free
Git

This is a collection of software that help users to share resources in a complex, heterogeneous, and unreliable computing environment. This includes:

  • Chirp: A personal filesystem and I/O protocol that allows unprivileged users to share space securely, efficiently, and conveniently. When combined with Parrot, Chirp allows users to create custom wide-area distributed filesystems.
  • Parrot: A transparent user-level virtual filesystem that allows any ordinary program to be attached to a remote storage device such as an FTP server or a Chirp server.
  • Makeflow: A workflow system for parallel and distributed computing that uses a language very similar to Make.
  • Work Queue: A system and API for building master-worker style programs that scale up to thousands of processors.
  • All Pairs: A computational abstraction for running very large Cartesian products.
  • Wavefront: A computational abstraction for running very large dynamic programming problems.
  • The Fault Tolerant Shell: A high-level programming language that allows users to combine the ease of shell scripting, the power of distributed programming, and the precision of compiled languages. Basically, parallel programming and exception handling for scripts.
Please cite: Douglas Thain, Christopher Moretti, and Jeffrey Hemmes: Chirp: A Practical Global Filesystem for Cluster and Grid Computing. (2009)
hpcc
HPC Challenge benchmark
Versions of package hpcc
ReleaseVersionArchitectures
stretch1.4.3-1amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
sid1.5.0-4amd64,arm64,armel,armhf,i386,mips64el,ppc64el,riscv64,s390x
jessie1.4.1-3amd64,armel,armhf,i386
trixie1.5.0-4amd64,arm64,armel,armhf,i386,mips64el,ppc64el,riscv64,s390x
bookworm1.5.0-3amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
buster1.5.0-1amd64,arm64,armhf,i386
Debtags of package hpcc:
adminbenchmarking
roleprogram
Popcon: 2 users (13 upd.)*
Versions and Archs
License: DFSG free
Git

The High Performance Computing (HPC) Challenge benchmark runs a suite of 7 tests that measure the performance of CPU, memory and network for HPC clusters. Amongst others, it includes the High-Performance LINPACK (HPL) benchmark, used by the Top500 ranking (http://www.top500.org/).

python3-mpi4py
bindings of the Message Passing Interface (MPI) standard
Versions of package python3-mpi4py
ReleaseVersionArchitectures
trixie4.0.1-6amd64,arm64,armel,armhf,i386,mips64el,ppc64el,riscv64,s390x
bookworm3.1.4-2amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
bullseye3.0.3-8amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
buster2.0.0-3amd64,arm64,armhf,i386
stretch2.0.0-2.1+deb9u1amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
jessie1.3.1+hg20131106-2amd64,armel,armhf,i386
experimental4.0.1-6.exp1amd64,arm64,mips64el,ppc64el,riscv64
sid4.0.1-6amd64,arm64,armel,armhf,i386,mips64el,ppc64el,riscv64,s390x
Popcon: 732 users (147 upd.)*
Versions and Archs
License: DFSG free
Git

MPI for Python (mpi4py) provides bindings of the Message Passing Interface (MPI) standard for the Python programming language, allowing any Python program to exploit multiple processors.

mpi4py is constructed on top of the MPI-1/MPI-2 specification and provides an object oriented interface which closely follows MPI-2 C++ bindings. It supports point-to-point (sends, receives) and collective (broadcasts, scatters, gathers) communications of any picklable Python object as well as optimized communications of Python object exposing the single-segment buffer interface (NumPy arrays, builtin bytes/string/array objects).

No known packages available

psom
pipeline system for Octave and Matlab
Responsible: NeuroDebian Team
License: MIT/Expat
Debian package not available
Language: Matlab/Octave

PSOM is a lightweight library to manage complex multi-stage data processing. A pipeline is a collection of jobs, i.e. Matlab or Octave code with a well identified set of options that are using files for inputs and outputs. To use PSOM, the only requirement is to generate a description of a pipeline in the form of a simple Matlab/Octave structure. PSOM then automatically offers the following services:

  • Run jobs in parallel using multiple CPUs or within a distributed computing environment.
  • Generate log files and keep track of the pipeline execution. These logs are detailed enough to fully reproduce the analysis.
  • Handle job failures: successful completion of jobs is checked and failed jobs can be restarted.
  • Handle updates of the pipeline: change options or add jobs and let PSOM figure out what to reprocess.
*Popularitycontest results: number of people who use this package regularly (number of people who upgraded this package recently) out of 246113