Debian Science Workflow packages

Une capsule est un exécutable JAR unique qui contient tout ce dont une application a besoin pour être exécutée, soit sous la forme de fichiers embarqués ou comme des métadonnées déclaratives. Il peut contenir des artefacts JAR, des dépendances et des ressources, des bibliothèques natives, la version nécessaire du « Java Runtime Environment », les drapeaux de la machine virtuelle Java nécessaires pour bien exécuter l’application, des agents Java ou natifs et d’autres choses. En résumé, une capsule est un JAR qui sait contenant tout ce qui doit être connu pour exécuter l’application de la façon dont elle doit fonctionner.

Une façon d’envisager une capsule est de penser à un gros JAR dopé (qui permet aussi des bibliothèques natives et qui n’interfère jamais avec des dépendances) et a un script déclaratif de démarrage enroulés ensemble. Une autre façon est de l’envisager comme un équivalent au moment du déploiement d’un outil de construction. Comme un outil de construction gère la construction, capsule gère le démarrage d’une application.

Ce paquet fournit le fourchage du projet capsule originel. Il est approprié comme dépendance de nextflow.

Il s'agit d'une collection de logiciels aidant les utilisateurs à partager des ressources dans un environnement de calcul complexe, hétérogène et non fiable. Elle inclut :

• Chirp : Un protocole d'entrée/sortie et un système de fichiers personnel qui prmet à des utilisateurs non privilégiés de partager un espace de manière sécurisée, efficace et commode. Associé à Parrot, Chirp permet aux utilisateurs de créer des systèmes de fichiers distribués dans des endroits personnalisés
• Parrot : Un système de fichiers virtuel transparent au niveau utilisateur permettant de rlier à n'importe quel programme un périphérique de stockage distant tel qu'un serveur FTP ou Chirp.
• Makeflow : un système de flux pour le calcul parallèle et distribué qui utilise un langage très proche de Make.
• Work Queue : Un système et une API pour construire des programmes à la façon master-worker, capables d'aller jusqu'à des milliers de processeurs.
• All Pairs : Une abstraction de calcul pour exécuter de très gros produits cartésiens.
• Wavefront : Une abstraction de calcul pour exécuter de très gros problèmes de programmation dynamique.
• The Fault Tolerant Shell : Un langage de programmation de haut niveau qui permet aux utilisateurs de combiner la facilité des scripts shell, la puissance de la programmation distribuée et la précision des langages compilés. C'est de la programmation parallèle de base et de la gestion d'exceptions pour des scripts.

C'est l'implémentation de référence des standards de Common Workflow Language.

Les standards ouverts CWL servent à décrire des analyses de flux de travail et des outils afin de les rendre portables et déployabls sur une grande diversité d'environnements logiciels et matériels, des stations de travail aux clustrs en passant par le cloud et le calcul haute performance (HPC). CWL a été conçu pour satisfaire les besoins des scientifiques manipulant beaucoup de données comme la bioinformatique, l'imagerie médicaale, l'astronomie, la physique et la chimie.

L'implémentation de la référence CWL (cwltool) vise à être entièrement personnalisée et à offrir une validation exhaustive de fichiers CWL, mais aussi d'autres outils de travail avec des descriptions CWL.

Gearman est un système pour confier des travaux à d’autres machines, en répartissant les appels de fonction aux machines les plus adaptées, pour travailler en parallèle, pour répartir les charges de beaucoup d’appels de fonction ou appeler des fonctions entre langages.

Ce paquet est un paquet vide qui dépend à la fois du client et du serveur.

Gearman est un système pour confier des travaux à d’autres machines, en répartissant les appels de fonction aux machines les plus adaptées, pour travailler en parallèle, pour répartir les charges de beaucoup d’appels de fonction ou appeler des fonctions entre langages.

Ce paquet fournit quelques outils en ligne de commande pour manipuler les travaux de Gearman.

L'utilitaire GNU Make contrôle la création d'exécutables et autres fichiers d'un programme à partir des sources. Il détermine automatiquement quelles parties d'un long programme doivent être (re)créées et génère les commandes pour les (re)créer. Make peut être utilisé pour organiser toute tâche pour laquelle des cibles (fichiers) doivent être automatiquement mises à jour à partir d'un ensemble de fichiers sources quand la source est plus récente - il n'est pas limité à la compilation de programmes informatiques. En fait, Make est un résolveur de dépendances généraliste.

The Pegasus project encompasses a set of technologies the help workflow-based applications execute in a number of different environments including desktops, campus clusters, grids, and now clouds. Scientific workflows allow users to easily express multi-step computations, for example retrieve data from a database, reformat the data, and run an analysis. Once an application is formalized as a workflow the Pegasus Workflow Management Service can map it onto available compute resources and execute the steps in appropriate order.

Nipype interfaces Python to other neuroimaging packages and creates an API for specifying a full analysis pipeline in Python. Currently, it has interfaces for SPM, FSL, AFNI, Freesurfer, but could be extended for other packages (such as lipsia).

A Python package that provides the generated Hermes and Antlr4 WDL parsers for Python.

Build systems like GNU Make are frequently used to create complicated workflows, e.g. in bioinformatics. This project aims to reduce the complexity of creating workflows by providing a clean and modern domain specific language (DSL) in Python style, together with a fast and comfortable execution environment.

Toil is a scalable, efficient, cross-platform and easy-to-use workflow engine in pure Python. It works with several well established load balancers like Slurm or the Sun Grid Engine. Toil is also compatible with the Common Workflow Language (CWL) via the "toil-cwl-runner" interface, which this package make available via the Debian alternativess system under the alias "cwl-runner".

CWL Format is a specification and a reference implementation for a very opinionated CWL code formatter.

It outputs Common Workflow Language(CWL) in a standardized YAML format. It has no settings or options because you have better things to do with your time. And because CWL Format is always correct.

Il s'agit d'une bibliothèque pour mesurer la performance de fonctions, semblable à unit-tests.

Ce paquet fournit les outils et la documentation.