Debian Science Workflow packages

Una capsula è un singolo JAR eseguibile che contiene tutto ciò di cui un'applicazione ha bisogno per l'esecuzione sotto forma di file incorporati * di metadati dichiarativi. Può contenere artefatti JAR, dipendenze e risorse, librerie native, la versione necessaria del Java Runtime Environment, le opzioni della Java Virtual Machine necessarie per eseguire correttamente l'applicazione, agenti nativi o Java e altro. In breve, una capsula è un JAR autosufficiente che sa tutto ciò che c'è da sapere per eseguire l'applicazione nel modo in cui è stata pensata.

Un modo di pensare la capsula è a un grosso JAR sotto steroidi (che ammette anche librerie native e non interferisce mai con le dipendenze del sistema) e uno script dichiarativo d'avvio uniti insieme; un altro, è di vederla come la controparte dello strumento di compilazione al momento della messa in produzione. Così come uno strumento di compilazione gestisce la compilazione, Capsule gestisce il lancio dell'applicazione.

Questo pacchetto contiene un fork del progetto Capsule originale. Questo fork è adatto come dipendenza di nextflow.

Questa è una raccolta di software che aiuta gli utenti a condividere risorse in un ambiente di calcolo complesso, eterogeneo e inaffidabile. Include:

• Chirp: un file system personale e un protocollo di I/O che permette a utenti non privilegiati di condividere spazio in maniera sicura, efficiente e comoda; combinato con Parrot, Chirp permette agli utenti di creare file system personalizzati distribuiti su area vasta;
• Parrot: un file system virtuale, a livello utente e trasparente che permette a qualsiasi programma ordinario di collegarsi a un device remoto di memorizzazione come un server FTP o un server Chirp;
• Makeflow: un sistema di flusso di lavoro per calcolo parallelo e distribuito che usa un linguaggio molto simile a Make;
• Work Queue: un sistema e un'API per costruire programmi in stile master-worker che scalano fino a migliaia di processori;
• All Pairs: un'astrazione computazionale per eseguire prodotti cartesiani molto grandi;
• Wavefront: un'astrazione computazionale per eseguire problemi molto grandi di programmazione dinamica;
• The Fault Tolerant Shell: un linguaggio di programmazione di alto livello che permette agli utenti di unire la facilità degli script della shell, la potenza della programmazione distribuita e la precisione dei linguaggi compilati. Praticamente, programmazione parallela e gestione delle eccezioni per gli script.

Questa è l'implementazione di riferimento degli standard del Common Workflow Language.

Gli standard aperti CWL servono a descrivere flussi di lavoro e strumenti di analisi in un modo che li renda portabili e scalabili su una varietà di ambienti software e hardware, dalle workstation a cluster, cloud e ambienti HPC (High Performance Computing). CWL è progettato per soddisfare le esigenze di scienze con grande uso di dati, come la bioinformatica. le immagini medicali, l'astronomia, la fisica e la chimica.

L'implementazione di riferimento di CWL (cwltool) è pensata per essere ricca di funzionalità e per fornire una validazione completa di file CWL, oltre a fornire altri strumenti correlati al lavoro con descrizioni CWL.

Gearman è un sistema per dare via lavoro ad altre macchine, inviando chiamate a funzioni a macchine che sono più adatte al lavoro, per lavorare in parallelo, per bilanciare i carichi di molte chiamate di funzione o per chiamare funzioni tra diversi linguaggi.

Questo è un pacchetto fittizio che dipende dal client e dal server.

Gearman è un sistema per dare via lavoro ad altre macchine, inviando chiamate a funzioni a macchine che sono più adatte al lavoro, per lavorare in parallelo, per bilanciare i carichi di molte chiamate di funzione o per chiamare funzioni tra diversi linguaggi.

Questo pacchetto contiene alcuni strumenti a riga di comando per manipolare i compiti gearman.

GNU Make è un'utilità che controlla la generazione degli eseguibili e di altre parti di un programma a partire dai file sorgente. Determina automaticamente quali parti di un grosso programma necessitano di essere (ri)compilate ed esegue i comandi per (ri)crearle. Make può essere usato per organizzare compiti nei quali obiettivi (file) devono essere automaticamente aggiornati in base a file di partenza ogni volta che le fonti corrispondenti sono rinnovate; non è limitato a compilare programmi eseguibili. A dire il vero, Make è un risolutore di dipendenze multiuso.

Il progetto Pegasus comprende un insieme di tecnologie che aiutano le applicazioni basate su flusso di lavoro ad essere eseguite in svariati ambienti differenti, inclusi desktop, cluster universitari, griglie e ora nuvole. I flussi di lavoro scientifici permetto agli utenti di esprimere facilmente elaborazioni multi-passo, per esempio recuperare dati da un database, riformattare i dati ed eseguire un'analisi. Una volta che un'applicazione è stata formalizzato come un flusso di lavoro, il Pegasus Workflow Management Service può mapparla nelle risorse di calcolo disponibili ed eseguire i passi nell'ordine corretto.

Nipype interfaccia Python con altri pacchetti per neuroimmagini e crea un'API per specificare una completa catena di elaborazione dati per analisi in Python. Attualmente ha interfacce per SPM, FSL, AFNI, Freesurfer, ma potrebbe essere estesa ad altri pacchetti (come lipsia).

Pacchetto Python che fornisce gli analizzatori WDL Antlr4 e Hermes generati per Python.

I sistemi di compilazione come GNU Make sono usati frequentemente per creare flussi di lavoro complicati, ad esempio in bioinformatica. Questo progetto ha lo scopo di ridurre la complessità di creare flussi di lavoro fornendo un linguaggio specifico di dominio (DSL) pulito e moderno in stile Python, insieme a un ambiente di esecuzione veloce e confortevole.

Toil è un motore per flusso di lavoro in Python puro scalabile, efficiente, multipiattaforma e facile da usare. Funziona con svariati bilanciatori del carico di comune utilizzo, come Slurm o Sun Grid Engine. Toil è anche compatibile con CWL (Common Workflow Language) attraverso l'interfaccia "toil-cwl-runner", che questo pacchetto rende disponibile per mezzo del sistema delle alternative di Debian sotto l'alias "cwl-runner".

CWL Format è una specifica e un'implementazione di riferimento per uno strumento molto presuntuoso per formattare codice CWL.

Emette in output il CWL (Common Workflow Language) in un formato YAML standardizzato. Non ha impostazioni o opzioni perché le persone hanno di meglio da fare con il proprio tempo. E perché CWL Format ha sempre ragione.

Libreria per supportare il benchmarking delle funzioni, simile ai test di unità.

Questo pacchetto contiene gli strumenti e la documentazione.