Debian Science Data Management packages

DataLad è una piattaforma per distribuzione e gestione di dati che fornisce accesso a un'ampia gamma di risorse di dati già disponibili online. Usando git-annex come suo backend per la logistica dei dati, fornisce le seguenti funzionalità internamente o disponibili attraverso estensioni aggiuntive:

• interfacce a riga di comando e Python per manipolare raccolte di insiemi di dati (installazione, disinstallazione, aggiornamento, pubblicazione, salvataggio, ecc.) e file/directory separati (aggiunta, recupero);
• estrarre, aggregare e cercare all'interno di varie fonti di metadati (xmp, EXIF, ecc.; installare datalad-neuroimaging per la gestione di DICOM, BIDS, NIfTI);
• esplora siti web per preparare automaticamente e aggiornare repository di git-annex con il contenuto dei siti web online, S3, ecc. (installare datalad-crawler).

Questa estensione migliora DataLad (http://datalad.org) per lavorare con contenitori computazionali.

git-annex permette di gestire grandi file con git, senza gestire il loro contenuto in git. È in grado di sincronizzare, fare il backup ed archiviare dati offline e online. Le somme di controllo (checksum) e la cifratura mantengono i dati integri e al sicuro. Con git-annex si trasferisce la potenza e la natura distribuita di git nella gestione di grandi file.

Può conservare file grandi in molti luoghi, da dischi locali a un buon numero di servizi di archiviazione su cloud, inclusi S3, WebDAV e rsync, con dozzine di fornitori di archiviazione su cloud utilizzabili grazie a plugin. I file possono essere conservati cifrati con gpg, in modo che il fornitore di archiviazione su cloud non possa vedere i dati dell'utente. git-annex tiene traccia di dove ogni file è archiviato, in modo da sapere quante copie sono disponibili, ed ha parecchie funzionalità per assicurare che i dati dell'utente siano preservati.

git-annex può anche essere usato per mantenere una cartella sincronizzata tra computer, notando quando i file vengono cambiati e facendo il commit automatico su git trasferendoli ad altri computer. L'applicazione web git-annex facilita la configurazione e l'uso di git-annex per questo scopo.

Il meccanismo dei filtri esterni introdotto con HDF5 1.8.12 permette alle applicazioni di utilizzare filtri personalizzati non forniti dalla libreria HDF5 principale, senza ricompilare le applicazioni. Questo pacchetto fornisce filtri esterni per HDF5 per:

• l'algoritmo di compressione LZ4,
• compressione BZip2.

This package contains a filter for HDF5 that uses the Blosc compressor. By installing this filter, you can read and write HDF5 files with Blosc-compressed datasets.

H5Z-ZFP è un filtro di compressione per HDF5 che usa la compressione ZFP, supportando la compressione di dati interi e a virgola mobile con e senza perdita per raggiungere obiettivi di bitrate, accuratezza e precisione.

NeXus è un formato di dati comune per la scienza di neutroni, raggi X e muoni. Esso viene sviluppato come standard internazionale da scienziati e programmatori che rappresentano le principali strutture scientifiche in Europa, Asia, Australia e Nord America per facilitare una maggiore cooperazione nell'analisi e visualizzazione di dati di neutroni, raggi X e muoni.

Questo è il pacchetto che contiene alcune applicazioni per leggere e scrivere file NeXus.

Il software plfit fa il fit di distribuzioni a legge di potenza su dati empirici (discreti o continui), secondo il metodo di Clauset, Shalizi e Newman [SIAM Review 51, 661-703 (2009)].

Questo pacchetto fornisce due utilità a riga di comando: plfit e plgen.

The JData Specification (https://github.com/fangq/jdata/) defines a lightweight language-independent data annotation interface targeted at storing and sharing complex data structures across different programming languages such as MATLAB, JavaScript, python etc. Using JData formats, a complex python data structure can be encoded as a dict object that is easily serialized as a JSON/binary JSON file and share such data between programs of different languages.

Infrastruttura Python per elaborazione di dati per creare software per complesse elaborazioni di dati combinando in pipe e reti algoritmi largamente usati di apprendimento macchina. Gli algoritmi implementati includono: PCA (Principal Component Analysis), ICA (Independent Component Analysis), SFA (Slow Feature Analysis), ISFA (Independent Slow Feature Analysis), GNG (Growing Neural Gas), analisi fattoriale, FDA (Fisher Discriminant Analysis) e classificatori gaussiani.

NeXus è un formato di dati comune per la scienza di neutroni, raggi X e muoni. Esso viene sviluppato come standard internazionale da scienziati e programmatori che rappresentano le principali strutture scientifiche in Europa, Asia, Australia e Nord America per facilitare una maggiore cooperazione nell'analisi e visualizzazione di dati di neutroni, raggi X e muoni.

Questo è il pacchetto che contiene i collegamenti Python 3.

PyZoltan, come suggerisce il nome, è un wrapper Python per la libreria per gestione di dati Zoltan.

PyZoltan fa da wrapper solo per specifici oggetti e routine. Attualmente sono supportate le seguenti funzionalità di Zoltan:

• bilanciamento dinamico del carico usando algoritmi geometrici;
• comunicazione punto-punto non strutturata;
• directory dei dati distribuite.

OpenLink Virtuoso è un database SQL relazionale ad oggetti ad alte prestazioni. Fornisce transazioni, un compilatore SQL intelligente, backup a caldo, supporto per SQL:1999, un potente linguaggio stored procedure che gestisce Java o .NET lato server ed altro ancora. Gestisce tutte le principali interfacce di accesso ai dati incluse ODBC, JDBC, ADO.NET e OLE/DB.

Virtuoso gestisce SPARQL incorporato in SQL per l'interrogazione di dati RDF archiviati nel suo database. SPARQL trae beneficio dal supporto a basso livello nel motore stesso, come le regole per conversione di tipi compatibili SPARQL e un tipo di dati IRI dedicato.

Si installi questo metapacchetto per la suite completa di pacchetti che compongono Virtuoso OSE ("Open-Source Edition").

VisiData è un'utilità per terminale multifunzione per esplorare, pulire, ristrutturare e analizzare dati tabulari. Le fonti attualmente gestite sono TSV, CSV, testo a larghezza fissa, JSON, SQLite, HTTP, HTML, .xls e .xlsx (Microsoft Excel).

NeXus è un formato di dati comune per la scienza di neutroni, raggi X e muoni. Esso viene sviluppato come standard internazionale da scienziati e programmatori che rappresentano le principali strutture scientifiche in Europa, Asia, Australia e Nord America per facilitare una maggiore cooperazione nell'analisi e visualizzazione di dati di neutroni, raggi X e muoni.

Questo è il pacchetto che contiene le librerie di sviluppo.

NeXus è un formato di dati comune per la scienza di neutroni, raggi X e muoni. Esso viene sviluppato come standard internazionale da scienziati e programmatori che rappresentano le principali strutture scientifiche in Europa, Asia, Australia e Nord America per facilitare una maggiore cooperazione nell'analisi e visualizzazione di dati di neutroni, raggi X e muoni.

Questo è il pacchetto che contiene le librerie Java.

Il software plfit fa il fit di distribuzioni a legge di potenza su dati empirici (discreti o continui), secondo il metodo di Clauset, Shalizi e Newman [SIAM Review 51, 661-703 (2009)].

Questo pacchetto contiene i file header, le librerie statiche e i collegamenti simbolici che sono necessari agli sviluppatori che usano la libreria plfit.

Openpyxl è un modulo in puro Python 3 per leggere e scrivere file (OpenXML) xlsx/xlsm di Excel 2007.

Questo pacchetto contiene il modulo stesso.

Modular Python implementation of t-Distributed Stochasitc Neighbor Embedding (t-SNE), a popular dimensionality-reduction algorithm for visualizing high-dimensional data sets. openTSNE incorporates the latest improvements to the t-SNE algorithm, including the ability to add new data points to existing embeddings, massive speed improvements, enabling t-SNE to scale to millions of data points and various tricks to improve global alignment of the resulting visualizations.

Il software plfit fa il fit di distribuzioni a legge di potenza su dati empirici (discreti o continui), secondo il metodo di Clauset, Shalizi e Newman [SIAM Review 51, 661-703 (2009)].

Questo pacchetto fornisce un modulo Python.