Debian Science Data Management packages

DataLad er en datahåndterings- og distributionsplatform, som tilbyder adgang til en bred vifte af dataressourcer allerede tilgængelige på nettet. Bruger git-annex som motor for datalogistik og tilbyder de følgende indbyggede eller tilgængelige funktioner via udvidelser:

• grænseflader for kommandolinjen og Python til at manipulere samlinger af datasæt (installer, fjern, opdater, udgiv, gem etc.)og separate filer/mapper (add, get)
• udtræk, saml og søg igennem diverse metadatakilder (xmp, EXIF, etc; installer datalad-neuroimaging for DICOM-, BIDS-, NIfTI-understøttelse)
• gennemløb internetsider for automatisk at forberede og opdatere git-annex-arkiver med indhold fra internetsider, S3 etc. (installer datalad-crawler)

Denne udvidelse forbedrer DataLad (http://datalad.org) til arbejdet med beregningscontainere.

Git-annex tillader håndtering af filer med git, uden at lagre filindholdet i git. Programmet kan synkronisere, lave sikkerhedskopi og arkivere dine data, lokalt eller på nettet. Kontrolsummer og kryptering holder dine data sikre. Hent kraften og den distribuerede natur i git til dine store filer med git-annex.

Programmet kan lagre store filer på mange steder, fra lokale harddiske til et stort antal skytjenester, inklusive S3, WebDAV og rsync, med et stort antal skyleverandører via udvidelsesmoduler. Filer kan lagres krypteret med gpg, så at skyleverandøren ikke kan se dine data. Git-annex holder styr på hvor hver fil er lagret, så den ved hvor mange kopier, der er tilgængelige, og har mange faciliteter til at sikre at dine data bevares.

Git-annex kan også bruges til at holde en mappe i synkronisering mellem computere, ved at holde øje med hvornår filer ændres og automatisk sende dem til git og overføre dem til andre computere. Netprogrammet for git-annex gør det nemt at opsætte og bruge git-annex på denne måde.

Den eksterne filtermekanisme introduceret med HDF5 1.8.12 tillader at programmer kan udnytte tilpassede filtre ikke indeholdt af HDF5-grundbiblioteket uden at kompilere dit program igen. Denne pakke tilbyder eksterne filtre for HDF5 for

• Lz4-kompressionalgoritmen
• BZip2-kompression

Denne pakke indeholder et filter for HDF5, der bruger Blosc-kompressoren. Ved at installere dette filter, så kan du læse og skrive HDF5-filer med Blosc-komprimerede datasæt.

H5Z-ZFP er et kompressionsfilter for HDF5 via ZFP-kompressionsbiblioteket, der understøtter kompression med og uden kvalitetstab for kommatal og heltal for at møde bithastighed, nøjagtighed og/eller præcisionsmål.

NeXus is a common data format for neutron, X-ray, and muon science. It is being developed as an international standard by scientists and programmers representing major scientific facilities in Europe, Asia, Australia, and North America in order to facilitate greater cooperation in the analysis and visualization of neutron, X-ray, and muon data.

This is the package containing some applications for reading and writing NeXus files.

Programmet plfit tilpasser power-law-distributioner til empiriske (diskrete eller sammenhængende) data, jævnfør metoden fra Clauset, Shalizi og Newman [SIAM Review 51, 661-703 (2009)].

Denne pakke tilbyder to kommandolinjeredskaber, plfit og plgen.

JData-specifikationen (https://github.com/fangq/jdata/) definerer en simpel sproguafhængig annotationsgrænseflade for data målrettet lagring og deling af komplekse datastrukturer på tværs af forskellige programmeringssprog såsom MATLAB, JavaScript, Python etc. Ved at bruge JDATA-formater kan komplekse Pythonstrukturer kodes som et »dict«-objekt, der nemt kan serialiseres som JSON/binær JSON-fil og dele sådanne data mellem programmer i forskellige sprog.

Databehandlingsramme til Python for bygning af komplekse databehandlingsprogrammer ved at kombinere udbredte algoritmer for maskinlæring til datakanaler og netværk. Implementerede algoritmer inkluderer: Principal Component Analysis (PCA), Independent Component Analysis (ICA), Slow Feature Analysis (SFA), Independent Slow Feature Analysis (ISFA), Growing Neural Gas (GNG), Factor Analysis, Fisher Discriminant Analysis (FDA) og gaussiske klassifikationer.

NeXus is a common data format for neutron, X-ray, and muon science. It is being developed as an international standard by scientists and programmers representing major scientific facilities in Europe, Asia, Australia, and North America in order to facilitate greater cooperation in the analysis and visualization of neutron, X-ray, and muon data.

This is the package containing the Python 3 bindings.

PyZoltan is as the name suggests, is a Python wrapper for the Zoltan data management library.

In PyZoltan, only specific routines and objects are wrapped. The following features of Zoltan are currently supported:

• Dynamic load balancing using geometric algorithms
• Unstructured point-to-point communication
• Distributed data directories

OpenLink Virtuoso er en objekt-relation SQL-database med høj ydelse. Den tilbyder transaktioner, en smart SQL-compiler, hot backup, SQL:1999-understøttelse, et kraffuldt stored-procedure sprog der understøtter serverside Java eller .NET, og mere. Den understøtter alle væsentlige grænseflader for datatilgang, inklusiv ODBC, JDBC, ADO.NET og OLE/DB.

Virtuoso understøtter SPARQL indlejret i SQL for forespørgsler til RDF-data gemt i sin database. SPARQL har fordel af understøttelse i motoren på lavt niveau, såsom SPARQL-opmærksomme type-casting regler og en dedikeret IRI-datatype.

Installer denne metapakke for den fulde programpakke som udgør Virtuoso OSE (»Open-Source Edition«)

VisiData er et terminalredskab for flere formål til at undersøge, rense, restrukturere og analysere tabeldata. Kilder understøttet i øjeblikket er TSV, CSV, tekst med fast bredde, JSON, SQLite, HTTP, HTML, .xls og .xlsx (Microsoft Excel).

NeXus is a common data format for neutron, X-ray, and muon science. It is being developed as an international standard by scientists and programmers representing major scientific facilities in Europe, Asia, Australia, and North America in order to facilitate greater cooperation in the analysis and visualization of neutron, X-ray, and muon data.

This is the package containing the development libraries.

NeXus is a common data format for neutron, X-ray, and muon science. It is being developed as an international standard by scientists and programmers representing major scientific facilities in Europe, Asia, Australia, and North America in order to facilitate greater cooperation in the analysis and visualization of neutron, X-ray, and muon data.

This is the package containing the java libraries.

Programmet plfit tilpasser power-law-distributioner til empiriske (diskrete eller sammenhængende) data, jævnfør metoden fra Clauset, Shalizi og Newman [SIAM Review 51, 661-703 (2009)].

Denne pakke indeholder teksthovedfiler, statiske biblioteker og symbolske henvisninger som udviklere, der bruger biblioteket plfit, skal bruge.

Openpyxl er et rent Python 3-modul til at læse/skrive Excel 2007 (OpenXML) xlsx/xlsm-filer.

Denne pakke indeholder selve modulet.

Modular Python implementation of t-Distributed Stochasitc Neighbor Embedding (t-SNE), a popular dimensionality-reduction algorithm for visualizing high-dimensional data sets. openTSNE incorporates the latest improvements to the t-SNE algorithm, including the ability to add new data points to existing embeddings, massive speed improvements, enabling t-SNE to scale to millions of data points and various tricks to improve global alignment of the resulting visualizations.

Programmet plfit tilpasser power-law-distributioner til empiriske (diskrete eller sammenhængende) data, jævnfør metoden fra Clauset, Shalizi og Newman [SIAM Review 51, 661-703 (2009)].

Denne pakke indeholder et Pythonmodul.