Debian Science Project
Summary
Data management
Debian Science Data Management packages

This metapackage will install packages to assist with data management tasks, such as obtaining data from remote resources, keeping data under version control, etc.

Description

For a better overview of the project's availability as a Debian package, each head row has a color code according to this scheme:

If you discover a project which looks like a good candidate for Debian Science to you, or if you have prepared an unofficial Debian package, please do not hesitate to send a description of that project to the Debian Science mailing list

Links to other tasks

Debian Science Data management packages

Official Debian packages with high relevance

Datalad
data files management and distribution platform
Versions of package datalad
ReleaseVersionArchitectures
buster0.11.2-2all
sid0.13.5-1all
stretch0.4.1-1all
Popcon: 28 users (17 upd.)*
Versions and Archs
License: DFSG free
Git

DataLad is a data management and distribution platform providing access to a wide range of data resources already available online. Using git-annex as its backend for data logistics it provides following facilities built-in or available through additional extensions

  • command line and Python interfaces for manipulation of collections of datasets (install, uninstall, update, publish, save, etc.) and separate files/directories (add, get)

  • extract, aggregate, and search through various sources of metadata (xmp, EXIF, etc; install datalad-neuroimaging for DICOM, BIDS, NIfTI support)

  • crawl web sites to automatically prepare and update git-annex repositories with content from online websites, S3, etc (install datalad-crawler)
Datalad-container
DataLad extension for working with containerized environments
Maintainer: Yaroslav Halchenko
Versions of package datalad-container
ReleaseVersionArchitectures
sid1.0.1-1all
buster0.2.2-2all
Popcon: 3 users (2 upd.)*
Versions and Archs
License: DFSG free

This extension enhances DataLad (http://datalad.org) for working with computational containers.

Git-annex
git 내에서 파일 내용을 확인하지 않고, git으로 파일 관리
Versions of package git-annex
ReleaseVersionArchitectures
stretch-security6.20170101-1+deb9u1amd64,i386
stretch6.20170101-1+deb9u2amd64,arm64,i386,mips,mips64el,mipsel,ppc64el,s390x
buster7.20190129-3amd64,arm64,armel,armhf,i386,mips,mips64el,mipsel,ppc64el,s390x
bullseye8.20200908-1amd64,arm64,armel,armhf,i386,mips64el,mipsel,ppc64el,s390x
sid8.20200908-1ppc64el
sid8.20201103-1amd64,arm64,armel,armhf,i386,mips64el,mipsel,s390x
wheezy3.20120629amd64,armel,armhf,i386,kfreebsd-amd64,kfreebsd-i386,mips,mipsel,powerpc,s390,s390x,sparc
wheezy-security3.20120629+deb7u1amd64,armel,armhf,i386
jessie5.20141125+deb8u1amd64,armel,armhf,i386
jessie-security5.20141125+oops-1+deb8u2amd64,armel,armhf,i386
Debtags of package git-annex:
develrcs
roleprogram
works-withfile
Popcon: 493 users (93 upd.)*
Versions and Archs
License: DFSG free
Git

git-annex는 git 내에서 파일 내용을 확인하지 않으면서, git으로 파일을 관리합 니다. 역설적으로 들릴 수도 있지만, 메모리, 시간 또는 디스크 용량의 제한으로 git이 용이하게 처리할 수 있는 것보다 더 큰 파일을 다룰때 매우 유용합니다.

로컬 하드 디스크에서 S3, WebDav, rsync등을 포함하는, 플러그인을 통해서 사용 할 수 있는 여러 클라우드 스토리지 공급자들이 제공하는 많은 클라우드 스토리 지 서비스로 여러 위치에 큰 파일들을 저장 할 수 있습니다. 파일은 gpg를 통해 서 암호화되어 저장될 수 있으며, 따라서 클라우드 스토리지 공급자는 사용자 데 이타를 볼 수 없습니다. git-annex는 어디에 개별 파일들이 저장되는지 추적하 며, 따라서 얼마나 많은 복사본이 있는지 알고 있어 데이타를 보존할 수 있는 많 은 기능들을 가지고 있습니다.

git-annex는 컴퓨터간 폴더를 싱크하고, 파일이 변경되면 이를 알아차려 자동으 로 변경된 파일을 git에 커밋하고 변경된 파일을 다른 컴퓨터로 전송하는데 사용 될 수 있습니다. git-annex webapp은 git-annex를 쉽게 사용할 수 있도록 합니다.

The package is enhanced by the following packages: elpa-git-annex elpa-magit-annex keysafe
*Popularitycontest results: number of people who use this package regularly (number of people who upgraded this package recently) out of 200793