Debian Science Linguistics packages

오픈 소스 shallow-transfer machine 번역 엔진인, Apertium은 초기에 동족 언어 쌍을 목표로했습니다.

음성 처리를 위한 유한 상태 변환기, 품사 태깅을 위한 숨겨진 마르코프 모델, 구조 전달을 위한 상태 기반 청킹을 사용합니다.

시스템은 interNOSTRUM (스페인-카탈로니아어, http://www.internostrum.com/welcome.php) 및 Traductor 대학 (스페인-포루투갈 어, http://traductor.universia.net)과 같은 d'Alacant 대학 Transducens 그룹 에서 이미 개발한 시스템을 기반으로 합니다.

올바를 형식으로 필요한 언어 데이타를 제공하기만 한다면 다양한 동족 언어 쌍 을 위한 기계 번역 시스템 구축을 위해 Apertiumd을 사용하는 것이 가능할 겁니다.

This package contails Perl scripts to evaluate Apertium-based machine translation output against reference: WER, PER, TER, BLEU.

Module for compiling lexical selection rules and processing them in the pipeline.

Artha is a off-line English thesaurus with distinct features like:

• hot-key press word look-up (select text on any window and press a preset hot-key for look-up)
• regular expressions based search (broaden search using wild-cards like *, ?, etc.)
• passive desktop notifications (of word definitions for uninterrupted work-flow)
• spelling suggestions (when the exact spelling is vague/not known)

Once launched, it monitors for a preset hot-key combination. When some text is selected on any window and the hot-key is pressed, it pops-up with the word looked-up. Should the user prefer passive notifications, this can be done by enabling the notifications option.

When the term looked for is vague/not known, then either the search can be broadened with the use of regular expressions (*, ?, etc.) in the search string or spelling suggestions when a term is incorrect.

For regular expressions based search to work, wordnet-sense-index package is required.

Constraint Grammar compiler and applicator for the 3rd edition of CG that is developed and maintained by VISL SDU and GrammarSoft ApS.

CG-3 can be used for disambiguation of morphology, syntax, semantics, etc; dependency markup, target language lemma choice for MT, QA systems, and much more. The core idea is that you choose what to do based on the whole available context, as opposed to n-grams.

See https://visl.sdu.dk/cg3.html for more documentation

Collatinus can be used to lemmatise latin texts, i.e. extract words and make a lexicon which indicates for each word its canonic form, and how the form actually found in the text was derived from it, for instance by declining it. Example : rosam gives : rosa-rosae -- acc. sing. Collatinus provides a nice graphic front-end to each operation.

Collatinus-nouus (stands for Collatinus, new generation) replaces every previous version of Collatinus.

This package provides a documentation in HTML format.

Dimbl은 TiMBL에서 k-nearest 이웃 분류자를 둘러싼 레퍼로, 멀티 CPU 머신에서 병렬 분류를 제공합니다. Dimbl은 원래 학습 집합을 분할하고, 학습 하위 집합마 다 별도의 TiMBL 분류자를 만들고, 그리고 분류된 인스턴스별로 가장 가까운 이 웃 집합을 병합합니다.

Dimbl의 기능은 다음과 같습니다:

• 모든 명령행 옵션을 유지하면서 TiMBL 주위를 깔끔하게 정리;
• 멀티, 듀오, 또는 쿼드 코어로 무엇을 할지 알고 있음;
• 병렬 프로그램을 위한 OpenMP 사양을 사용함;
• 표준 TiMBL과 비교해서 초고속의 속도를 얻을 수 있음.

Dimbl은 ILK 연구소 그룹 (네덜란드에 Tilburg 대학교)의 제품입니다.

메모리 기반 학습 기술을 사용해서 자연어 처리에 대한 과학적 연구를 한다면 Dimbl은 유용할 것입니다.

fastText is a library for efficient learning of word representations and sentence classification, which refers subword information to enrich word vectors.

Memory-Based Learning (MBL) is a machine-learning method applicable to a wide range of tasks in Natural Language Processing (NLP).

Frog is a modular system integrating a morphosyntactic tagger, lemmatizer, morphological analyzer, and dependency parser for natural languages. It is based upon it's predecessor TADPOLE (TAgger, Dependency Parser, and mOrphoLogical analyzEr). Using Memory-Based Learning techniques, frog tokenizes, tags, lemmatizes, and morphologically segments word tokens in incoming UTF-8 text files, and assigns a dependency graph to each sentence. Frog is particularly targeted at the increasing need for fast, automatic NLP systems applicable to very large (multi-million to billion word) document collections that are becoming available due to the progressive digitization of both new and old textual data. Up to now, frog has only been tested and used using corpora of Dutch natural language (see the frogdata package for samples).

Frog is a product of the Centre of Language and Speech Technology at Radboud University Nijmegen, it subsumes previous work by the ILK Research Group (Tilburg University, The Netherlands) and the CLiPS Research Centre (University of Antwerp, Belgium). It is currently maintained at the KNAW Humanities Cluster.

If you do scientific research in NLP, Frog will likely be of use to you.

Data package providing Giellatekno language resources for North Saami.

The Helsinki Finite-State Transducer software is intended for the implementation of morphological analysers and other tools which are based on weighted and unweighted finite-state transducer technology.

Minimal HFST optimized lookup format based spell checker library and a demonstrational implementation of command line based spell checker.

IRST 언어 모델링 툴킷은 데이타에서 언어 모델을 학습하는데 사용될 수 있습니 다. 생성된 n-gram 모델들은 ARPA 언어 모델 형식을 지원하는 모든 시스템에서 사용할 있습니다.

이 패키지는 명령행 도구를 제공합니다.

Detects over 80 languages in UTF-8 text, based largely on groups of four letters. Also tables for 160+ language version.

This is the development package.

Sleator, D. and Temperley, D. "Parsing English with a Link Grammar" (1991),에서 저자는 "링크 문법"이라고 하는 새로운 형식에 문법 시스템을 정의했습니다. 각 단어의 지역적 요구 사항이 충족되고, 링크가 교차하지 않으며, 단어들이 연결된 그래프를 형성하는 방식으로 단어 사이에 "링크"를 그리는 방법이 있다면 단어 시퀀스는 링크 문법의 언어로 되어 있습니다. 저자는 영어 문법을 이러한 시스템으로 인코딩하고 이 문법을 사용해서 영어를 파싱하기 위해 이 프로그램을 개발했습니다.

link 문법은 자연어 문서에서 정보 검색 또는 추출을 위한 언어 파싱에 사용할 수 있습니다. 또한 문법 검사기로도 사용할 수 있습니다.

이 패키지는 사용자 실행가능한 바이너리를 포함합니다.

lttoolbox는 규칙 기반 및 하이브리드 장비 변환 시스템을 구축하기 위한 플랫폼 인, Apertium에서 사용되는 자연어 처리를 위한 증강된 문자 변환 도구를 포함합 니다. 소프트웨어는 자연어 처리 어플리케이션용 형태소 분석기 및 생성기를 만 드는데 유용합니다.

MBT는 하나의 메모리 기반 tagger-generator 및 tagger 입니다. tagger-generator 파트는 태깅된 시퀀스의 트레이닝 세트를 기반으로 시퀀스 tagger를 생성할 수 있습니다; tagger 파트는 새로운 시퀀스에 태그를 지정할 수 있습니다. 예를 들어, MBT는 자연어 처리를 위해 품사 tagger 또는 chunker를 생성하는데 사용할 수 있습니다. 특징들:

• Tagger 생성: 태그가 있는 텍스트 입력, tagger 제거,
• 선택적 피드백 루프: 이전 태그 결정을 다음 결정 입력으로 다시 피드백,
• 쉽게 사용자 정의가 가능한 기능 표현; 사용자 제공 기능 통합,
• 알려진 단어와 알려지지 않은 단어에 대한 별도의 하위 태그 자동 생성,
• TiMBL 전체 알고리즘 매개 변수를 사용할 수 있습니다.

MBT는 언어 및 음성 기술 센터 (네덜란드 Radboud 대학 Nijmegen), ILK 연구 그룹 (네덜란드 Tilburg 대학), CLiPS 연구센터 (벨기에 Antwerp 대학)의 제품입니다.

자연어 처리에 대한 과학적 연구를 수행한다면, MBT는 매우 유용할 것 입니다.

MbtServer extends Mbt with a server layer, running as a TCP server. Mbt is a memory-based tagger-generator and tagger for natural language processing. MbtServer provides the possibility to access a trained tagger from multiple sessions. It also allows one to run and access different taggers in parallel.

MbtServer is a product of the Centre for Language and Speech Technology (Radboud University, Nijmegen, The Netherlands), the ILK Research Group (Tilburg University, The Netherlands) and the CLiPS Research Centre (University of Antwerp, Belgium).

If you do scientific research in natural language processing, MbtServer will likely be of use to you.

The Apache OpenNLP library is a machine learning based toolkit for the processing of natural language text. It supports the most common NLP tasks, such as tokenization, sentence segmentation, part-of-speech tagging, named entity extraction, chunking, parsing, and coreference resolution. These tasks are usually required to build more advanced text processing services. OpenNLP also included maximum entropy and perceptron based machine learning.

This package contains the command line wrapper.

PyNLPl, pronounced as 'pineapple', is a Python library for Natural Language Processing. It contains various modules useful for common, and less common, NLP tasks. PyNLPl can be used for basic tasks such as the extraction of n-grams and frequency lists, and to build simple language models. It also contains complex data types and algorithms. Moreover, it includes parsers for file formats common in NLP (e.g. FoLiA/Giza/Moses/ARPA/Timbl/CQL) and clients to interface with various NLP specific servers. PyNLPl most notably features a very extensive library for working with FoLiA XML (Format for Linguistic Annotation).

This is the Python 3 version.

Thinc is the machine learning library powering spaCy https://spacy.io. It features a battle-tested linear model designed for large sparse learning problems, and a flexible neural network model under development for spaCy v2.0 https://spacy.io/usage/v2.

Thinc is a practical toolkit for implementing models that follow the "Embed, encode, attend, predict" architecture. It's designed to be easy to install, efficient for CPU usage and optimised for NLP and deep learning with text – in particular, hierarchically structured input and variable-length sequences.

An R implementation of the LexRank algorithm implementing stochastic graph-based method for computing relative importance of textual units for Natural Language Processing. The technique on the problem of Text Summarization (TS) is tested. Extractive TS relies on the concept of sentence salience to identify the most important sentences in a document or set of documents. Salience is typically defined in terms of the presence of particular important words or in terms of similarity to a centroid pseudo-sentence.

An R interface to the C libstemmer library that implements Porter's word stemming algorithm for collapsing words to a common root to aid comparison of vocabulary. Currently supported languages are Danish, Dutch, English, Finnish, French, German, Hungarian, Italian, Norwegian, Portuguese, Romanian, Russian, Spanish, Swedish and Turkish.

SentencePiece is an unsupervised text tokenizer/detokenizer mainly designed for Neural Network-based text generation systems where the vocabulary size is predetermined prior to the neural model training.

Memory-Based Learning (메모리 기반 학습/MBL)은 자연어 처리 (NLP)의 다양한 작업에 적용할 수 있는 기계 학습 방법입니다.

틸부르프 메모리 기반 학습자, TiMBL,은 NLP 연구를 위한 도구이며, 예제로 분류 작업을 배운 다른 많은 도메인을 위한 도구입니다. k-근접 이웃 분류자의 효과적 구현입니다.

TiMBL의 기능:

• k-근접 이웃 분류자의 빠른 의사 결정 트리 기반 구현;
• IB1 및 IB2, IGTree, TRIBL, 및 TRIBL2 알고리즘 구현;
• 유사성 지표: 중복, MVDM, Jeffrey Divergence, Dot 제품, 코사인;
• 기능 가중치 지표: 정보 획득, 게인 비율, 카이 제곱, 공유 분산;
• 거리 가중치 지표: 역, 역 선형, 기하급수적 감쇠;
• 가장 근접한 이웃 세트를 검사하는 매우 자세한 옵션;
• 서버 기능 및 광범위한 API;
• 빠른 leave-one-out 테스팅 및 내부 교차 확인;
• 그리고 사용자 정의 예제 가중치 처리.

TiMBL은 언어 및 음성 기술 센터 (Radboud University, Nijmegen, The Netherlands), ILK 연구소 그룹 (Tilburg University, The Netherlands) 및 CLiPS 연구소 센터 (University of Antwerp, Belgium)의 제품입니다.

NLP에서 과학 연구를 한다면, timbl은 당신에게 유용할 것 입니다.

timblserver는 TiMBL 래퍼입니다; TiMBL에 서버 기능을 추가합니다. 이를 통해 TiMBL은 선택적으로 HTTP를 통해 TCP 서버로 여러 실험을 실행할 수 있습니다.

Tilburg Memory Based Learner, TiMBL은 자연어 처리 연구 및 분류 작업이 예제로 부터 학습되는 다른 많은 도메인을 위한 도구입니다.

TimblServer는 ILK 연구 그룹(네덜란드 Tilburg 대학)과 CLiPS 연구 센터 (벨기에 Antwerp 대학)의 제품입니다.

NLP에서 과학적 연구를 한다면, TimblServer는 유용할 것 입니다.

Ucto는 UTF-8로 인코드된 텍스트 파일을 토큰화 (예, 구두점과 단어 구분, 문장 분할, n-gram 생성) 할 수 있으며, 인덱싱, 품사 태깅, 또는 기계 번역 같은 추 가 처리에 적합한 텍스트를 만들기 위한 몇가지 기본 전처리 단계를 제공합니다.

이 패키지는 명령행 도구 자체를 제공합니다.

Ucto는 Maarten van Gompel 과 Ko van der Sloot이 개발하였습니다. Ucto에서의 작업은 NWO, 네덜란드 과학 연구 기관, 암묵적 언어학 프로젝트, CLARIN-NL 프로 그램, 및 CLARIAH 프로젝트에 의해 지원되었습니다.

Ucto는 언어 및 음성 기술 센터 (Radboud University Nijmegen) 및 이전 ILK 연 구 그룹 (Tilburg University, The Netherlands)의 제품입니다.

자연어 처리에 대한 과학적 연구처럼, UTF-8로 인코드된 파일의 기계 구문 분석 에 관심이 있다면, ucto는 당신에게 유용할 것입니다.

Ucto can tokenize UTF-8 encoded text files (i.e. separate words from punctuation, split sentences, generate n-grams), and offers several other basic preprocessing steps that make your text suited for further processing such as indexing, part-of-speech tagging, or machine translation.

This package provides necessary language-specific datafiles for running Ucto.

Ucto was written by Maarten van Gompel and Ko van der Sloot. Work on Ucto was funded by NWO, the Netherlands Organisation for Scientific Research, under the Implicit Linguistics project, the CLARIN-NL program, and the CLARIAH project.

Ucto is a product of the Centre of Language and Speech Technology (Radboud University Nijmegen), and previously the ILK Research Group (Tilburg University, The Netherlands).

WordNet(C)는 현재 어휘 기억의 심리 언어학적 이론에 영감을 받아 개발된 온라 인 어휘 참조 시스템입니다. 영어 명사, 동사, 형용사, 부사는 각각 하나의 기본 어휘 개념을 나타내는 동의어 집합으로 구성됩니다. 서로 다른 관계가 동의어 집 합을 연결합니다.

WordNet은 George A. Miller 교수(프로젝트 수석 연구원)의 지도하에 프린스턴 대학에 인지 과학 연구소에서 개발되었습니다.

WordNet은 전산 언어학, 텍스트 분석, 많은 관련 분야에서 연구자가 이용할 수 있는 가장 중요한 자원으로 간주됩니다.

WordNet의 바이너리와 맨페이지, 그리고 일반 맨페이지.

This is a transitional dummy package. It can safely be removed.

This package contains Apertium APY which is simple Apertium API written in Python 3 meant as a drop-in replacement for ScaleMT.

Data package providing Apertium language resources for Aragonese

Data package providing Apertium language resources for translating between the Aragonese and Catalan languages.

Data package providing Apertium language resources for Belarusian.

Data package providing Apertium language resources for translating between the Belarusian and Russian languages.

This is a linguistic package for the Apertium shallow-transfer machine translation system. The package can be used to translate between Breton and French.

This is a transitional dummy package. It can safely be removed.

Data package providing Apertium language resources for Catalan.

Data package providing Apertium language resources for translating between the Catalan and Sardinian languages.

Data package providing Apertium language resources for Crimean Tatar

Data package providing Apertium language resources for translating between the Crimean Tatar and Turkish languages.

Data package providing Apertium language resources for translating between the Welsh and English languages.

Data package providing Apertium language resources for Danish.

Data package providing Apertium language resources for translating from the Danish to the Norwegian Nynorsk/Norwegian Bokmål variants and from Danish to Norwegian Nynorsk.

This is a transitional dummy package. It can safely be removed.

This is a transitional dummy package. It can safely be removed.

Data package providing Apertium language resources for translating between the English and Galician languages.

Data package providing Apertium language resources for translating between the Esperanto and Catalan languages.

This is a linguistic package for the Apertium shallow-transfer machine translation system. The package can be used to translate between Esperanto and English.

Data package providing Apertium language resources for translating between the Esperanto and Spanish languages.

Data package providing Apertium language resources for translating between the Esperanto and French languages.

This is a transitional dummy package. It can safely be removed.

This is a transitional dummy package. It can safely be removed.

Data package providing Apertium language resources for translating between the Spanish and Galician languages.

This is a transitional dummy package. It can safely be removed.

Data package providing Apertium language resources for translating between the Spanish and Portuguese languages.

Data package providing Apertium language resources for translating between the Spanish and Romanian languages.

Data package providing Apertium language resources for translating between the Basque and English languages.

Data package providing Apertium language resources for translating between the Basque and Spanish languages.

Data package providing Apertium language resources for translating between the French and Spanish languages.

Data package providing Apertium language resources for French.

Data package providing Apertium language resources for translating between the French and Catalan languages.

Data package providing Apertium language resources for Serbo-Croatian.

Data package providing Apertium language resources for translating between the Serbo-Croatian and English languages.

Data package providing Apertium language resources for translating between the Serbo-Croatian and Macedonian languages.

Data package providing Apertium language resources for translating between the Serbo-Croatian and Slovenian languages.

Data package providing Apertium language resources for Hindi.

This is a transitional dummy package. It can safely be removed.

This is a transitional dummy package. It can safely be removed.

Data package providing Apertium language resources for Icelandic.

Data package providing Apertium language resources for translating between the Icelandic and English languages.

Data package providing Apertium language resources for Italian.

Data package providing Apertium language resources for Kazakh

Data package providing Apertium language resources for translating between the Kazakh and Tatar languages.

This is a transitional dummy package. It can safely be removed.

This is a transitional dummy package. It can safely be removed.

Data package providing Apertium language resources for translating between the Maltese and Arabic languages.

Data package providing Apertium language resources for Norwegian Nynorsk.

Data package providing Apertium language resources for translating between the Norwegian Nynorsk and Norwegian Bokmål languages.

Data package providing Apertium language resources for Norwegian Bokmål.

Data package providing Apertium language resources for translating between the Occitan and Catalan languages.

Data package providing Apertium language resources for translating between the Occitan and Spanish languages.

Data package providing Apertium language resources for Occitan.

Data package providing Apertium language resources for Polish.

Data package providing Apertium language resources for translating between the Polish and Silesian languages.

This is a transitional dummy package. It can safely be removed.

포르투갈어와 갈라시아어 사이에 번역을 위한 아페르티움 언어 리소스를 제공하는 데이터 패키지.

Data package providing Apertium language resources for Russian

Apertium module for reordering separable/discontiguous multiwords.

Data package providing Apertium language resources for translating between the Northern Sami and Norwegian Bokmål languages.