Debian Science Linguistics packages

Apertium est un système de traduction automatique libre par correspondances superficielles, développé à l'origine pour des couples de langues voisines.

Il utilise des convertisseurs (« transducers ») à états finis pour le traitement lexical, des automates de Markov à états cachés pour l'analyse grammaticale et un découpage basé sur les états finis pour les correspondances structurelles.

Ce système s'inspire largement de ceux développés par les groupes « Transducens » de l'université d'Alicante comme « interNOSTRUM » (espagnol‑catalan, http://www.internostrum.com/welcome.php) et « Traductor Universia » (espagnol‑portugais, http://traductor.universia.net)

Il est possible d'utiliser Apertium pour créer des systèmes de traduction automatique pour divers couples de langues proches en fournissant simplement les données linguistiques nécessaires dans le format approprié.

Ce paquet fournit des scripts Perl destinés à évaluer une sortie de traduction automatique basée sur Apertium par rapport à une référence⋅: WER, PER, TER, BLEU.

Module for compiling lexical selection rules and processing them in the pipeline.

Artha est un thésaurus anglais hors ligne, avec des fonctionnalités comme :

• recherche de mot par raccourci clavier (sélectionnez un texte sur une fenêtre, puis appuyez sur le raccourci pour rechercher) ;
• recherche par expressions rationnelles (il est possible d'utiliser des jokers comme *, ?, etc.) ;
• notifications de bureau passives (pour la définition des mots, de façon à ne pas interrompre le travail).

Une fois lancé, il surveille la touche de raccourci. Lorsqu'une recherche de texte est lancée, il ouvre une fenêtre d'information avec le mot voulu. Si l'utilisateur préfère une notification passive, une option est disponible.

Lorsque le terme recherché est vague ou inconnu, la recherche peut être étendue en utilisant les expressions rationnelles (*, ?, etc.).

Le paquet wordnet-sense-index est nécessaire pour la recherche par expressions rationnelles.

Il s'agit du compilateur et de l'applicateur Constraint Grammar pour la troisième édition de CG développée et maintenue par VISL SDU et GrammarSoft ApS.

CG-3 peut servir à la désambiguïsation de morphologie, de syntaxe, de sémantique, etc., le balisage de dépendance, le choix de lemme pour le langage cible pour MT, les systèmes QA et bien plus. L'idée centrale est de laisser l'utilisateur choisir quoi faire en fonction de tout le contexte disponible, par opposition aux n-grammes.

Plus de documentation est disponible à https://visl.sdu.dk/cg3.html.

Collatinus peut être utilisé pour lemmatiser des textes latins, c'est à dire extraire des mots et créer un lexique qui indique pour chaque mot sa forme canonique, et comment la forme trouvée effectivement dans le texte peut être dérivée à partir de celle-ci, par exemple en la déclinant. Exemple : rosam donne : rosa-rosae -- acc. sing. Collatinus fournit une interface graphique agréable pour chaque opération.

Collatinus-nouus (pour Collatinus, nouvelle génération) remplace toutes les versions précédentes de Collatinus.

Ce paquet fournit la documentation au format HTML.

Dimbl est une enveloppe autour du classificateur par les k plus proches voisins de TiMBL, proposant une classification parallèle pour les machines à plusieurs CPU. Dimbl divise l’ensemble original d’apprentissage, construit un classificateur Timbl séparé pour chaque sous-ensemble et fusionne leurs ensembles de plus proches voisins par instance classifiée.

Les caractéristiques de Dimbl sont :

 – enveloppe propre autour de TiMBL en conservant toutes les options de
   ligne de commande ;
 – connaissance de ce qui est à réaliser pour deux, quatre ou plusieurs
   cœurs ;
 – utilisation de la spécification d’OpenMP pour la programmation
   parallèle ;
 – possibilité de gains de vitesse superlinéaires comparés à TiMBL
   standard.

Dimbl est un produit du ILK Research Group (Université de Tilbourg, Pays-Bas).

Pour réaliser des recherches scientifiques dans le traitement automatique du langage naturel en utilisant l’apprentissage automatique, Dimbl sera probablement utile.

fastText est une bibliothèque pour l’apprentissage efficace de la représentation de mots et de la classification de phrases, qui fait référence à l’information de sous-mots pour nourrir la vectorisation des mots.

L’apprentissage automatique (Memory-Based Learning – MBL) est une méthode applicable à une grande diversité de tâches concernant le traitement automatique du langage naturel (Natural Language Processing – NLP).

Frog est un système modulaire intégrant un étiqueteur de morphosyntaxe, un lemmatiseur, un analyseur morphologique et un analyseur de dépendances pour les langages naturels. Il est basé sur son prédécesseur TADPOLE (TAgger, Dependency Parser et mOrphoLogical analyzEr). En utilisant des techniques basées sur la mémoire, frog sépare en unités lexicales, étiquette, lemmatise et segmente morphologiquement les unités lexicales des fichiers textuels d’entrée en UTF-8, et assigne un graphe de dépendances à chaque phrase. Frog est particulièrement destiné aux besoins croissants de systèmes rapides et automatiques de traitement du langage naturel (NLP) pour des collections de documents très grandes (plusieurs millions à un milliard de mots) qui deviennent disponibles grâce à la numérisation progressive de données textuelles, anciennes comme nouvelles. Actuellement, frog a seulement été testé et utilisé en utilisant des corpus en langage naturel néerlandais (consulter le paquet frogdata pour des échantillons).

Frog est un produit du centre de technologie du langage et de la parole à l’université Radboud de Nimègue. Il subsume au précédent travail du groupe de recherche ILK (université de Tilbourg, Pays-bas) et le centre de recherche CLiPS (université d’Anvers, Belgique). Il est actuellement entretenu par le « KNAW Humanities Cluster ».

En cas de recherche scientifique en NLP, Frog sera surement utile.

Data package providing Giellatekno language resources for North Saami.

Le logiciel de transducteur à états finis Helsinki est conçu pour la mise en œuvre d’analyseurs morphologiques et d’autres outils basés sur la technologie des transducteurs finis, pondérés ou non.

Minimal HFST optimized lookup format based spell checker library and a demonstrational implementation of command line based spell checker.

La boîte à outils de modélisation de langage IRST peut être utilisée pour apprendre des modèles de langage à partir de données. Les modèles n-gramme crées peuvent être utilisables sur n’importe quel système prenant en charge le format de modèle de langage ARPA.

Ce paquet fournit les outils en ligne de commande.

Detects over 80 languages in UTF-8 text, based largely on groups of four letters. Also tables for 160+ language version.

This is the development package.

Dans « Parsing English with a Link Grammar » (1991) de D. Sleator et D. Temperley, les auteurs définissent un nouveau système grammatical formel appelée « link grammar » (sorte de grammaire de dépendances). Une séquence de mots appartient au langage de la grammaire s'il existe une façon d'établir des liens entre les mots de telle façon que les exigences locales de chaque mot soient satisfaites, que les liens ne se croisent pas et que les mots forment un graphe connexe. Les auteurs ont encodé la grammaire anglaise dans ce système et ont écrit ce programme pour analyser l'anglais en utilisant cette grammaire.

Link-grammar peut être utilisé pour l'analyse linguistique d'informations récupérées ou extraites depuis des documents en langage naturel. Il peut également être utilisé comme vérificateur grammatical.

Ce paquet contient l'exécutable utilisateur.

Ltoolbox fournit les outils de transducteurs finis pour le traitement du langage naturel utilisés par Apertium, une plateforme pour bâtir des systèmes de traduction suivant des règles et la méthode « Hybrid machine translation ». Ce logiciel est aussi utile pour créer des analyses morphologiques et des générateurs pour des applications de traitement de langages naturels.

MBT est un générateur d’étiquetage basé sur la mémoire et un étiqueteur réuni. La partie générateur d’étiquetage peut créer un étiqueteur de phrase sur la base d’un ensemble d’apprentissage de phrases étiquetées. La partie étiqueteur peut étiqueter de nouvelles phrases. MBT peut, par exemple, être utilisé pour l’étiquetage morpho-syntaxique ou l’analyse syntaxique de surface pour le traitement de langage naturel. Fonctions :

 – création d’étiquettes : entrée de texte, sortie texte étiqueté ;
 – boucle de retour facultative : réinjection de précédentes décisions
   d’étiquetage dans l’entrée de la nouvelle décision ;
 – représentation de caractéristiques personnalisable, incorporation de
   caractéristiques fournies par l’utilisateur ;
 – création automatique de sous-étiquettes pour des mots connus ou
   inconnus ;
 – utilisation de tous les paramètres algorithmiques de TiMBL.

MBT est un produit du Centre of Language and Speech Technology (Université Radboud de Nimègue, Pas-Bas), du ILK Research Group (Université de Tilbourg, Pays-Bas) et du CLiPS Research Centre (Université d’Anvers, Belgique).

Pour ceux qui font des recherches scientifiques dans le traitement du langage naturel, MBT sera très probablement utile.

MbtServer étend Mbt avec une couche serveur, exécutant un serveur TCP. MBT est un générateur d’étiquetage basé sur la mémoire et un étiqueteur réuni pour le traitement du langage naturel. MbtServer fournit la possibilité d’accéder à un étiqueteur entraîné à partir de plusieurs sessions. Il permet d’accéder et d’exécuter plusieurs étiqueteurs en parallèle.

MBTServer est un produit du Centre of Language and Speech Technology (Université Radboud de Nimègue, Pas-Bas), du ILK Research Group (Université de Tilbourg, Pays-Bas) et du CLiPS Research Centre (Université d’Anvers, Belgique).

Pour des travaux scientifiques dans le traitement du langage naturel, MbtServer devrait probablement être utile.

La bibliothèque OpenNLP d'Apache est une boîte à outils basée sur l'apprentissage automatique pour le traitement de textes en langage naturel. Il prend en charge les tâches communes de NLP, telles que la tokenisation, la segmentation de phrase, l'étiquetage morpho-syntaxique, l'extraction d'entités nommées, la segmentation, l'analyse et la résolution de coréférences. Ces tâches sont généralement nécessaires pour construire des services de traitement de texte plus évolués. OpenNLP comprend également un apprentissage automatique basé sur le principe d'entropie maximale et le perceptron.

Ce paquet fournit l'enveloppe en ligne de commande.

PyNLPl, pronounced as 'pineapple', is a Python library for Natural Language Processing. It contains various modules useful for common, and less common, NLP tasks. PyNLPl can be used for basic tasks such as the extraction of n-grams and frequency lists, and to build simple language models. It also contains complex data types and algorithms. Moreover, it includes parsers for file formats common in NLP (e.g. FoLiA/Giza/Moses/ARPA/Timbl/CQL) and clients to interface with various NLP specific servers. PyNLPl most notably features a very extensive library for working with FoLiA XML (Format for Linguistic Annotation).

This is the Python 3 version.

Thinc est une bibliothèque d’apprentissage automatique servant de dorsal pour spaCy https://spacy.io. Elle présente un modèle linéaire ayant passé l’épreuve du feu pour de larges problèmes d’apprentissage à vecteurs de support et un modèle de réseau neuronal encore en développement pour spaCy version 2.0 https://spacy.io/usage/v2.

Thinc est une boîte à outils pratique pour mettre en œuvre les modèles qui suivent l’architecture « Embed, encode, attend, predict » (intégrer, encoder, attendre, prédire). Elle est conçue pour être facile à installer, efficace du point de vue utilisation du CPU et optimisée pour le traitement automatique du langage naturel et l’apprentissage profond avec du texte, en particulier, pour une entrée structurée hiérarchiquement.

Il s’agit d’une implémentation pour R de l’algorithme LexRank mettant en œuvre la méthode stochastique basée sur un graphe pour calculer l’importance d’unités textuelles dans le traitement du langage naturel. La technique du problème de résumé de texte est testée. Le résumé de texte extractif repose sur le concept de l’importance relative de la phrase pour identifier les plus importantes dans un document ou un ensemble de documents. L’importance relative est typiquement définie selon la présence de certains mots importants ou selon la similarité avec une pseudo-phrase centroïde.

An R interface to the C libstemmer library that implements Porter's word stemming algorithm for collapsing words to a common root to aid comparison of vocabulary. Currently supported languages are Danish, Dutch, English, Finnish, French, German, Hungarian, Italian, Norwegian, Portuguese, Romanian, Russian, Spanish, Swedish and Turkish.

SentencePiece is an unsupervised text tokenizer/detokenizer mainly designed for Neural Network-based text generation systems where the vocabulary size is predetermined prior to the neural model training.

Memory-Based Learning (MBL) is a machine-learning method applicable to a wide range of tasks in Natural Language Processing (NLP).

The Tilburg Memory Based Learner, TiMBL, is a tool for NLP research, and for many other domains where classification tasks are learned from examples. It is an efficient implementation of k-nearest neighbor classifier.

TiMBL's features are:

• Fast, decision-tree-based implementation of k-nearest neighbor classification;

• Implementations of IB1 and IB2, IGTree, TRIBL, and TRIBL2 algorithms;

• Similarity metrics: Overlap, MVDM, Jeffrey Divergence, Dot product, Cosine;

• Feature weighting metrics: information gain, gain ratio, chi squared, shared variance;

• Distance weighting metrics: inverse, inverse linear, exponential decay;

• Extensive verbosity options to inspect nearest neighbor sets;
• Server functionality and extensive API;
• Fast leave-one-out testing and internal cross-validation;
• and Handles user-defined example weighting.

TiMBL is a product of the Centre of Language and Speech Technology (Radboud University, Nijmegen, The Netherlands), the ILK Research Group (Tilburg University, The Netherlands) and the CLiPS Research Centre (University of Antwerp, Belgium).

If you do scientific research in NLP, timbl will likely be of use to you.

timblserver is a TiMBL wrapper; it adds server functionality to TiMBL. It allows TiMBL to run multiple experiments as a TCP server, optionally via HTTP.

The Tilburg Memory Based Learner, TiMBL, is a tool for Natural Language Processing research, and for many other domains where classification tasks are learned from examples.

TimblServer is a product of the ILK Research Group (Tilburg University, The Netherlands) and the CLiPS Research Centre (University of Antwerp, Belgium).

If you do scientific research in NLP, TimblServer will likely be of use to you.

Ucto can tokenize UTF-8 encoded text files (i.e. separate words from punctuation, split sentences, generate n-grams), and offers several other basic preprocessing steps that make your text suited for further processing such as indexing, part-of-speech tagging, or machine translation.

This package provides the command-line tool itself.

Ucto was written by Maarten van Gompel and Ko van der Sloot. Work on Ucto was funded by NWO, the Netherlands Organisation for Scientific Research, under the Implicit Linguistics project, the CLARIN-NL program, and the CLARIAH project.

Ucto is a product of the Centre of Language and Speech Technology (Radboud University Nijmegen), and previously the ILK Research Group (Tilburg University, The Netherlands).

If you are interested in machine parsing of UTF-8 encoded text files, e.g. to do scientific research in natural language processing, ucto will likely be of use to you.

Ucto can tokenize UTF-8 encoded text files (i.e. separate words from punctuation, split sentences, generate n-grams), and offers several other basic preprocessing steps that make your text suited for further processing such as indexing, part-of-speech tagging, or machine translation.

This package provides necessary language-specific datafiles for running Ucto.

Ucto was written by Maarten van Gompel and Ko van der Sloot. Work on Ucto was funded by NWO, the Netherlands Organisation for Scientific Research, under the Implicit Linguistics project, the CLARIN-NL program, and the CLARIAH project.

Ucto is a product of the Centre of Language and Speech Technology (Radboud University Nijmegen), and previously the ILK Research Group (Tilburg University, The Netherlands).

WordNet(C) is an on-line lexical reference system whose design is inspired by current psycholinguistic theories of human lexical memory. English nouns, verbs, adjectives and adverbs are organized into synonym sets, each representing one underlying lexical concept. Different relations link the synonym sets.

WordNet was developed by the Cognitive Science Laboratory at Princeton University under the direction of Professor George A. Miller (Principal Investigator).

WordNet is considered to be the most important resource available to researchers in computational linguistics, text analysis, and many related areas.

Binary and manpages of WordNet as well as general manpages.

Il s'agit d'un paquet factice de transition. Il peut être supprimé en toute sécurité.

Ce paquet fournit APY d'Apertium qui est une API simple pour Apertium écrite en Python 3 et conçue pour un remplacement direct de ScaleMT.

Il s'agit d'un paquet de données fournissant les ressources linguistiques Apertium pour l'aragonais.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre l'aragonais et le catalan.

Il s’agit d’un paquet de données fournissant les ressources linguistiques d’Apertium pour le biélorusse.

Ce paquet fournit les ressources linguistiques d’Apertium pour faire des traductions entre le biélorusse et le russe.

Ce paquet fournit un paquet linguistique pour le système de traduction automatique par correspondances superficielles Apertium. Il permet de faire des traductions entre le breton et le français.

Il s'agit d'un paquet factice de transition. Il peut être supprimé en toute sécurité.

Il s’agit d’un paquet de données fournissant les ressources linguistiques Apertium pour le catalan.

Ce paquet fournit les ressources linguistiques d'Apertium pour faire des traductions entre le catalan et le sarde.

Il s'agit d'un paquet de données fournissant les ressources linguistiques d'Apertium pour le tatar de Crimée.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre le tatar de Crimée et le turc.

Ce paquet fournit un paquet linguistique pour le système de traduction automatique par correspondances superficielles Apertium. Il permet de faire des traductions entre le gallois et l'anglais.

Il s’agit d’un paquet de données fournissant les ressources linguistiques Apertium pour le danois.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre le danois et les variantes Nynorsk et Bokmål du norvégien et entre le danois et le norvégien Nynorsk.

Il s'agit d'un paquet factice de transition. Il peut être supprimé en toute sécurité.

This is a transitional dummy package. It can safely be removed.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre l'anglais et le galicien.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre l'espéranto et le catalan.

Ce paquet fournit un paquet linguistique pour le système de traduction automatique par correspondances superficielles Apertium. Il permet de faire des traductions entre l'espéranto et l'anglais.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre l'espéranto et l'espagnol.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre l'espéranto et le français.

Il s'agit d'un paquet factice de transition. Il peut être supprimé en toute sécurité.

Il s’agit d’un paquet factice de transition. Il peut être supprimé en toute sécurité.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre l'espagnol et le galicien.

Il s’agit d’un paquet factice de transition. Il peut être supprimé en toute sécurité.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre l'espagnol et le portugais.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre l'espagnol et le roumain.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre le basque et l'anglais.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre le basque et l'espagnol.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre le français et l'espagnol.

Il s'agit d'un paquet de données fournissant les ressources linguistiques d’Apertium pour le français.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre le français et le catalan.

Il s’agit d’un paquet de données fournissant les ressources linguistiques Apertium pour le serbo-croate.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre le serbo-croate et l'anglais.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre le serbo-croate et le macédonien.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre le serbo-croate et le slovénien.

Il s’agit d’un paquet de données fournissant les ressources linguistiques Apertium pour le hindi.

Il s'agit d'un paquet factice de transition. Il peut être supprimé en toute sécurité.

This is a transitional dummy package. It can safely be removed.

Il s’agit d’un paquet de données fournissant les ressources linguistiques Apertium pour l’islandais.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre l'islandais et l'anglais.

Il s’agit d’un paquet de données fournissant les ressources linguistiques Apertium pour l’italien.

Il s'agit d'un paquet de données fournissant les ressources linguistiques Apertium pour le kazakh.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre le kazakh et le tatar.

This is a transitional dummy package. It can safely be removed.

This is a transitional dummy package. It can safely be removed.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre le maltais et l'arabe.

Il s’agit d’un paquet de données fournissant les ressources linguistiques Apertium pour le norvégien Nynorsk.

Il s'agit d'un paquet de données fournissant les ressources linguistiques Apertium pour les traductions entre le norvégien Nynorsk et le norvégien Bokmål.

Il s’agit d’un paquet de données fournissant les ressources linguistiques Apertium pour le norvégien Bokmål.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre l'occitan et le catalan.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre l'occitan et l'espagnol.

Il s’agit d’un paquet de données fournissant les ressources linguistiques d’Apertium pour l’occitan.

Il s’agit d’un paquet de données fournissant les ressources linguistiques d’Apertium pour le polonais.

Ce paquet fournit les ressources linguistiques d’Apertium pour faire des traductions entre le polonais et le silésien.

Il s’agit d’un paquet factice de transition. Il peut être supprimé en toute sécurité.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre le portugais et le galicien.

Il s'agit d'un paquet de données fournissant les ressources linguistiques d'Apertium pour le russe.

Ce paquet fournit un module Apertium pour réordonner des multimots séparables ou non contigus.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre le sámi et le bokmål.