Debian Science Linguistics packages

Apertium est un système de traduction automatique libre par correspondances superficielles, développé à l'origine pour des couples de langues voisines.

Il utilise des convertisseurs (« transducers ») à états finis pour le traitement lexical, des automates de Markov à états cachés pour l'analyse grammaticale et un découpage basé sur les états finis pour les correspondances structurelles.

Ce système s'inspire largement de ceux développés par les groupes « Transducens » de l'université d'Alicante comme « interNOSTRUM » (espagnol‑catalan, http://www.internostrum.com/welcome.php) et « Traductor Universia » (espagnol‑portugais, http://traductor.universia.net)

Il est possible d'utiliser Apertium pour créer des systèmes de traduction automatique pour divers couples de langues proches en fournissant simplement les données linguistiques nécessaires dans le format approprié.

Ce paquet fournit des scripts Perl destinés à évaluer une sortie de traduction automatique basée sur Apertium par rapport à une référence⋅: WER, PER, TER, BLEU.

Module for compiling lexical selection rules and processing them in the pipeline.

Artha est un thésaurus anglais hors ligne, avec des fonctionnalités comme :

• recherche de mot par raccourci clavier (sélectionnez un texte sur une fenêtre, puis appuyez sur le raccourci pour rechercher) ;
• recherche par expressions rationnelles (il est possible d'utiliser des jokers comme *, ?, etc.) ;
• notifications de bureau passives (pour la définition des mots, de façon à ne pas interrompre le travail).

Une fois lancé, il surveille la touche de raccourci. Lorsqu'une recherche de texte est lancée, il ouvre une fenêtre d'information avec le mot voulu. Si l'utilisateur préfère une notification passive, une option est disponible.

Lorsque le terme recherché est vague ou inconnu, la recherche peut être étendue en utilisant les expressions rationnelles (*, ?, etc.).

Le paquet wordnet-sense-index est nécessaire pour la recherche par expressions rationnelles.

Il s'agit du compilateur et de l'applicateur Constraint Grammar pour la troisième édition de CG développée et maintenue par VISL SDU et GrammarSoft ApS.

CG-3 peut servir à la désambiguïsation de morphologie, de syntaxe, de sémantique, etc., le balisage de dépendance, le choix de lemme pour le langage cible pour MT, les systèmes QA et bien plus. L'idée centrale est de laisser l'utilisateur choisir quoi faire en fonction de tout le contexte disponible, par opposition aux n-grammes.

Plus de documentation est disponible à https://visl.sdu.dk/cg3.html.

Collatinus peut être utilisé pour lemmatiser des textes latins, c'est à dire extraire des mots et créer un lexique qui indique pour chaque mot sa forme canonique, et comment la forme trouvée effectivement dans le texte peut être dérivée à partir de celle-ci, par exemple en la déclinant. Exemple : rosam donne : rosa-rosae -- acc. sing. Collatinus fournit une interface graphique agréable pour chaque opération.

Collatinus-nouus (pour Collatinus, nouvelle génération) remplace toutes les versions précédentes de Collatinus.

Ce paquet fournit la documentation au format HTML.

Dimbl est une enveloppe autour du classificateur par les k plus proches voisins de TiMBL, proposant une classification parallèle pour les machines à plusieurs CPU. Dimbl divise l’ensemble original d’apprentissage, construit un classificateur Timbl séparé pour chaque sous-ensemble et fusionne leurs ensembles de plus proches voisins par instance classifiée.

Les caractéristiques de Dimbl sont :

 – enveloppe propre autour de TiMBL en conservant toutes les options de
   ligne de commande ;
 – connaissance de ce qui est à réaliser pour deux, quatre ou plusieurs
   cœurs ;
 – utilisation de la spécification d’OpenMP pour la programmation
   parallèle ;
 – possibilité de gains de vitesse superlinéaires comparés à TiMBL
   standard.

Dimbl est un produit du ILK Research Group (Université de Tilbourg, Pays-Bas).

Pour réaliser des recherches scientifiques dans le traitement automatique du langage naturel en utilisant l’apprentissage automatique, Dimbl sera probablement utile.

fastText est une bibliothèque pour l’apprentissage efficace de la représentation de mots et de la classification de phrases, qui fait référence à l’information de sous-mots pour nourrir la vectorisation des mots.

Memory-Based Learning (MBL) is a machine-learning method applicable to a wide range of tasks in Natural Language Processing (NLP).

Frog is a modular system integrating a morphosyntactic tagger, lemmatizer, morphological analyzer, and dependency parser for natural languages. It is based upon it's predecessor TADPOLE (TAgger, Dependency Parser, and mOrphoLogical analyzEr). Using Memory-Based Learning techniques, frog tokenizes, tags, lemmatizes, and morphologically segments word tokens in incoming UTF-8 text files, and assigns a dependency graph to each sentence. Frog is particularly targeted at the increasing need for fast, automatic NLP systems applicable to very large (multi-million to billion word) document collections that are becoming available due to the progressive digitization of both new and old textual data. Up to now, frog has only been tested and used using corpora of Dutch natural language (see the frogdata package for samples).

Frog is a product of the Centre of Language and Speech Technology at Radboud University Nijmegen, it subsumes previous work by the ILK Research Group (Tilburg University, The Netherlands) and the CLiPS Research Centre (University of Antwerp, Belgium).

If you do scientific research in NLP, Frog will likely be of use to you.

Data package providing Giellatekno language resources for North Saami.

Le logiciel de transducteur à états finis Helsinki est conçu pour la mise en œuvre d’analyseurs morphologiques et d’autres outils basés sur la technologie des transducteurs finis, pondérés ou non.

Minimal HFST optimized lookup format based spell checker library and a demonstrational implementation of command line based spell checker.

La boîte à outils de modélisation de langage IRST peut être utilisée pour apprendre des modèles de langage à partir de données. Les modèles n-gramme crées peuvent être utilisables sur n’importe quel système prenant en charge le format de modèle de langage ARPA.

Ce paquet fournit les outils en ligne de commande.

Detects over 80 languages in UTF-8 text, based largely on groups of four letters. Also tables for 160+ language version.

This is the development package.

Dans « Parsing English with a Link Grammar » (1991) de D. Sleator et D. Temperley, les auteurs définissent un nouveau système grammatical formel appelée « link grammar » (sorte de grammaire de dépendances). Une séquence de mots appartient au langage de la grammaire s'il existe une façon d'établir des liens entre les mots de telle façon que les exigences locales de chaque mot soient satisfaites, que les liens ne se croisent pas et que les mots forment un graphe connexe. Les auteurs ont encodé la grammaire anglaise dans ce système et ont écrit ce programme pour analyser l'anglais en utilisant cette grammaire.

Link-grammar peut être utilisé pour l'analyse linguistique d'informations récupérées ou extraites depuis des documents en langage naturel. Il peut également être utilisé comme vérificateur grammatical.

Ce paquet contient l'exécutable utilisateur.

Ltoolbox fournit les outils de transducteurs finis pour le traitement du langage naturel utilisés par Apertium, une plateforme pour bâtir des systèmes de traduction suivant des règles et la méthode « Hybrid machine translation ». Ce logiciel est aussi utile pour créer des analyses morphologiques et des générateurs pour des applications de traitement de langages naturels.

MBT est un générateur d’étiquetage basé sur la mémoire et un étiqueteur réuni. La partie générateur d’étiquetage peut créer un étiqueteur de phrase sur la base d’un ensemble d’apprentissage de phrases étiquetées. La partie étiqueteur peut étiqueter de nouvelles phrases. MBT peut, par exemple, être utilisé pour l’étiquetage morpho-syntaxique ou l’analyse syntaxique de surface pour le traitement de langage naturel. Fonctions :

 – création d’étiquettes : entrée de texte, sortie texte étiqueté ;
 – boucle de retour facultative : réinjection de précédentes décisions
   d’étiquetage dans l’entrée de la nouvelle décision ;
 – représentation de caractéristiques personnalisable, incorporation de
   caractéristiques fournies par l’utilisateur ;
 – création automatique de sous-étiquettes pour des mots connus ou
   inconnus ;
 – utilisation de tous les paramètres algorithmiques de TiMBL.

MBT est un produit du Centre of Language and Speech Technology (Université Radboud de Nimègue, Pas-Bas), du ILK Research Group (Université de Tilbourg, Pays-Bas) et du CLiPS Research Centre (Université d’Anvers, Belgique).

Pour ceux qui font des recherches scientifiques dans le traitement du langage naturel, MBT sera très probablement utile.

MbtServer extends Mbt with a server layer, running as a TCP server. Mbt is a memory-based tagger-generator and tagger for natural language processing. MbtServer provides the possibility to access a trained tagger from multiple sessions. It also allows one to run and access different taggers in parallel.

MbtServer is a product of the Centre for Language and Speech Technology (Radboud University, Nijmegen, The Netherlands), the ILK Research Group (Tilburg University, The Netherlands) and the CLiPS Research Centre (University of Antwerp, Belgium).

If you do scientific research in natural language processing, MbtServer will likely be of use to you.

La bibliothèque OpenNLP d'Apache est une boîte à outils basée sur l'apprentissage automatique pour le traitement de textes en langage naturel. Il prend en charge les tâches communes de NLP, telles que la tokenisation, la segmentation de phrase, l'étiquetage morpho-syntaxique, l'extraction d'entités nommées, la segmentation, l'analyse et la résolution de coréférences. Ces tâches sont généralement nécessaires pour construire des services de traitement de texte plus évolués. OpenNLP comprend également un apprentissage automatique basé sur le principe d'entropie maximale et le perceptron.

Ce paquet fournit l'enveloppe en ligne de commande.

PyNLPl, pronounced as 'pineapple', is a Python library for Natural Language Processing. It contains various modules useful for common, and less common, NLP tasks. PyNLPl can be used for basic tasks such as the extraction of n-grams and frequency lists, and to build simple language models. It also contains complex data types and algorithms. Moreover, it includes parsers for file formats common in NLP (e.g. FoLiA/Giza/Moses/ARPA/Timbl/CQL) and clients to interface with various NLP specific servers. PyNLPl most notably features a very extensive library for working with FoLiA XML (Format for Linguistic Annotation).

This is the Python 3 version.

Thinc est une bibliothèque d’apprentissage automatique servant de dorsal pour spaCy https://spacy.io. Elle présente un modèle linéaire ayant passé l’épreuve du feu pour de larges problèmes d’apprentissage à vecteurs de support et un modèle de réseau neuronal encore en développement pour spaCy version 2.0 https://spacy.io/usage/v2.

Thinc est une boîte à outils pratique pour mettre en œuvre les modèles qui suivent l’architecture « Embed, encode, attend, predict » (intégrer, encoder, attendre, prédire). Elle est conçue pour être facile à installer, efficace du point de vue utilisation du CPU et optimisée pour le traitement automatique du langage naturel et l’apprentissage profond avec du texte, en particulier, pour une entrée structurée hiérarchiquement.

Il s’agit d’une implémentation pour R de l’algorithme LexRank mettant en œuvre la méthode stochastique basée sur un graphe pour calculer l’importance d’unités textuelles dans le traitement du langage naturel. La technique du problème de résumé de texte est testée. Le résumé de texte extractif repose sur le concept de l’importance relative de la phrase pour identifier les plus importantes dans un document ou un ensemble de documents. L’importance relative est typiquement définie selon la présence de certains mots importants ou selon la similarité avec une pseudo-phrase centroïde.

An R interface to the C libstemmer library that implements Porter's word stemming algorithm for collapsing words to a common root to aid comparison of vocabulary. Currently supported languages are Danish, Dutch, English, Finnish, French, German, Hungarian, Italian, Norwegian, Portuguese, Romanian, Russian, Spanish, Swedish and Turkish.

SentencePiece is an unsupervised text tokenizer/detokenizer mainly designed for Neural Network-based text generation systems where the vocabulary size is predetermined prior to the neural model training.

L’apprentissage automatique (Memory-Based Learning – MBL) est une méthode applicable à une grande diversité de tâches concernant le traitement automatique du langage naturel (Natural Language Processing – NLP).

TiMBL (Tilburg Memory Based Learner) est un outil pour la recherche en NLP, et pour beaucoup d’autres domaines où les tâches de classification sont apprises à partir d’exemples. C’est une implémentation efficace de la classification par la méthode des k plus proches voisins.

Les fonctions de TiMBL sont :

 – implémentation rapide basée sur les arbres de décision de la
   classification par la méthode des k plus proches voisins ;
 – implémentations des algorithmes IB1 et IB2, IGTree, TRIBL et TRIBL2 ;
 – mesures de similarité : Overlap, MVDM, divergence de Jeffrey, produit
   scalaire et cosinus ;
 – métriques de pondération : « information gain », « gain ratio », khi
   carré, variance partagée ;
 – métriques de pondération de distance : inverse, linéaire inverse,
   décroissance exponentielle ;
 – nombreuses options de verbosité pour examiner les ensembles de proches
   voisins ;
 – fonction de serveur et interface de programmation importante ;
 – test rapide de « leave-one-out » et validation croisée interne ;
 – prise en charge de la pondération d’exemple définie par l’utilisateur.

TiMBL est un produit du « Centre of Language and Speech Technology, Radboud University, Nimègue, Pays-Bas », du « ILK Research Group, Tilburg University, Pays-Bas » et du « CLiPS Research Centre, University of Antwerp, Belgique ».

Pour des recherches scientifiques en traitement automatique du langage naturel, timbl sera sûrement utile.

Timblserver est une enveloppe pour TiMBL. Il ajoute la fonction de serveur à TiMBL. Il permet à TiMBL de faire de nombreuses expériences comme serveur TCP, facultativement à l’aide d’HTTP.

TiMBL (Tilburg Memory Based Learner) est un outil pour la recherche en NLP, et pour beaucoup d’autres domaines où les tâches de classification sont apprises à partir d’exemples.

TimblServer est un produit du « ILK Research Group, Tilburg University, Pays-Bas » et du « CLiPS Research Centre, University of Antwerp, Belgique ».

Pour des recherches scientifiques en traitement automatique du langage naturel, timbl sera sûrement utile.

Ucto produit des unités lexicales à partir d’un fichier texte encodé en UTF-8 (c'est-à-dire, séparer les mots de la ponctuation, scinder les phrases, créer des n-grammes…) et offre plusieurs dispositions de prétraitement basiques pouvant adapter le texte pour un traitement ultérieur tel que l’indexation, le marquage de partie de discours ou une traduction automatique.

Ce paquet fournit l’outil en ligne de commande.

Ucto a été écrit par Maarten van Gompel et Ko van der Sloot. Le travail sur Ucto a été financé par NWO, l’organisation néerlandaise pour la recherche scientifique, sous la conduite du projet « Implicit Linguistics », du programme CLARIN-NL et du projet CLARIAH.

Ucto est un produit du « Centre of Language and Speech Technology » (université Radboud de Nimègue), et antérieurement du « ILK Research Group » (université de Tilbourg, Pays-Bas).

En cas d’intérêt pour une machine analysant des fichiers de texte encodé en UTF-8, par exemple pour faire de la recherche scientifique dans le traitement du langage naturel, Ucto est probablement à utiliser.

Ucto produit des unités lexicales à partir d’un fichier texte encodé en UTF-8 (c'est-à-dire, séparer les mots de la ponctuation, scinder les phrases, créer des n-grammes…) et offre plusieurs dispositions de prétraitement basiques pouvant adapter le texte pour un traitement ultérieur tel que l’indexation, le marquage de partie de discours ou une traduction automatique.

Ce paquet fournit les fichiers de données nécessaires et spécifiques aux langues pour utiliser Ucto.

Ucto a été écrit par Maarten van Gompel et Ko van der Sloot. Le travail sur Ucto a été financé par NWO, l’organisation néerlandaise pour la recherche scientifique, sous la conduite du projet « Implicit Linguistics », du programme CLARIN-NL et du projet CLARIAH.

Ucto est un produit du « Centre of Language and Speech Technology » (université Radboud de Nimègue), et antérieurement du « ILK Research Group » (université de Tilbourg, Pays-Bas).

WordNet© est un système de référence lexicale en ligne dont la conception a été inspirée par les théories psycholinguistiques actuelles de la mémoire lexicale humaine. Les noms, verbes, adjectifs et adverbes anglais sont organisés en ensembles de synonymes, chacun représentant un concept lexical sous-jacent. Différentes relations relient les ensembles de synonymes.

WordNet a été développé par le laboratoire des sciences cognitives à l'université de Princeton sous la direction du Professeur George A. Miller (principal chercheur).

WordNet est considéré comme la plus importante ressource disponible pour les chercheurs en linguistique informatique, analyse de texte et bien d'autres domaines connexes.

Ce paquet fournit les programmes et les pages de manuel de WordNet, ainsi que de la documentation générale.

Il s'agit d'un paquet factice de transition. Il peut être supprimé en toute sécurité.

Ce paquet fournit APY d'Apertium qui est une API simple pour Apertium écrite en Python 3 et conçue pour un remplacement direct de ScaleMT.

Il s'agit d'un paquet de données fournissant les ressources linguistiques Apertium pour l'aragonais.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre l'aragonais et le catalan.

Il s’agit d’un paquet de données fournissant les ressources linguistiques d’Apertium pour le biélorusse.

Ce paquet fournit les ressources linguistiques d’Apertium pour faire des traductions entre le biélorusse et le russe.

Ce paquet fournit un paquet linguistique pour le système de traduction automatique par correspondances superficielles Apertium. Il permet de faire des traductions entre le breton et le français.

Il s'agit d'un paquet factice de transition. Il peut être supprimé en toute sécurité.

Il s’agit d’un paquet de données fournissant les ressources linguistiques Apertium pour le catalan.

Ce paquet fournit les ressources linguistiques d'Apertium pour faire des traductions entre le catalan et le sarde.

Il s'agit d'un paquet de données fournissant les ressources linguistiques d'Apertium pour le tatar de Crimée.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre le tatar de Crimée et le turc.

Ce paquet fournit un paquet linguistique pour le système de traduction automatique par correspondances superficielles Apertium. Il permet de faire des traductions entre le gallois et l'anglais.

Il s’agit d’un paquet de données fournissant les ressources linguistiques Apertium pour le danois.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre le danois et les variantes Nynorsk et Bokmål du norvégien et entre le danois et le norvégien Nynorsk.

Il s'agit d'un paquet factice de transition. Il peut être supprimé en toute sécurité.

This is a transitional dummy package. It can safely be removed.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre l'anglais et le galicien.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre l'espéranto et le catalan.

Ce paquet fournit un paquet linguistique pour le système de traduction automatique par correspondances superficielles Apertium. Il permet de faire des traductions entre l'espéranto et l'anglais.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre l'espéranto et l'espagnol.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre l'espéranto et le français.

This is a transitional dummy package. It can safely be removed.

Il s’agit d’un paquet factice de transition. Il peut être supprimé en toute sécurité.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre l'espagnol et le galicien.

Il s’agit d’un paquet factice de transition. Il peut être supprimé en toute sécurité.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre l'espagnol et le portugais.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre l'espagnol et le roumain.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre le basque et l'anglais.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre le basque et l'espagnol.

Il s’agit d’un paquet de transition ; il peut être supprimé en toute sécurité.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre le français et l'espagnol.

Il s'agit d'un paquet de données fournissant les ressources linguistiques d’Apertium pour le français.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre le français et le catalan.

Il s’agit d’un paquet de données fournissant les ressources linguistiques Apertium pour le serbo-croate.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre le serbo-croate et l'anglais.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre le serbo-croate et le macédonien.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre le serbo-croate et le slovénien.

Il s’agit d’un paquet de données fournissant les ressources linguistiques Apertium pour le hindi.

Il s'agit d'un paquet factice de transition. Il peut être supprimé en toute sécurité.

This is a transitional dummy package. It can safely be removed.

Il s’agit d’un paquet de données fournissant les ressources linguistiques Apertium pour l’islandais.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre l'islandais et l'anglais.

Il s’agit d’un paquet de données fournissant les ressources linguistiques Apertium pour l’italien.

Il s'agit d'un paquet de données fournissant les ressources linguistiques Apertium pour le kazakh.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre le kazakh et le tatar.

This is a transitional dummy package. It can safely be removed.

This is a transitional dummy package. It can safely be removed.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre le maltais et l'arabe.

Il s’agit d’un paquet de données fournissant les ressources linguistiques Apertium pour le norvégien Nynorsk.

Il s'agit d'un paquet de données fournissant les ressources linguistiques Apertium pour les traductions entre le norvégien Nynorsk et le norvégien Bokmål.

Il s’agit d’un paquet de données fournissant les ressources linguistiques Apertium pour le norvégien Bokmål.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre l'occitan et le catalan.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre l'occitan et l'espagnol.

Il s’agit d’un paquet de données fournissant les ressources linguistiques d’Apertium pour l’occitan.

Il s’agit d’un paquet de données fournissant les ressources linguistiques d’Apertium pour le polonais.

Ce paquet fournit les ressources linguistiques d’Apertium pour faire des traductions entre le polonais et le silésien.

Il s’agit d’un paquet factice de transition. Il peut être supprimé en toute sécurité.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre le portugais et le galicien.

Il s'agit d'un paquet de données fournissant les ressources linguistiques d'Apertium pour le russe.

Ce paquet fournit un module Apertium pour réordonner des multimots séparables ou non contigus.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre le sámi et le bokmål.

Il s’agit d’un paquet de données fournissant les ressources linguistiques Apertium pour l’espagnol.

Ce paquet fournit les ressources linguistiques Apertium pour faire des traductions entre l'espagnol et l'aragonais.

Il s’agit d’un paquet de données fournissant les ressources linguistiques Apertium pour le sarde.