Debian Science Linguistics packages

Apertium è un motore open-source per traduzioni automatiche shallow-transfer, inizialmente pensato per coppie di lingue correlate.

Usa trasduttori a stati finiti per l'analisi lessicale, modelli di Markov nascosti per l'etichettatura delle parti del discorso e la segmentazione basata su stati finiti per trasferimenti strutturali.

Il sistema si basa in gran parte su sistemi già sviluppati dal gruppo Transducens dell'Università di Alicante, come interNOSTRUM (Spagnolo-Catalano, http://www.internostrum.com/welcome.php) e Traductor Universia (Spagnolo-Portoghese, http://traductor.universia.net).

Potrà essere possibile usare Apertium per costruire sistemi di traduzione automatica per una varietà di coppie di lingue correlate, fornendo semplicemente i dati linguistici necessari nel formato corretto.

Questo pacchetto contiene script Perl per valutare l'output di traduzioni macchina basate su Apertium rispetto ad un riferimento: WER, PER, TER, BLEU.

Modulo per compilare regole di selezione lessicale ed elaborarle in una catena di elaborazione dati.

Artha è un tesauro inglese fuori linea con funzionalità particolari come:

• ricerca di una parola con scorciatoia da tastiera (selezionato il testo su una finestra, si digiti la scorciatoia prescelta per la ricerca);
• ricerca con espressioni regolari (allargare la ricerca con caratteri jolly come *, ?, ecc.);
• notifica passiva via desktop (della definizione di parole, per non interrompere il lavoro);
• consigli ortografici (quando l'ortografia esatta è vaga o sconosciuta).

Una volta lanciato, aspetta la scorciatoia da tastiera prescelta. Quando del testo viene selezionato su qualunque finestra e la scorciatoia digitata, apre una finestra con la parola cercata. Se l'utente preferisce la notifica passiva, la può ottenere abilitando l'opzione di notifica.

Quando il termine cercato è vago o sconosciuto, si può o allargare la ricerca con l'uso di espressioni regolari (*, ?, ecc.) nella stringa cercata o ricevere suggerimenti ortografici se il termine non è corretto.

Serve il pacchetto wordnet-sense-index per far funzionare la ricerca con espressioni regolari.

Compilatore e applicatore di Constraint Grammar per la terza edizione di CG che è sviluppato e mantenuto da VISL SDU e GrammarSoft ApS.

CG-3 può essere usato per la disambiguazione di morfologia, sintassi, semantica, ecc., marcatura delle dipendenze, scelta del linguaggio obiettivo per i lemmi per sistemi MT, QA e molto altro. L'idea di base è che si sceglie cosa fare in base all'intero contesto disponibile, non agli n-grammi.

Per ulteriore documentazione si veda https://visl.sdu.dk/cg3.html .

Collatinus può essere usato per lemmatizzare testi in latino, cioè per estrarre parole e creare un lessico che indica per ogni parola la sua forma canonica e come la forma realmente trovata nel testo sia derivata da essa, per esempio declinandola. Esempio: rosam ritorna: rosa-rosae -- acc. sing. Collatinus fornisce un bel frontend grafico per ogni operazione.

Collatinus-nouus (sta per Collatinus, nuova generazione) rimpiazza tutte le versioni precedenti di Collatinus.

Questo pacchetto fornisce la documentazione in formato HTML.

Dimbl (Distributed Memory Based Learner, strumento per apprendimento basato su memoria distribuito) è un wrapper per il classificatore ai k-vicini più prossimi in TiMBL, che offre classificazione parallela su macchine con più CPU. Dimbl suddivide l'insieme di addestramento originale, crea classificatori TiMBL separati per ogni sottoinsieme di addestramento e unisce gli insiemi dei vicini più prossimi per ogni istanza classificata.

Le caratteristiche di Dimbl sono:

• wrapper pulito per TiMBL che mantiene tutte le opzioni per la riga di comando;
• sa cosa fare con i core multipli, doppi o quadrupli;
• fa usa della specifica OpenMP per la programmazione parallela;
• può ottenere guadagni superlineari di velocità in confronto al TiMBL standard.

Dimbl è un prodotto dell'ILK Research Group (Università di Tilburg, Paesi Bassi).

Se si fa ricerca scientifica nel campo dell'elaborazione del linguaggio naturale usando la tecnica di apprendimento basato su memoria, Dimbl probabilmente sarà utile.

fastText è una libreria per l'apprendimento efficiente delle rappresentazioni di parole e per la classificazione di frasi che fa riferimento alle informazioni sulle sottoparole per arricchire i vettori di parole.

MBL (Memory-Based Learning, apprendimento basato sulla memoria) è un metodo di apprendimento macchina applicabile ad una vasta gamma di compiti in NLP (Natural Language Processing, elaborazione del linguaggio naturale).

Frog è un sistema modulare che integra etichettatore morfosintattico, lemmatizzatore, analizzatore morfologico e analizzatore di dipendenze per linguaggi naturali. È basato sul suo predecessore TADPOLE (TAgger, Dependency Parser, and mOrphoLogical analyzEr). Usando tecniche Memory-Based Learning, frog divide in token, etichetta, lemmatizza e segmenta morfologicamente token di parole in file di testo UTF-8 in ingresso e assegna un grafo di dipendenze a ciascuna frase. Frog è particolarmente indirizzato alla crescente necessità di sistemi NLP veloci e automatici applicabili a raccolte di documenti molto grandi (da milioni di parole a miliardi) che stanno diventando disponibili grazie alla progressiva digitalizzazione di dati testuali vecchi e nuovi. Fino ad ora, frog è stato solamente testato e usato usando corpora di linguaggio naturale olandese (vedere il pacchetto frogdata per dei campioni).

Frog è un prodotto del Centre of Language and Speech Technology presso la Radboud University Nijmegen, include il lavoro precedente dell'ILK Research Group (Tilburg University, Paesi Bassi) e del CLiPS Research Centre (University of Antwerp, Belgio). È attualmente mantenuto dal KNAW Humanities Cluster.

Se si compiono ricerche scientifiche in NLP, Frog sarà probabilmente utile.

Pacchetto di dati che fornisce risorse di lingua per Giellatekno per il sami settentrionale.

Il software Helsinki Finite-State Transducer è pensato per l'implementazione di analizzatori morfologici e altri strumenti basati sulla tecnologia dei trasduttori a stati finiti pesati e non pesati.

Libreria minimale per controllo ortografico basata su un formato di ricerca HFST ottimizzato e implementazione dimostrativa di un controllore ortografico basato sulla riga di comando.

Il toolkit IRST Language Modeling può essere utilizzato per imparare un modello di lingua dai dati. I modelli di n-grammi generati dovrebbero essere utilizzabili su qualsiasi sistema che gestisce il formato per modelli di lingua ARPA.

Questo pacchetto fornisce gli strumenti a riga di comando

Rileva più di 80 lingue in testo UTF-8, basandosi fortemente su gruppi di quattro lettere. Tabelle per più di 160 versioni di lingue.

Questo è il pacchetto di sviluppo.

In "Parsing English with a Link Grammar" (1991), di Selator, D. e Temperley, D., gli autori hanno definito un nuovo sistema formale di grammatica chiamato "link grammar" (grammatica dei collegamenti). Una sequenza di parole è nel linguaggio di una grammatica dei collegamenti se esiste un modo per tracciare "collegamenti" tra le parole in un modo che soddisfi i requisiti locali di ogni parola, che i collegamenti non si incrocino e che le parole formino un grafo connesso. Gli autori hanno codificato la grammatica inglese in un sistema simile e hanno scritto questo programma per analizzare l'inglese usando questa grammatica.

link-grammar può essere usato per analisi linguistica per recuperare * estrarre informazioni da documenti in linguaggio naturale. Può anche essere usato come strumento di controllo della grammatica.

Questo pacchetto contiene il binario utente.

lttoolbox contiene gli strumenti del trasduttore lessicale usato da Apertium per l'elaborazione del linguaggio naturale. Apertium è una piattaforma per creare sistemi di traduzione automatica basati su regole o ibridi. Questo software è anche utile per creare analizzatori e generatori morfologici per applicazioni che elaborano il linguaggio naturale.

MBT è uno strumento per generare etichette basato su memoria e per applicarle, tutto in uno. La parte di generazione delle etichette può generare un etichettatore di sequenze sulla base di un insieme di allenamento di sequenze etichettate; la parte di applicazione delle etichette può etichettare nuove sequenze. MBT può, ad esempio, essere utilizzato per generare etichettatori per le parti del discorso o spezzettatori per l'elaborazione del linguaggio naturale. Funzionalità:

• generazione di tag: testo etichettato in entrata, etichettatore in uscita;
• ciclo di feedback opzionale: inserisce la decisione sull'etichetta precedente nell'input della decisione successiva;
• rappresentazione di funzionalità facilmente personalizzabile: può incorporare funzionalità fornite dall'utente;
• generazione automatica di sotto-etichettatori separati per parole conosciute e sconosciute;
• può fare uso dei completi parametri per algoritmo di TiMBL.

MBT è un prodotto del Centre of Language and Speech Technology (Radboud University Nijmegen, Paesi Bassi), dell'ILK Research Group (Tilburg University, Paesi Bassi) e del Research Centre (University of Antwerp, Belgio).

Se si fa ricerca scientifica nel campo dell'elaborazione del linguaggio naturale, MBT sarà probabilmente utile.

MbtServer estende Mbt con un livello server, funzionando come un server TCP. Mbt è uno strumento basato su memoria per elaborazione del linguaggio naturale che genera etichette e le applica. MbtServer fornisce la possibilità di accedere a un etichettatore addestrato da sessioni multiple. Permette di eseguire diversi etichettatori in parallelo e di accedervi.

MbtServer è un prodotto del Centre of Language and Speech Technology (Radboud University, Nijmegen, Paesi Bassi), dell'ILK Research Group (Tilburg University, Paesi Bassi) e del CLiPS Research Centre (University of Antwerp, Belgio).

Se si fa ricerca scientifica nel campo dell'elaborazione del linguaggio naturale, MbtServer sarà probabilmente utile.

The Apache OpenNLP library is a machine learning based toolkit for the processing of natural language text. It supports the most common NLP tasks, such as tokenization, sentence segmentation, part-of-speech tagging, named entity extraction, chunking, parsing, and coreference resolution. These tasks are usually required to build more advanced text processing services. OpenNLP also included maximum entropy and perceptron based machine learning.

This package contains the command line wrapper.

PyNLPl, pronunciata in inglese come "pineapple", è una libreria Python per elaborazione del linguaggio naturale (Natural Language Processing). Contiene vari moduli utili per compiti NLP comuni e meno comuni. PyNLPl può essere usata per compiti basilari come l'estrazione di n-grammi e liste di frequenza, e per costruire semplici modelli linguistici. Contiene anche algoritmi e tipi di dati complessi. Inoltre, include analizzatori per formati di file comuni in NLP (es. FoLiA/Giza/Moses/ARPA/Timbl/CQL) e client per interfacciarsi con vari server specifici per NLP. PyNLPl sopratutto contiene una libreria molto completa per lavorare con FoLiA XML (Format for Linguistic Annotation).

Questa è la versione per Python 3.

Thinc is the machine learning library powering spaCy https://spacy.io. It features a battle-tested linear model designed for large sparse learning problems, and a flexible neural network model under development for spaCy v2.0 https://spacy.io/usage/v2.

Thinc is a practical toolkit for implementing models that follow the "Embed, encode, attend, predict" architecture. It's designed to be easy to install, efficient for CPU usage and optimised for NLP and deep learning with text – in particular, hierarchically structured input and variable-length sequences.

An R implementation of the LexRank algorithm implementing stochastic graph-based method for computing relative importance of textual units for Natural Language Processing. The technique on the problem of Text Summarization (TS) is tested. Extractive TS relies on the concept of sentence salience to identify the most important sentences in a document or set of documents. Salience is typically defined in terms of the presence of particular important words or in terms of similarity to a centroid pseudo-sentence.

An R interface to the C libstemmer library that implements Porter's word stemming algorithm for collapsing words to a common root to aid comparison of vocabulary. Currently supported languages are Danish, Dutch, English, Finnish, French, German, Hungarian, Italian, Norwegian, Portuguese, Romanian, Russian, Spanish, Swedish and Turkish.

SentencePiece è un tokenizzatore e detokenizzatore non supervisionato per testo progettato principalmente per sistemi di generazione del testo basati su reti neurali dove la dimensione del vocabolario è determinata prima dell'addestramento del modello neurale.

MBL (Memory-Based Learning, apprendimento basato sulla memoria) è un metodo di apprendimento macchina applicabile ad una vasta gamma di compiti in NLP (Natural Language Processing, elaborazione del linguaggio naturale).

TiMBL (Tilburg Memory Based Learner, apprendimento basato sulla memoria di Tilburg) è uno strumento per ricerca NLP e per molti altri domini dove i compiti di classificazione sono appresi da esempi. È un'implementazione efficiente del classificatore dei k vicini più prossimi.

Le funzionalità di TiMBL sono:

• implementazione veloce, basata su alberi decisionali della classificazione dei k vicini più prossimi;
• implementazione degli algoritmi IB1 e IB2, IGTree, TRIBL e TRIBL2;
• metriche di similarità: Overlap, MVDM, Jeffrey Divergence, prodotto Dot, Cosine;
• metriche che pesano caratteristiche: guadagno di informazione, rapporto di guadagno, chi quadrato, varianza condivisa;
• metriche che pesano distanza: inversa, lineare inversa, decadimento esponenziale;
• opzioni di verbosità esaustive per ispezionare insiemi di vicini più prossimi;
• funzionalità di server e API esaustiva;
• test leave-one-out veloce e cross-validazione interna;
• e gestisce pesi d'esempio definiti dall'utente.

TiMBL è un prodotto del Centre of Language and Speech Technology (Radboud University, Nijmegen, Paesi Bassi), l'ILK Research Group (Tilburg University, Paesi Bassi) e il CLiPS Research Centre (University of Antwerp, Belgio).

Se si fa ricerca in NLP, timbl probabilmente sarà utile.

timblserver è un wrapper per TiMBL; aggiunge funzionalità server a TiMBL. Permette a TiMBL di eseguire più esperimenti come server TCP, opzionalmente via HTTP.

TiMBL (Tilburg Memory Based Learner) è uno strumento per ricerca nel campo dell'elaborazione del linguaggio naturale e per molti altri campi in cui i compiti di classificazione vengono appresi attraverso esempi.

TimblServer è un prodotto dell'ILK Research Group (Università di Tilburg, Paesi Bassi) e del CLiPS Research Centre (Università di Anversa, Belgio).

Se si fa ricerca scientifica nel campo dell'elaborazione del linguaggio naturale (NLP, Natural Language Processing), TimblServer probabilmente sarà utile.

Ucto può suddividere in token file di testo in codifica UTF-8 (cioè separare parole dalla punteggiatura, suddividere frasi, generare n-grammi) e offre svariati altri passi di preelaborazione di base che rendono il testo adatto ad un'ulteriore elaborazione come indicizzazione, etichettatura di parti del discorso o traduzione automatica.

Questo pacchetto fornisce lo strumento a riga di comando vero e proprio.

Ucto è stato scritto da Maarten van Gompel e Ko van der Sloot. Il lavoro su Ucto è stato finanziato dalla NWO, la Netherlands Organisation for Scientific Research, come parte del progetto Implicit Linguistics, del programma CLARIN-NL e del progetto CLARIAH.

Ucto è un prodotto del Centre of Language and Speech Technology (Radboud University Nijmegen), e in precedenza dell'ILK Research Group (Tilburg University, Paesi Bassi).

Se si è interessati nell'analisi automatica di file di testo in codifica UTF-8, ad esempio per fare ricerca scientifica nel campo dell'elaborazione del linguaggio naturale, ucto sarà probabilmente utile.

Ucto può suddividere in token file di testo in codifica UTF-8 (cioè separare parole dalla punteggiatura, suddividere frasi, generare n-grammi) e offre svariati altri passi di preelaborazione di base che rendono il testo adatto ad un'ulteriore elaborazione come indicizzazione, etichettatura di parti del discorso o traduzione automatica.

Questo pacchetto fornisce file dei dati specifici di lingua per eseguire Ucto.

Ucto è stato scritto da Maarten van Gompel e Ko van der Sloot. Il lavoro su Ucto è stato finanziato dalla NWO, la Netherlands Organisation for Scientific Research, come parte del progetto Implicit Linguistics, del programma CLARIN-NL e del progetto CLARIAH.

Ucto è un prodotto del Centre of Language and Speech Technology (Radboud University Nijmegen), e in precedenza dell'ILK Research Group (Tilburg University, Paesi Bassi).

WordNet© è un sistema per consultazione lessicale online il cui progetto è ispirato dalle teorie psicolinguistiche attuali sulla memoria lessicale umana. I nomi, verbi, aggettivi e avverbi inglesi sono organizzati in insiemi di sinonimi, ciascuno rappresentante un concetto lessicale sottostante. Vari tipi di relazione legano gli insiemi di sinonimi.

WordNet è stato sviluppato dal Cognitive Science Laboratory della Princeton University sotto la direzione del Professor George A. Miller (Principal Investigator).

WordNet è considerata la più importante risorsa disponibile per i ricercatori nella linguistica computazionale, analisi dei testi e molte altre aree correlate.

Eseguibili e pagine man di WordNet come anche pagine man generiche.

Questo è un pacchetto fittizio di transizione. Può essere rimosso senza problemi.

Questo pacchetto contiene APY di Apertium che è una semplice API di Apertium scritta in Python 3 e pensata per essere un rimpiazzo perfetto per ScaleMT.

Pacchetto di dati che fornisce risorse di lingua per Apertium per l'aragonese.

Pacchetto di dati che fornisce risorse di lingua per Apertium per tradurre tra le lingue aragonese e catalano.

Pacchetto di dati che fornisce risorse di lingua per Apertium per il bielorusso.

Pacchetto di dati che fornisce risorse di lingua per Apertium per tradurre tra le lingue bielorussa e russa.

Questo è un pacchetto linguistico per il sistema di traduzioni automatiche shallow-transfer Apertium. Il pacchetto può essere usato per tradurre tra bretone e francese.

Questo è un pacchetto fittizio di transizione. Può essere rimosso senza problemi.

Pacchetto di dati che fornisce risorse di lingua per Apertium per il catalano.

Pacchetto di dati che fornisce risorse di lingua per Apertium per tradurre tra le lingue catalano e sardo.

Pacchetto di dati che fornisce risorse di lingua per Apertium per tataro di Crimea.

Questo pacchetto di dati fornisce risorse di lingua per Apertium per tradurre tra le lingue tataro di Crimea e turco.

Pacchetto di dati che fornisce risorse di lingua per Apertium per tradurre tra le lingue gallese e inglese.

Pacchetto di dati che fornisce risorse di lingua per Apertium per il danese.

Pacchetto di dati che fornisce risorse di lingua per Apertium per tradurre dal danese alle varianti nynorsk e bokmål del norvegese e dal danese al norvegese nynorsk.

Questo è un pacchetto fittizio di transizione. Può essere rimosso senza problemi.

Questo è un pacchetto fittizio di transizione. Può essere rimosso senza problemi.

Pacchetto di dati che fornisce risorse di lingua per Apertium per tradurre tra le lingue inglese e galiziano.

Pacchetto di dati che fornisce risorse di lingua per Apertium per tradurre tra le lingue esperanto e catalano.

Questo è un pacchetto linguistico per il sistema di traduzioni automatiche shallow-transfer Apertium. Il pacchetto può essere usato per tradurre tra esperanto e inglese.

Pacchetto di dati che fornisce risorse di lingua per Apertium per tradurre tra le lingue esperanto e spagnolo.

Pacchetto di dati che fornisce risorse di lingua per Apertium per tradurre tra le lingue esperanto e francese.

Questo è un pacchetto fittizio di transizione. Può essere rimosso senza problemi.

Questo è un pacchetto fittizio di transizione. Può essere rimosso senza problemi.

Pacchetto di dati che fornisce risorse di lingua per Apertium per tradurre tra le lingue spagnolo e galiziano.

Questo è un pacchetto fittizio di transizione. Può essere rimosso senza problemi.

Pacchetto di dati che fornisce risorse di lingua per Apertium per tradurre tra le lingue spagnolo e portoghese.

Pacchetto di dati che fornisce risorse di lingua per Apertium per tradurre tra le lingue spagnolo e rumeno.

Pacchetto di dati che fornisce risorse di lingua per Apertium per tradurre tra le lingue basco e inglese.

Pacchetto di dati che fornisce risorse di lingua per Apertium per tradurre tra le lingue basco e spagnolo.

Pacchetto di dati che fornisce risorse di lingua per Apertium per tradurre tra le lingue francese e spagnolo.

Pacchetto di dati che fornisce risorse di lingua per Apertium per il francese.

Pacchetto di dati che fornisce risorse di lingua per Apertium per tradurre tra le lingue francese e catalano.

Pacchetto di dati che fornisce risorse di lingua per Apertium per il serbo-croato.

Pacchetto di dati che fornisce risorse di lingua per Apertium per tradurre tra le lingue serbo-croato e inglese.

Pacchetto di dati che fornisce risorse di lingua per Apertium per tradurre tra le lingue serbo-croato e macedone.

Pacchetto di dati che fornisce risorse di lingua per Apertium per tradurre tra le lingue serbo-croato e sloveno.

Pacchetto di dati che fornisce risorse di lingua per Apertium per l'hindi.

Questo è un pacchetto fittizio di transizione. Può essere rimosso senza problemi.

Questo è un pacchetto fittizio di transizione. Può essere rimosso senza problemi.

Pacchetto di dati che fornisce risorse di lingua per Apertium per l'islandese.

Pacchetto di dati che fornisce risorse di lingua per Apertium per tradurre tra le lingue islandese e inglese.

Pacchetto di dati che fornisce risorse di lingua per Apertium per l'italiano.

Pacchetto di dati che fornisce risorse di lingua per Apertium per il kazako.

Pacchetto di dati che fornisce risorse di lingua per Apertium per tradurre tra le lingue kazako e tataro.

Questo è un pacchetto fittizio di transizione. Può essere rimosso senza problemi.

Questo è un pacchetto fittizio di transizione. Può essere rimosso senza problemi.

Pacchetto di dati che fornisce risorse di lingua per Apertium per tradurre tra le lingue maltese e arabo.

Pacchetto di dati che fornisce risorse di lingua per Apertium per il norvegese nynorsk.

Pacchetto di dati che fornisce risorse di lingua per Apertium per tradurre tra le lingue norvegese nynorsk e norvegese bokmål.

Pacchetto di dati che fornisce risorse di lingua per Apertium per il norvegese bokmål.

Pacchetto di dati che fornisce risorse di lingua per Apertium per tradurre tra le lingue occitano e catalano.

Pacchetto di dati che fornisce risorse di lingua per Apertium per tradurre tra le lingue occitano e spagnolo.

Pacchetto di dati che fornisce risorse di lingua per Apertium per l'occitano.

Pacchetto di dati che fornisce risorse di lingua per Apertium per il polacco.

Pacchetto di dati che fornisce risorse di lingua per Apertium per tradurre tra le lingue polacco e slesiano.

Questo è un pacchetto fittizio di transizione. Può essere rimosso senza problemi.

Pacchetto di dati che fornisce risorse di lingua per Apertium per tradurre tra le lingue portoghese e galiziano.

Pacchetto di dati che fornisce risorse di lingua per Apertium per il russo.

Modulo per Apertium per riordinamento di parole multiple separabili/discontinue.

Pacchetto di dati che fornisce risorse di lingua per Apertium per tradurre tra le lingue sami settentrionale e norvegese bokmål.