Debian Science Linguistics packages

En motor til maskinoversættelse med begrænset overførsel i åben kildetekst. Apertium er indledningsvis rettet mod relaterede sprogpar.

Den bruger transducere i endelige tilstande til leksikal behandling, skjulte Markovmodeller til »del-af-tale«-opmærkning, og endelige tilstande baseret på ophugning til strukturel overførsel.

Systemet er overvejende baseret på systemer, der allerede er udviklet af Transducens-gruppen ved Universitat d'Alacant, såsom interNOSTRUM (spansk-catalansk, http://www.internostrum.com/welcome.php) og Traductor Universia (spansk-portugisisk, http://traductor.universia.net).

Det vil blive muligt at bruge Apertium under bygningen af systemer til maskinoversættelse, for en række af relaterede sprogpar, blot ved at tilbyde de lingvistiske data, der kræves i rette format.

Denne pakke indeholder Perlskripter til at evaluere Apertiumbaserede maskinoversættelse mod reference: WER, PER, TER, BLEU.

Denne pakke tilbyder et modul for kompilering af leksikale valgregler og behandling af dem i datakanalen.

Artha er en lokal engelsk synonymordbog med unikke funktioner såsom:

• en genvejstast til ordopslag (vælg tekst på et vindue og tryk på en forhåndsindstillet genvejstast for opslag)
• søgning baseret på regulære udtryk (udvid søgning med jokertegn såsom *, ? etc.)
• passiv skrivebordspåmindelse (af orddefinitioner for uafbrudt arbejdsgang)
• staveforslag (når den præcise stavning er svag/ukendt)

Når først startet, så overvåger programmet en forhåndsindstillet genvejskombination. Når noget tekst vælges i et vindue og genvejstasten aktiveres, så vises det opslåede ord. Foretrækker brugeren passive påmindelser, så kan dette aktiveres med tilvalget påmindelser.

Når termen der søges efter er svag/ukendt, så kan søgningen enten udvides med brug af regulære udtryk (*, ? etc.) i søgestrengen eller via staveforslag når en term ikke er korrekt.

For at kunne søge med regulære udtryk skal pakken wordnet-sense-index være installeret.

Constraint Grammar-kompiler og applikator for 3. udgave af CG, som er udviklet og vedligeholdt af VISL SDU og GrammarSoft ApS.

CG-3 kan bruges for flertydig morfologi, syntaks, semantik etc.; afhængighedsopmærkning, lemma-valg til målsprog for MT-, QA-systemer og meget mere. Grundideen er, at du vælger, hvad du gør baseret på hele den tilgængelige kontekst, modsat n-grams.

Se https://visl.sdu.dk/cg3.html for yderligere dokumentation.

Collatinus kan bruges til at lemmatisere latinske tekster, dvs. udtrække ord og lave et leksikon, som indikerer for hvert ord dettes kanoniske form, og hvordan formen faktisk fundet i teksten blev afledt fra den, for eksempel ved at bøje det. Eksempel: rosam giver: rosa-rosae - acc. sing. Collatinus tilbyder en pæn grafisk brugerflade for hver handling.

Collatinus-nouus (står Collatinus, ny generation) erstatter alle tidligere versioner af Collatinus.

Denne pakke tilbyder dokumentation i HTML-formatet.

Dimbl er et omslag omkring den k-nærmeste naboklassificering i TiMBL, der tilbyder parallel klassifikation på maskiner med flere CPU'er. Dimbl opdeler det originale træningssæt, bygger adskilte TiMBL-klassificeringer per træningsundersæt og sammenføjer deres nærmeste sæt per klassificeret instans.

Dimbls funktioner er:

• Omsluttes pænt omkring TiMBL, bevarer alle tilvalg for kommandolinjen
• Ved hvad der skal gøres med dine multiple-, duo- eller quad-kerner
• Gør brug af OpenMP-specifikationen for parallel programmering
• Kan nå superlineære hastighedsgevinster i forhold til standard-TiMBL.

Dimbl er et produkt fra ILK Research Group (Tilburg University, Holland).

Hvis du udfører videnskabelig forskning indenfor naturlig sprogbehandling, med brug af den hukommelsesbaserede indlæringsteknik, så vil Dimbl sikkert være til nytte for dig.

FastText er et bibliotek til effektiv læring af ordrepræsentationer og sætningsklassifikation, der refererer underordinformation for at berige ordvektorer.

Hukommelsesbaseret læring (Memory-Based Learning, MBL) er en metode inden for maskinlæring, der kan anvendes på en lang række opgaver i naturlig sprogbehandling (Natural Language Processing, NLP).

Frog er et modulært system, der integrerer et morfosyntaktisk mærkeprogram, lemmatizer, et morfologisk analyseprogram og afhængighedsfortolker for naturlige sprog. Systemet er baseret på sin forgænger TADPOLE (TAgger, Dependency Parser, og mOrphoLogical analyzEr). Ved at bruge hukommelsesbaseret indlæringsteknikker laver Frog symboler, mærker, lemmatizerer og morfologiske segmentordsymboler i indgående hollandske UTF-8 tekstfiler, og tildele en afhængighedsgraf til hver sætning. Frog er specielt rettet mod det stigende behov for hurtig, automatisk NLP-systemanvendelse på meget store (fra flere millioner til milliarder af ord) dokumentsamlinger, som bliver tilgængelige på grund af den progressive digitalisering af både nye og gamle tekstdata. Indtil nu er Frog kun blevet testet og brugt med tekstsamlinger på hollandsk (se pakken frogdata for eksempler).

Frog er et produkt fra Centre of Language and Speech Technology på Radboud University Nijmegen, det indordner tidligere arbejde fra ILK Research Group (Tilburg University, Holland) og CLiPS Research Centre (University of Antwerp, Belgien). Vedligeholdes i øjeblikket af KNAW Humanities Cluster.

Hvis du udfører videnskabelig forskning i NLP, så vil Frog sandsynligvis være nyttig for dig.

Datapakke med Giellateknosprogressourcer for nordlig samisk.

Helsinki Finite-State Transducer Technology-programmet er lavet til implementering af morfologiske analyseprogrammer og andre værktøjer, som er baseret på vægtede og uvægtede finitte-tilstands transducer-teknologi.

Minimalt HFST-optimeret opslagsformat for stavekontrolbibliotek og en demonstrationsimplementering af en stavekontrol baseret på kommandolinjen.

IRST Language Modeling Toolkit kan bruges til at lære en sprogmodel fra data. De oprettede n-gram-modeller kan være nyttig på ethvert system, der understøtter ARPA-sprogmodelformatet.

Denne pakke tilbyder værktøjerne for kommandolinjen.

Registrerer over 80 sprog i UTF-8-tekst, baseret stort set på grupper med fire bogstaver. Har også tabeller for 160+ sprogversion.

Dette er udviklingspakken.

I »Parsing English with a Link Grammar« (1991) af D. Selator og D. Temperly, definerede forfatterne et nyt, formelt grammatiske system kaldet »link grammar« (kædegrammatik). En sekvens af ord indgår i »link grammar«- sproget, hvis det er muligt at tegne »kæder« mellem ordene på en sådan måde, at de lokale krav til hvert ord tilfredsstilles, at kæderne ikke krydser hinanden, og at ordene danner en forbundet graf. Forfatterne indkodede engelsk grammatik ind i sådan et system, og skrev dette program til at fortolke engelsk med brug af denne grammatik.

Link-grammar kan anvendes til lingvistisk fortolkning ved indsamling eller udtræk af information fra dokumenter indeholdende naturlige sprog. Det kan også anvendes som en grammatikkontrol.

Denne pakke indeholder den binære fil, som brugeren kan afvikle.

Lttoolbox indeholder de udvidede værktøjer til transducering af bogstaver for behandling af naturlige sprog som anvendes af Apertium, en platform til at bygge regelbaserede og hybride maskinoversættelsessystemer. Programmet er også nyttigt til at danne morfologiske analysatorer og generatorer til brug for behandling af naturlige sprog.

MBT er en hukommelsesbaseret mærke-opretter og et mærkeprogram i et program. Mærke-opretter-delen kan oprette en sekvensmærker på basis af et træningssæt af mærkede sekvenser; mærkeprogrammet kan mærke nye sekvenser. MBT kan, for eksempel, bruges til at oprette del af tale- mærkeprogrammer eller datastumper for naturlig sprogbehandling. Funktioner:

• Mærker-oprettelse: mærket tekst ind, mærkeprogram ud
• Valgfri tilbagemeldingsløkke: send tidligere mærkebeslutning tilbage til inddata for næste beslutning
• Funktionsrepræsentation der nemt kan tilpasses; kan indarbejde brugerleverede funktioner
• Automatisk oprettelse af adskilte undermærkeprogrammer for kendte ord og ukendte ord
• Kan gøre brug af fulde algoritmeparametre for TiMBL.

MBT er et produkt fra Centre of Language and Speech Technology (Radboud University Nijmegen, Holland), ILK Research Group (Tilburg University, Holland) og CLiPS Research Centre (University of Antwerp, Belgien).

Hvis du udfører videnskabelig forskning i naturlig sprogbehandling, så vil MBT sandsynligvis have værdi for dig.

MbtServer extends Mbt with a server layer, running as a TCP server. Mbt is a memory-based tagger-generator and tagger for natural language processing. MbtServer provides the possibility to access a trained tagger from multiple sessions. It also allows one to run and access different taggers in parallel.

MbtServer is a product of the Centre for Language and Speech Technology (Radboud University, Nijmegen, The Netherlands), the ILK Research Group (Tilburg University, The Netherlands) and the CLiPS Research Centre (University of Antwerp, Belgium).

If you do scientific research in natural language processing, MbtServer will likely be of use to you.

Apache OpenNLP-biblioteket er et maskinlæringsbaseret værktøjssæt for behandling af naturlig sprogtekst. Det understøtter de fleste gængse NLP-opgaver, såsom symboler, sætningssegmentering, del af tale-mærkning, navngivet entitetsudtrækning, klumper, fortolkning og coreference-opløsning. Disse opgaver er normalt krævet for at bygge avancerede tekstbehandlingstjenester. OpenNLP inkluderer også maksimal entropi og perceptron-baseret maskinlæring.

Denne pakke indeholder kommandolinjeomslaget.

PyNLPl, udtalt »pineapple«, er et Pythonbibliotek for Natural Language Processing. Det indeholder diverse moduler nyttige for fælles og mindre fælles NLP-opgaver. PyNLP1 kan bruges til grundlæggende opgaver såsom udtrækning af n-grams og frekvenslister og til at bygge simple sprogmodeller. Det indeholder også komplekse datatyper og algoritmer. Derudover inkluderer det fortolkere for filformater gængse i NLP (f.eks. FoLiA/Giza/Moses/ARPA/Timbl/CQL) og klienter til grænseflade med diverse NLP-specifikke servere. PyNLPl vigtigste funktion er et meget omfattende bibliotek for arbejde med FoLiA XML (format for Linguistic Annotation).

Dette er Python 3-versionen.

Thinc er et maskinlæringsbibliotek, der driver spaCy https://spacy.io. Det har en kamptestet lineær model designet for store tynde læringsproblemer og en fleksibel neutral netværksmodel under udvikling for spaCy version 2.0 https://spacy.io/usage/v2.

Thinc er et praktisk værktøjssæt, der implementerer modeller, der følger arkitekturen »mbed, encode, attend, predict«. Sættet er designet til at være nemt at installere, effektiv i form af cpu-forbrug og optimeret for NLP og dyb læring med tekst - specielt, hierarkisk struktureret tekst og sekvenser med variabel længde.

En R-implementering af LexRank-algoritmen, der implementerer en stokastisk grafbaseret metode til beregning af relativ vigtighed for tekstenheder for naturlig sprogbehandling. Teknikken på problemet Test Summarization (TS) er testet. Extractive TS afhænger af koncepter for sætningsfremtræden i et dokument eller sæt af dokumenter. Fremtræden er typisk defineret i form af tilstedeværelsen af bestemte vigtige ord eller termer af lighed for en pseudosætning med tyngde.

An R interface to the C libstemmer library that implements Porter's word stemming algorithm for collapsing words to a common root to aid comparison of vocabulary. Currently supported languages are Danish, Dutch, English, Finnish, French, German, Hungarian, Italian, Norwegian, Portuguese, Romanian, Russian, Spanish, Swedish and Turkish.

SentencePiece er en tekst-tokenizer/detokenzier uden overvågning hovedsagelig designet for neurale netværksbaserede tekstoprettelsessystemer, hvor ordforrådets størrelse er bestemt før den neurale modeltræning.

Hukommelsesbaseret læring (Memory-Based Learning, MBL) er en metode inden for maskinlæring, der kan anvendes på en lang række opgaver i naturlig sprogbehandling (Natural Language Processing, NLP).

Tilburg Memory Based Learner, TiMBL, er et værktøj til NLP-forskning, og til mange andre områder hvor opgaver med klassifikation læres gennem eksempler. Det er en effektiv implementering af klassificeringen for K-nærmeste-nabo.

TiMBLs funktioner er:

• Hurtig, beslutningstræe-baseret implementering af klassificeringen for K-nærmeste-nabo;
• Implementering af algoritmerne B1 og IB 2, IGTree, TRIBL og TRIBL2;
• Lighedsmetrik: Overlap, MVDM, Jeffrey-divergens, punktprodukt, cosinus;
• Vægtningsmetrikker for egenskaber: informationsøgning, forstærkningrate, kvadratet af chi og delt varians;
• Vægtningsmetrikker for distance: invers, invers lineær, eksponentiel henfald;
• Tilvalg til omfattende detajlering i inspektionen af nærmeste nabosæt;
• Serverfunktionalitet og et omfattende API;
• Hurtig »udeladelse af én«-test og intern krydsvalidering;
• Håndtering af brugerdefinerede eksempler på vægtninger.

TiMBL er et produkt fra Centre of Language and Speech Technology (Radboud University, Nijmegen, Holland), the ILK Research Group (Tilburg University, Holland) og CLiPS Research Centre (University of Antwerp, Belgien).

Hvis du udfører videnskabelig forskning i NLP, så vil timbl sandsynligvis være noget for dig.

Timblserver er et TiMBL-omslag; det tilføjer serverfunktionalitet til TiMBL. Det gør det muligt for TiMBL at køre flere eksperimenter som en TCP-server, valgfrit via HTTP.

Tilburg Memory Based Learner, TiMBL, er et værktøj for Natural Language Processing-forskning, og for mange andre domæner hvor klassfikationsopgaver læres fra eksempler.

TimblServer er et produkt fra ILK Research Group (Tilburg University, Holland) og CLiPS Research Centre (University of Antwerp, Belgien).

Hvis du udfører videnskabelig forskning i NLP, så vil TimblServer være nyttig for dig.

Ucto kan symbolopbygge UTF-8-kodede tekstfiler (dvs. adskille ord fra tegnsætning, opdele sætninger, oprette n-grams) og tilbyder flere andre grundlæggende forbrændertrin, som gør din tekst egnet for yderligere behandling såsom indeksering, del af tale-mærkning eller maskinoversættelse.

Denne pakke tilbyder selve værktøjet for kommandolinjen.

Ucto blev skrevet af Maarten van Gompel og Ko van der Sloot. Arbejdet på Ucto blev finansieret af NWO, Netherlands Organisation for Scientific Research, under the projektet Implicit Linguistics, programmet CLARIN-NL og projektet CLARIAH.

Ucto er et produkt fra Centre of Language and Speech Technology (Radboud University Nijmegen), og tidligere ILK Research Group (Tilburg University, Holland).

Hvis du er interesseret i maskinfortolkning af UTF-8-kodede tekstfiler, f.eks. til at udføre videnskabelig forskning i naturlig sprogbehandling så vil ucto sandsynligvis være til nytte.

Ucto kan symbolopbygge UTF-8-kodede tekstfiler (dvs. adskille ord fra tegnsætning, opdele sætninger, oprette n-grams) og tilbyder flere andre grundlæggende forbrændertrin, som gør din tekst egnet for yderligere behandling såsom indeksering, del af tale-mærkning eller maskinoversættelse.

Denne pakke tilbyder de krævede af sproget specifikke datafiler for afvikling af Ucto.

Ucto blev skrevet af Maarten van Gompel og Ko van der Sloot. Arbejdet på Ucto blev finansieret af NWO, Netherlands Organisation for Scientific Research, under the projektet Implicit Linguistics, programmet CLARIN-NL og projektet CLARIAH.

Ucto er et produkt fra Centre of Language and Speech Technology (Radboud University Nijmegen) og tidligere ILK Research Group (Tilburg University, Holland).

WordNet(C) er et leksikalsk referencesystem på nettet, hvis design er inspireret af aktuelle psykolingvistiske teorier om menneskelig, leksikalsk hukommelse. Engelske navneord, verber, adjektiver og biord bliver organiseret i sæt af synonymer, der hvert repræsenterer et underlæggende leksikalsk koncept. Forskellige relationer sammenkæder synonymsæt.

WordNet blev udviklet af Cognitive Science Laboratory på universitetet Princeton under ledelse af Professor George A. Miller (ledende forsker).

WordNet betragtes som den vigtigste ressource, der er tilgængelig for forskere inden for datamatisk lingvistik, tekstanalyse og mange relaterede områder.

Binær fil og man-sider fra WordNet, såvel som generelle man-sider.

Dette er en overgangspakke. Den kan uden problemer fjernes igen.

Denne pakke indeholder Apertium APY, som er en simpel Apertium API skrevet i Python 3 og tænkt som en direkte erstatning for ScaleMT.

Datapakke der tilbyder Apertiums sprogressourcer for aragonesisk.

Datapakke der tilbyder Apertiums sprogressourcer for oversættelse mellem aragonesisk og catalansk.

Datapakke der tilbyder Apertiums sprogressourcer for hviderussisk.

Datapakke der tilbyder Apertiums sprogressourcer til oversættelse mellem hviderussisk og russisk.

Dette er en sprogpakke for maskinoversættelsesmaskinen Apertium. Pakken kan bruges til at oversætte mellem bretonsk og fransk.

Dette er en overgangspakke. Den kan uden problemer fjernes igen.

Datapakke der indeholder sprogressourcerne til Apertium for catalansk.

Datapakke der tilbyder Apertiums sprogressourcer til oversættelse mellem catalansk og sardisk.

Datapakke der tilbyder Apertiums sprogressourcer for krimtatarisk.

Datapakke der tilbyder Apertiums sprogressourcer til oversættelse mellem krimtatarisk og tyrkisk.

Datapakke der tilbyder Apertiums sprogressourcer for oversættelse mellem walisisk og engelsk.

Datapakke der tilbyder Apertiums sprogressourcer for dansk.

Datapakke der tilbyder sprogressourcer for Apertium til oversættelse mellem dansk og de norske sprog nynorsk og bokmål.

Dette er en overgangspakke. Den kan uden problemer fjernes igen.

Dette er en overgangspakke. Den kan uden problemer fjernes igen.

Datapakke der tilbyder Apertiums sprogressourcer for oversættelse mellem engelsk og galicisk.

Datapakke med Apertiums sprogressourcer for oversættelse mellem esperanto og catalansk.

Datapakke der tilbyder Apertiums sprogressourcer for oversættelse mellem esperanto og engelsk.

Datapakke med Apertiums sprogressourcer for oversættelse mellem esperanto og spansk.

Dette er en sprogpakke for maskinoversættelsesmaskinen Apertium. Pakken kan bruges til at oversætte mellem esperanto og fransk.

Dette er en overgangspakke. Den kan uden problemer fjernes igen.

Dette er en overgangspakke. Den kan uden problemer fjernes igen.

Datapakke med Apertiums sprogressourcer for oversættelse mellem spansk og galicisk.

Dette er en overgangspakke. Den kan uden problemer fjernes igen.

Datapakke med Apertiums sprogressourcer for oversættelse mellem spansk og portugisisk.

Datapakke med Apertiums sprogressourcer for oversættelse mellem spansk og rumænsk.

Datapakke der tilbyder Apertiums sprogressourcer for oversættelse mellem baskisk og engelsk.

Datapakke med Apertiums sprogressourcer for oversættelse mellem baskisk og spansk.

Datapakke med Apertiums sprogressourcer for oversættelse mellem fransk og spansk.

Datapakke der indeholder sprogressourcerne til Apertium for fransk.

Datapakke med Apertiums sprogressourcer for oversættelse mellem fransk og catalansk.

Datapakke der tilbyder Apertiums sprogressourcer for serbokroatisk.

Datapakke med Apertiums sprogressourcer for oversættelse mellem serbokroatisk og engelsk.

Datapakke med Apertiums sprogressourcer for oversættelse mellem serbokroatisk og makedonsk.

Datapakke med Apertiums sprogressourcer for oversættelse mellem serbokroatisk og slovensk.

Datapakke der tilbyder Apertiums sprogressourcer for hindi.

Dette er en overgangspakke. Den kan uden problemer fjernes igen.

Dette er en overgangspakke. Den kan uden problemer fjernes igen.

Datapakke der tilbyder Apertiums sprogressourcer for islandsk.

Datapakke med Apertiums sprogressourcer for oversættelse mellem islandsk og engelsk.

Datapakke der tilbyder sprogressourcer til Apertium for italiensk.

Datapakke der tilbyder Apertiums sprogressourcer for kasakhisk.

Datapakke med Apertiums sprogressourcer for oversættelse mellem kasakhisk og tatar.

Dette er en overgangspakke. Den kan uden problemer fjernes igen.

Dette er en overgangspakke. Den kan uden problemer fjernes igen.

Datapakke med Apertiums sprogressourcer for oversættelse mellem maltesisk og arabisk.

Datapakke der tilbyder Apertiums sprogressourcer for nynorsk.

Datapakke der tilbyder Apertiums sprogressourcer for oversættelse mellem norsk nynorsk og norsk bokmål.

Datapakke der tilbyder Apertiums sprogressourcer for bokmål.

Datapakke der tilbyder Apertiums sprogressourcer for oversættelse mellem occitansk og catalansk.

Datapakker der tilbyder Apertiums sprogressourcer for oversættelse mellem occitansk og spansk.

Datapakker der tilbyder Aptertiums sprogressourcer for occitansk.

Datapakker der tilbyder Apertiums sprogressourcer for polsk.

Datapakker der tilbyder sprogressourcerne for Apertium til at oversætte mellem polsk og schlesisk.

Dette er en overgangspakke. Den kan uden problemer fjernes igen.

Datapakke der tilbyder Apertiums sprogressourcer for oversættelse mellem portugisisk og galicisk.

Datapakker der tilbyder Apertiums sprogressourcer for russisk.

Apertiummodul til ny rækkefølge på adskilte/usammenhængende multiwords.

Datapakke med Apertiums sprogressourcer for oversættelse mellem nordlig samisk og norsk bokmål.