Verwendungen von Klasse
opennlp.tools.tokenize.TokenSample

Packages, die TokenSample verwenden

Package	Beschreibung
opennlp.tools.cmdline.tokenizer
opennlp.tools.formats	Experimental package related to converting various corpora to OpenNLP Format.
opennlp.tools.formats.ad	Experimental package related to the Arvores Deitadas corpus format.
opennlp.tools.formats.conllu	Experimental package related to the CoNNL-U format.
opennlp.tools.formats.convert
opennlp.tools.formats.irishsentencebank	Experimental package related to the Irish Sentence Bank format.
opennlp.tools.formats.masc	Experimental package related to the MASC corpus format.
opennlp.tools.tokenize	Contains classes related to finding token or words in a string.
opennlp.tools.tokenize.lang.en

Verwendungen von TokenSample in opennlp.tools.cmdline.tokenizer

Methoden in opennlp.tools.cmdline.tokenizer mit Parametern vom Typ TokenSample

Modifizierer und Typ	Methode	Beschreibung
void	DetokenEvaluationErrorListener.misclassified(TokenSample reference, TokenSample prediction)
void	TokenEvaluationErrorListener.misclassified(TokenSample reference, TokenSample prediction)

Verwendungen von TokenSample in opennlp.tools.formats

Methoden in opennlp.tools.formats, die Typen mit Argumenten vom Typ TokenSample zurückgeben

Modifizierer und Typ	Methode	Beschreibung
ObjectStream<TokenSample>	ConllXTokenSampleStreamFactory.create(String[] args)
ObjectStream<TokenSample>	TokenSampleStreamFactory.create(String[] args)

Verwendungen von TokenSample in opennlp.tools.formats.ad

Methoden in opennlp.tools.formats.ad, die Typen mit Argumenten vom Typ TokenSample zurückgeben

Modifizierer und Typ	Methode	Beschreibung
ObjectStream<TokenSample>	ADTokenSampleStreamFactory.create(String[] args)

Verwendungen von TokenSample in opennlp.tools.formats.conllu

Methoden in opennlp.tools.formats.conllu, die TokenSample zurückgeben

Modifizierer und Typ	Methode	Beschreibung
TokenSample	ConlluTokenSampleStream.read()

Methoden in opennlp.tools.formats.conllu, die Typen mit Argumenten vom Typ TokenSample zurückgeben

Modifizierer und Typ	Methode	Beschreibung
ObjectStream<TokenSample>	ConlluTokenSampleStreamFactory.create(String[] args)

Verwendungen von TokenSample in opennlp.tools.formats.convert

Methoden in opennlp.tools.formats.convert, die TokenSample zurückgeben

Modifizierer und Typ	Methode	Beschreibung
TokenSample	NameToTokenSampleStream.read()
TokenSample	POSToTokenSampleStream.read()

Methoden in opennlp.tools.formats.convert, die Typen mit Argumenten vom Typ TokenSample zurückgeben

Modifizierer und Typ	Methode	Beschreibung
ObjectStream<TokenSample>	NameToTokenSampleStreamFactory.create(String[] args)
ObjectStream<TokenSample>	ParseToTokenSampleStreamFactory.create(String[] args)
ObjectStream<TokenSample>	POSToTokenSampleStreamFactory.create(String[] args)

Verwendungen von TokenSample in opennlp.tools.formats.irishsentencebank

Methoden in opennlp.tools.formats.irishsentencebank, die TokenSample zurückgeben

Modifizierer und Typ	Methode	Beschreibung
TokenSample	IrishSentenceBankDocument.IrishSentenceBankSentence.getTokenSample()

Methoden in opennlp.tools.formats.irishsentencebank, die Typen mit Argumenten vom Typ TokenSample zurückgeben

Modifizierer und Typ	Methode	Beschreibung
ObjectStream<TokenSample>	IrishSentenceBankTokenSampleStreamFactory.create(String[] args)

Verwendungen von TokenSample in opennlp.tools.formats.masc

Methoden in opennlp.tools.formats.masc, die TokenSample zurückgeben

Modifizierer und Typ	Methode	Beschreibung
TokenSample	MascTokenSampleStream.read()

Methoden in opennlp.tools.formats.masc, die Typen mit Argumenten vom Typ TokenSample zurückgeben

Modifizierer und Typ	Methode	Beschreibung
ObjectStream<TokenSample>	MascTokenSampleStreamFactory.create(String[] args)

Verwendungen von TokenSample in opennlp.tools.tokenize

Methoden in opennlp.tools.tokenize, die TokenSample zurückgeben

Modifizierer und Typ	Methode	Beschreibung
static TokenSample	TokenSample.parse(String sampleString, String separatorChars)	Parses a string sample.
protected TokenSample	DetokenizerEvaluator.processSample(TokenSample reference)
protected TokenSample	TokenizerEvaluator.processSample(TokenSample reference)
TokenSample	TokenizerStream.read()
TokenSample	TokenSampleStream.read()

Methoden in opennlp.tools.tokenize mit Parametern vom Typ TokenSample

Modifizierer und Typ	Methode	Beschreibung
protected Iterator<Event>	TokSpanEventStream.createEvents(TokenSample tokenSample)	Adds training events to the event stream for each of the specified sample.
protected TokenSample	DetokenizerEvaluator.processSample(TokenSample reference)
protected TokenSample	TokenizerEvaluator.processSample(TokenSample reference)

Methodenparameter in opennlp.tools.tokenize mit Typargumenten vom Typ TokenSample

Modifizierer und Typ	Methode	Beschreibung
void	TokenizerCrossValidator.evaluate(ObjectStream<TokenSample> samples, int nFolds)	Starts the evaluation.
static TokenizerModel	TokenizerME.train(ObjectStream<TokenSample> samples, TokenizerFactory factory, TrainingParameters mlParams)	Trains a model for the TokenizerME.

Konstruktorparameter in opennlp.tools.tokenize mit Typargumenten vom Typ TokenSample

Modifizierer	Konstruktor	Beschreibung
	TokSpanEventStream(ObjectStream<TokenSample> tokenSamples, boolean skipAlphaNumerics)	Initializes a new event stream based on the data stream using a TokenContextGenerator that relies on a DefaultTokenContextGenerator.
	TokSpanEventStream(ObjectStream<TokenSample> tokenSamples, boolean skipAlphaNumerics, Pattern alphaNumeric, TokenContextGenerator cg)	Initializes a new event stream based on the data stream using a TokenContextGenerator.
	TokSpanEventStream(ObjectStream<TokenSample> tokenSamples, boolean skipAlphaNumerics, TokenContextGenerator cg)	Initializes a new event stream based on the data stream using a TokenContextGenerator.
	WhitespaceTokenStream(ObjectStream<TokenSample> tokens)	Initializes a WhitespaceTokenStream.

Verwendungen von TokenSample in opennlp.tools.tokenize.lang.en

Methoden in opennlp.tools.tokenize.lang.en, die TokenSample zurückgeben

Modifizierer und Typ	Methode	Beschreibung
TokenSample	TokenSampleStream.next()