String :: Tokenizer String :: Tokenizer is een eenvoudige string-tokenizer.
Download nu

String :: Tokenizer Rangschikking & Samenvatting

String :: Tokenizer Tags

Perl-module snaar Perl-extensie Tokenizer string-tokenizer

String :: Tokenizer Beschrijving

String :: Tokenizer is een eenvoudige string-tokenizer. String :: Tokenizer is een eenvoudige string-tokenizer.synopsis gebruik string :: tokenizer; # Maak de tokenizer en tokenize invoer mijn $ tokenizer = string ::: tokenizer-> nieuw ("((5 + 5) * 10)", '+ * ()'); # Maak tokenizer mijn $ tokenizer = string :: tokenizer-> nieuw (); # ... dan Tenkenize de snaar $ tokenizer-> tokenize (((5 + 5) - 10) ", '()'); # zal afdrukken '(, (, 5, +, 5,), -, 10,)' print join "," => $ tokenizer-> gettokens (); # Maak Tokenizer die WhiteSpace behoudt My $ St = String :: Tokenizer-> Nieuw ('Dit is een test met, (signifigant) witspace', ', ()', string :: tokenizer-> retain_whitespace); # Dit zal afdrukken: # 'This', '', 'is', '', 'a', '', 'test', '', 'met', '', '(', 'signifigant', ' ) ',' ',' Whitespace 'Print "' '. (Join "','" => $ tokenizer-> gettokens ()). "'"; # Krijg een token iterator My $ I = $ Tokenizer-> iterator (); terwijl ($ i-> haNexttoken ()) {mijn $ volgende = $ i-> nexttoken (); # Peek vooruit bij de volgende token mijn $ look_ahead = $ i-> lookaheadtoken (); # ... # Skip de volgende 2 tokens $ i-> skiptokens (2); # ... # dan backtrack 1 token mijn $ vorige = $ i-> weergeven (); # ... # Krijg het huidige token mijn $ stroom = $ i-> -stroom (); # ...} een eenvoudige string-tokenizer die een touw heeft en splitst het op witruimte. Het neemt ook eventueel een reeks personages in om als scheidingstekens te gebruiken en retourneert ze ook met de tokenset. Dit maakt het mogelijk om de reeks op veel verschillende manier te splitsen. Dit is een zeer basispioenizer, dus meer complexe behoeften moeten worden aangepakt met een aangepaste schriftelijke tokenizer of nabewerking van de uitgang die door deze module wordt gegenereerd. Kortom, dit zal de behoeften van ieders niet invullen, maar het omvat een kloof tussen eenvoudige split / /, $ string en de andere opties met veel grotere en complexe modules. Ook let op dat dit geen lexicale analysator is. Veel mensen verwarren tokenisatie met lexicale analyse. Een tokenizer splitst de input in specifieke brokken, een lexicalanalysator classificeert die brokken. Soms worden deze twee stappen gecombineerd, maar niet hier.Requirements: · Perl-vereisten: · Perl

String :: Tokenizer Gerelateerde software