You are viewing a plain text version of this content. The canonical link for it is here.
Posted to commits@lucene.apache.org by sa...@apache.org on 2014/07/07 01:44:31 UTC
svn commit: r1608313 [3/5] - in /lucene/dev/branches/branch_4x: ./ lucene/
lucene/analysis/ lucene/analysis/common/
lucene/analysis/common/src/java/org/apache/lucene/analysis/charfilter/
lucene/analysis/common/src/java/org/apache/lucene/analysis/standa...
Modified: lucene/dev/branches/branch_4x/lucene/analysis/common/src/java/org/apache/lucene/analysis/charfilter/HTMLStripCharFilter.jflex
URL: http://svn.apache.org/viewvc/lucene/dev/branches/branch_4x/lucene/analysis/common/src/java/org/apache/lucene/analysis/charfilter/HTMLStripCharFilter.jflex?rev=1608313&r1=1608312&r2=1608313&view=diff
==============================================================================
--- lucene/dev/branches/branch_4x/lucene/analysis/common/src/java/org/apache/lucene/analysis/charfilter/HTMLStripCharFilter.jflex (original)
+++ lucene/dev/branches/branch_4x/lucene/analysis/common/src/java/org/apache/lucene/analysis/charfilter/HTMLStripCharFilter.jflex Sun Jul 6 23:44:30 2014
@@ -64,7 +64,7 @@ import org.apache.lucene.analysis.util.O
//
// <identifier> := <ID_Start> <ID_Continue>*
//
-Name = ( ( [:_\p{ID_Start}] | {ID_Start_Supp} ) ( [-.:_\p{ID_Continue}] | {ID_Continue_Supp} )* )
+Name = [:_\p{ID_Start}] [-.:_\p{ID_Continue}]*
// From Apache httpd mod_include documentation
// <http://httpd.apache.org/docs/current/mod/mod_include.html>:
@@ -141,8 +141,6 @@ InlineElment = ( [aAbBiIqQsSuU]
%include HTMLCharacterEntities.jflex
-%include HTMLStripCharFilter.SUPPLEMENTARY.jflex-macro
-
%{
private static final int INITIAL_INPUT_SEGMENT_SIZE = 1024;
private static final char BLOCK_LEVEL_START_TAG_REPLACEMENT = '\n';
@@ -309,7 +307,7 @@ InlineElment = ( [aAbBiIqQsSuU]
cumulativeDiff += inputSegment.length() - outputSegment.length();
// position the correction at (already output length) + (substitution length)
addOffCorrectMap(outputCharCount + outputSegment.length(), cumulativeDiff);
- eofReturnValue = outputSegment.length() > 0 ? outputSegment.nextChar() : -1;
+ eofReturnValue = ( ! outputSegment.isRead()) ? outputSegment.nextChar() : -1;
break;
}
case BANG:
@@ -322,7 +320,7 @@ InlineElment = ( [aAbBiIqQsSuU]
case LEFT_ANGLE_BRACKET_SLASH:
case LEFT_ANGLE_BRACKET_SPACE: { // Include
outputSegment = inputSegment;
- eofReturnValue = outputSegment.length() > 0 ? outputSegment.nextChar() : -1;
+ eofReturnValue = ( ! outputSegment.isRead()) ? outputSegment.nextChar() : -1;
break;
}
default: {
@@ -789,7 +787,7 @@ InlineElment = ( [aAbBiIqQsSuU]
}
}
[^] {
- inputSegment.append(zzBuffer[zzStartRead]);
+ inputSegment.append(yytext());
}
}
@@ -801,7 +799,13 @@ InlineElment = ( [aAbBiIqQsSuU]
addOffCorrectMap(outputCharCount, cumulativeDiff);
yybegin(YYINITIAL);
}
- [^] { return zzBuffer[zzStartRead]; }
+ [^] {
+ if (yylength() == 1) {
+ return zzBuffer[zzStartRead];
+ } else {
+ outputSegment.append(yytext()); return outputSegment.nextChar();
+ }
+ }
}
<COMMENT> {
@@ -916,7 +920,7 @@ InlineElment = ( [aAbBiIqQsSuU]
<AMPERSAND,NUMERIC_CHARACTER,CHARACTER_REFERENCE_TAIL,LEFT_ANGLE_BRACKET_SLASH,END_TAG_TAIL_INCLUDE,END_TAG_TAIL_EXCLUDE,END_TAG_TAIL_SUBSTITUTE,LEFT_ANGLE_BRACKET,LEFT_ANGLE_BRACKET_SPACE,START_TAG_TAIL_INCLUDE,START_TAG_TAIL_EXCLUDE,START_TAG_TAIL_SUBSTITUTE,BANG> {
[^] {
- yypushback(1);
+ yypushback(yylength());
outputSegment = inputSegment;
outputSegment.restart();
yybegin(YYINITIAL);
@@ -924,4 +928,10 @@ InlineElment = ( [aAbBiIqQsSuU]
}
}
-[^] { return zzBuffer[zzStartRead]; }
+[^] {
+ if (yylength() == 1) {
+ return zzBuffer[zzStartRead];
+ } else {
+ outputSegment.append(yytext()); return outputSegment.nextChar();
+ }
+}
Modified: lucene/dev/branches/branch_4x/lucene/analysis/common/src/java/org/apache/lucene/analysis/standard/StandardTokenizerImpl.java
URL: http://svn.apache.org/viewvc/lucene/dev/branches/branch_4x/lucene/analysis/common/src/java/org/apache/lucene/analysis/standard/StandardTokenizerImpl.java?rev=1608313&r1=1608312&r2=1608313&view=diff
==============================================================================
--- lucene/dev/branches/branch_4x/lucene/analysis/common/src/java/org/apache/lucene/analysis/standard/StandardTokenizerImpl.java (original)
+++ lucene/dev/branches/branch_4x/lucene/analysis/common/src/java/org/apache/lucene/analysis/standard/StandardTokenizerImpl.java Sun Jul 6 23:44:30 2014
@@ -1,4 +1,4 @@
-/* The following code was generated by JFlex 1.5.1 */
+/* The following code was generated by JFlex 1.6.0 */
package org.apache.lucene.analysis.standard;
@@ -64,149 +64,147 @@ public final class StandardTokenizerImpl
* Translates characters to character classes
*/
private static final String ZZ_CMAP_PACKED =
- "\42\0\1\213\4\0\1\212\4\0\1\203\1\0\1\204\1\0\12\200"+
- "\1\202\1\203\5\0\32\176\4\0\1\205\1\0\32\176\57\0\1\176"+
- "\2\0\1\177\7\0\1\176\1\0\1\202\2\0\1\176\5\0\27\176"+
- "\1\0\37\176\1\0\u01ca\176\4\0\14\176\5\0\1\202\10\0\5\176"+
- "\7\0\1\176\1\0\1\176\21\0\160\177\5\176\1\0\2\176\2\0"+
- "\4\176\1\203\7\0\1\176\1\202\3\176\1\0\1\176\1\0\24\176"+
- "\1\0\123\176\1\0\213\176\1\0\7\177\236\176\11\0\46\176\2\0"+
- "\1\176\7\0\47\176\1\0\1\203\7\0\55\177\1\0\1\177\1\0"+
- "\2\177\1\0\2\177\1\0\1\177\10\0\33\214\5\0\3\214\1\176"+
- "\1\202\13\0\5\177\7\0\2\203\2\0\13\177\1\0\1\177\3\0"+
- "\53\176\25\177\12\200\1\0\1\200\1\203\1\0\2\176\1\177\143\176"+
- "\1\0\1\176\7\177\1\177\1\0\6\177\2\176\2\177\1\0\4\177"+
- "\2\176\12\200\3\176\2\0\1\176\17\0\1\177\1\176\1\177\36\176"+
- "\33\177\2\0\131\176\13\177\1\176\16\0\12\200\41\176\11\177\2\176"+
- "\2\0\1\203\1\0\1\176\5\0\26\176\4\177\1\176\11\177\1\176"+
- "\3\177\1\176\5\177\22\0\31\176\3\177\104\0\1\176\1\0\13\176"+
- "\67\0\33\177\1\0\4\177\66\176\3\177\1\176\22\177\1\176\7\177"+
- "\12\176\2\177\2\0\12\200\1\0\7\176\1\0\7\176\1\0\3\177"+
- "\1\0\10\176\2\0\2\176\2\0\26\176\1\0\7\176\1\0\1\176"+
- "\3\0\4\176\2\0\1\177\1\176\7\177\2\0\2\177\2\0\3\177"+
- "\1\176\10\0\1\177\4\0\2\176\1\0\3\176\2\177\2\0\12\200"+
- "\2\176\17\0\3\177\1\0\6\176\4\0\2\176\2\0\26\176\1\0"+
- "\7\176\1\0\2\176\1\0\2\176\1\0\2\176\2\0\1\177\1\0"+
- "\5\177\4\0\2\177\2\0\3\177\3\0\1\177\7\0\4\176\1\0"+
- "\1\176\7\0\12\200\2\177\3\176\1\177\13\0\3\177\1\0\11\176"+
- "\1\0\3\176\1\0\26\176\1\0\7\176\1\0\2\176\1\0\5\176"+
- "\2\0\1\177\1\176\10\177\1\0\3\177\1\0\3\177\2\0\1\176"+
- "\17\0\2\176\2\177\2\0\12\200\21\0\3\177\1\0\10\176\2\0"+
- "\2\176\2\0\26\176\1\0\7\176\1\0\2\176\1\0\5\176\2\0"+
- "\1\177\1\176\7\177\2\0\2\177\2\0\3\177\10\0\2\177\4\0"+
- "\2\176\1\0\3\176\2\177\2\0\12\200\1\0\1\176\20\0\1\177"+
- "\1\176\1\0\6\176\3\0\3\176\1\0\4\176\3\0\2\176\1\0"+
- "\1\176\1\0\2\176\3\0\2\176\3\0\3\176\3\0\14\176\4\0"+
- "\5\177\3\0\3\177\1\0\4\177\2\0\1\176\6\0\1\177\16\0"+
- "\12\200\21\0\3\177\1\0\10\176\1\0\3\176\1\0\27\176\1\0"+
- "\12\176\1\0\5\176\3\0\1\176\7\177\1\0\3\177\1\0\4\177"+
- "\7\0\2\177\1\0\2\176\6\0\2\176\2\177\2\0\12\200\22\0"+
- "\2\177\1\0\10\176\1\0\3\176\1\0\27\176\1\0\12\176\1\0"+
- "\5\176\2\0\1\177\1\176\7\177\1\0\3\177\1\0\4\177\7\0"+
- "\2\177\7\0\1\176\1\0\2\176\2\177\2\0\12\200\1\0\2\176"+
- "\17\0\2\177\1\0\10\176\1\0\3\176\1\0\51\176\2\0\1\176"+
- "\7\177\1\0\3\177\1\0\4\177\1\176\10\0\1\177\10\0\2\176"+
- "\2\177\2\0\12\200\12\0\6\176\2\0\2\177\1\0\22\176\3\0"+
- "\30\176\1\0\11\176\1\0\1\176\2\0\7\176\3\0\1\177\4\0"+
- "\6\177\1\0\1\177\1\0\10\177\22\0\2\177\15\0\60\206\1\207"+
- "\2\206\7\207\5\0\7\206\10\207\1\0\12\200\47\0\2\206\1\0"+
- "\1\206\2\0\2\206\1\0\1\206\2\0\1\206\6\0\4\206\1\0"+
- "\7\206\1\0\3\206\1\0\1\206\1\0\1\206\2\0\2\206\1\0"+
- "\4\206\1\207\2\206\6\207\1\0\2\207\1\206\2\0\5\206\1\0"+
- "\1\206\1\0\6\207\2\0\12\200\2\0\4\206\40\0\1\176\27\0"+
- "\2\177\6\0\12\200\13\0\1\177\1\0\1\177\1\0\1\177\4\0"+
- "\2\177\10\176\1\0\44\176\4\0\24\177\1\0\2\177\5\176\13\177"+
- "\1\0\44\177\11\0\1\177\71\0\53\206\24\207\1\206\12\200\6\0"+
- "\6\206\4\207\4\206\3\207\1\206\3\207\2\206\7\207\3\206\4\207"+
- "\15\206\14\207\1\206\1\207\12\200\4\207\2\206\46\176\1\0\1\176"+
- "\5\0\1\176\2\0\53\176\1\0\4\176\u0100\215\111\176\1\0\4\176"+
- "\2\0\7\176\1\0\1\176\1\0\4\176\2\0\51\176\1\0\4\176"+
- "\2\0\41\176\1\0\4\176\2\0\7\176\1\0\1\176\1\0\4\176"+
- "\2\0\17\176\1\0\71\176\1\0\4\176\2\0\103\176\2\0\3\177"+
- "\40\0\20\176\20\0\125\176\14\0\u026c\176\2\0\21\176\1\0\32\176"+
- "\5\0\113\176\3\0\3\176\17\0\15\176\1\0\4\176\3\177\13\0"+
- "\22\176\3\177\13\0\22\176\2\177\14\0\15\176\1\0\3\176\1\0"+
- "\2\177\14\0\64\206\40\207\3\0\1\206\4\0\1\206\1\207\2\0"+
- "\12\200\41\0\3\177\1\177\1\0\12\200\6\0\130\176\10\0\51\176"+
- "\1\177\1\176\5\0\106\176\12\0\35\176\3\0\14\177\4\0\14\177"+
- "\12\0\12\200\36\206\2\0\5\206\13\0\54\206\4\0\21\207\7\206"+
- "\2\207\6\0\12\200\1\206\3\0\2\206\40\0\27\176\5\177\4\0"+
- "\65\206\12\207\1\0\35\207\2\0\1\177\12\200\6\0\12\200\6\0"+
- "\16\206\122\0\5\177\57\176\21\177\7\176\4\0\12\200\21\0\11\177"+
- "\14\0\3\177\36\176\15\177\2\176\12\200\54\176\16\177\14\0\44\176"+
- "\24\177\10\0\12\200\3\0\3\176\12\200\44\176\122\0\3\177\1\0"+
- "\25\177\4\176\1\177\4\176\3\177\2\176\11\0\300\176\47\177\25\0"+
- "\4\177\u0116\176\2\0\6\176\2\0\46\176\2\0\6\176\2\0\10\176"+
- "\1\0\1\176\1\0\1\176\1\0\1\176\1\0\37\176\2\0\65\176"+
- "\1\0\7\176\1\0\1\176\3\0\3\176\1\0\7\176\3\0\4\176"+
- "\2\0\6\176\4\0\15\176\5\0\3\176\1\0\7\176\17\0\2\177"+
- "\2\177\10\0\2\204\12\0\1\204\2\0\1\202\2\0\5\177\20\0"+
- "\2\205\3\0\1\203\17\0\1\205\13\0\5\177\1\0\12\177\1\0"+
- "\1\176\15\0\1\176\20\0\15\176\63\0\41\177\21\0\1\176\4\0"+
- "\1\176\2\0\12\176\1\0\1\176\3\0\5\176\6\0\1\176\1\0"+
- "\1\176\1\0\1\176\1\0\4\176\1\0\13\176\2\0\4\176\5\0"+
- "\5\176\4\0\1\176\21\0\51\176\u032d\0\64\176\u0716\0\57\176\1\0"+
- "\57\176\1\0\205\176\6\0\4\176\3\177\2\176\14\0\46\176\1\0"+
- "\1\176\5\0\1\176\2\0\70\176\7\0\1\176\17\0\1\177\27\176"+
- "\11\0\7\176\1\0\7\176\1\0\7\176\1\0\7\176\1\0\7\176"+
- "\1\0\7\176\1\0\7\176\1\0\7\176\1\0\40\177\57\0\1\176"+
- "\120\0\32\210\1\0\131\210\14\0\326\210\57\0\1\176\1\0\1\210"+
- "\31\0\11\210\6\177\1\0\5\201\2\0\3\210\1\176\1\176\4\0"+
- "\126\211\2\0\2\177\2\201\3\211\133\201\1\0\4\201\5\0\51\176"+
- "\3\0\136\215\21\0\33\176\65\0\20\201\320\0\57\201\1\0\130\201"+
- "\250\0\u19b6\210\112\0\u51cd\210\63\0\u048d\176\103\0\56\176\2\0\u010d\176"+
- "\3\0\20\176\12\200\2\176\24\0\57\176\4\177\1\0\12\177\1\0"+
- "\31\176\7\0\1\177\120\176\2\177\45\0\11\176\2\0\147\176\2\0"+
- "\4\176\1\0\4\176\14\0\13\176\115\0\12\176\1\177\3\176\1\177"+
- "\4\176\1\177\27\176\5\177\30\0\64\176\14\0\2\177\62\176\21\177"+
- "\13\0\12\200\6\0\22\177\6\176\3\0\1\176\4\0\12\200\34\176"+
- "\10\177\2\0\27\176\15\177\14\0\35\215\3\0\4\177\57\176\16\177"+
- "\16\0\1\176\12\200\46\0\51\176\16\177\11\0\3\176\1\177\10\176"+
- "\2\177\2\0\12\200\6\0\33\206\1\207\4\0\60\206\1\207\1\206"+
- "\3\207\2\206\2\207\5\206\2\207\1\206\1\207\1\206\30\0\5\206"+
- "\13\176\5\177\2\0\3\176\2\177\12\0\6\176\2\0\6\176\2\0"+
- "\6\176\11\0\7\176\1\0\7\176\221\0\43\176\10\177\1\0\2\177"+
- "\2\0\12\200\6\0\u2ba4\215\14\0\27\215\4\0\61\215\4\0\1\44"+
- "\1\40\1\67\1\64\1\33\1\30\2\0\1\24\1\21\2\0\1\17"+
- "\1\15\14\0\1\3\1\6\20\0\1\156\7\0\1\111\1\10\5\0"+
- "\1\1\1\172\3\0\1\163\1\163\1\163\1\163\1\163\1\163\1\163"+
- "\1\163\1\163\1\163\1\163\1\163\1\163\1\163\1\163\1\163\1\163"+
- "\1\163\1\163\1\163\1\163\1\163\1\163\1\163\1\163\1\163\1\163"+
- "\1\163\1\163\1\163\1\163\1\163\1\163\1\163\1\163\1\163\1\163"+
- "\1\163\1\163\1\163\1\163\1\164\1\163\1\163\1\163\1\170\1\166"+
- "\17\0\1\160\u02c1\0\1\114\277\0\1\157\1\115\1\16\3\167\2\62"+
- "\1\167\1\62\2\167\1\36\21\167\2\106\7\117\1\116\7\117\7\102"+
- "\1\37\1\102\1\140\2\66\1\65\1\140\1\66\1\65\10\140\2\107"+
- "\5\103\2\75\5\103\1\22\10\53\5\23\3\41\12\122\20\41\3\63"+
- "\32\43\1\42\2\61\2\126\1\127\2\126\2\127\2\126\1\127\3\61"+
- "\1\60\2\61\12\110\1\136\1\50\1\45\1\110\6\50\1\45\13\50"+
- "\31\61\7\50\12\123\1\50\5\13\3\137\3\101\1\100\4\101\2\100"+
- "\10\101\1\100\7\35\1\34\2\35\7\101\16\137\1\151\4\124\1\4"+
- "\4\121\1\4\5\150\1\147\1\150\3\147\7\150\1\147\23\150\5\113"+
- "\3\150\6\113\2\113\6\112\5\112\3\144\2\101\7\143\36\101\4\143"+
- "\5\101\5\137\6\135\2\137\1\135\4\35\13\146\12\121\14\146\12\175"+
- "\15\174\1\145\2\174\1\173\3\152\1\13\2\152\5\161\4\152\4\162"+
- "\1\161\3\162\1\161\5\162\2\70\1\73\2\70\1\73\1\70\2\73"+
- "\1\70\1\73\12\70\1\73\4\5\1\154\1\153\1\155\1\12\3\165"+
- "\1\155\2\165\1\141\2\142\2\165\1\12\1\165\1\12\1\165\1\12"+
- "\1\165\3\12\1\165\2\12\1\165\1\12\2\165\1\12\1\165\1\12"+
- "\1\165\1\12\1\165\1\12\1\165\1\12\1\76\2\72\1\76\1\72"+
- "\2\76\4\72\1\76\7\72\1\76\4\72\1\76\4\72\1\165\1\12"+
- "\1\165\12\31\1\57\21\31\1\57\3\32\1\57\3\31\1\57\1\31"+
- "\2\2\2\31\1\57\15\134\4\47\4\54\1\120\1\56\10\120\7\54"+
- "\6\165\4\25\1\27\37\25\1\27\4\25\25\105\1\171\11\105\21\26"+
- "\5\105\1\7\12\55\5\105\6\104\4\76\1\77\1\26\5\133\12\131"+
- "\17\133\1\74\3\71\14\130\1\11\11\46\1\52\5\46\4\132\13\51"+
- "\2\14\11\46\1\52\31\46\1\52\4\11\4\46\2\52\2\125\1\20"+
- "\5\125\52\20\u1900\0\u016e\210\2\0\152\210\46\0\7\176\14\0\5\176"+
- "\5\0\1\214\1\177\12\214\1\0\15\214\1\0\5\214\1\0\1\214"+
- "\1\0\2\214\1\0\2\214\1\0\12\214\142\176\41\0\u016b\176\22\0"+
- "\100\176\2\0\66\176\50\0\14\176\4\0\20\177\1\203\2\0\1\202"+
- "\1\203\13\0\7\177\14\0\2\205\30\0\3\205\1\203\1\0\1\204"+
- "\1\0\1\203\1\202\32\0\5\176\1\0\207\176\2\0\1\177\7\0"+
- "\1\204\4\0\1\203\1\0\1\204\1\0\12\200\1\202\1\203\5\0"+
- "\32\176\4\0\1\205\1\0\32\176\13\0\70\201\2\177\37\215\3\0"+
- "\6\215\2\0\6\215\2\0\6\215\2\0\3\215\34\0\3\177\4\0";
+ "\42\0\1\15\4\0\1\14\4\0\1\7\1\0\1\10\1\0\12\4"+
+ "\1\6\1\7\5\0\32\1\4\0\1\11\1\0\32\1\57\0\1\1"+
+ "\2\0\1\3\7\0\1\1\1\0\1\6\2\0\1\1\5\0\27\1"+
+ "\1\0\37\1\1\0\u01ca\1\4\0\14\1\5\0\1\6\10\0\5\1"+
+ "\7\0\1\1\1\0\1\1\21\0\160\3\5\1\1\0\2\1\2\0"+
+ "\4\1\1\7\7\0\1\1\1\6\3\1\1\0\1\1\1\0\24\1"+
+ "\1\0\123\1\1\0\213\1\1\0\7\3\236\1\11\0\46\1\2\0"+
+ "\1\1\7\0\47\1\1\0\1\7\7\0\55\3\1\0\1\3\1\0"+
+ "\2\3\1\0\2\3\1\0\1\3\10\0\33\16\5\0\3\16\1\1"+
+ "\1\6\13\0\5\3\7\0\2\7\2\0\13\3\1\0\1\3\3\0"+
+ "\53\1\25\3\12\4\1\0\1\4\1\7\1\0\2\1\1\3\143\1"+
+ "\1\0\1\1\10\3\1\0\6\3\2\1\2\3\1\0\4\3\2\1"+
+ "\12\4\3\1\2\0\1\1\17\0\1\3\1\1\1\3\36\1\33\3"+
+ "\2\0\131\1\13\3\1\1\16\0\12\4\41\1\11\3\2\1\2\0"+
+ "\1\7\1\0\1\1\5\0\26\1\4\3\1\1\11\3\1\1\3\3"+
+ "\1\1\5\3\22\0\31\1\3\3\104\0\1\1\1\0\13\1\67\0"+
+ "\33\3\1\0\4\3\66\1\3\3\1\1\22\3\1\1\7\3\12\1"+
+ "\2\3\2\0\12\4\1\0\7\1\1\0\7\1\1\0\3\3\1\0"+
+ "\10\1\2\0\2\1\2\0\26\1\1\0\7\1\1\0\1\1\3\0"+
+ "\4\1\2\0\1\3\1\1\7\3\2\0\2\3\2\0\3\3\1\1"+
+ "\10\0\1\3\4\0\2\1\1\0\3\1\2\3\2\0\12\4\2\1"+
+ "\17\0\3\3\1\0\6\1\4\0\2\1\2\0\26\1\1\0\7\1"+
+ "\1\0\2\1\1\0\2\1\1\0\2\1\2\0\1\3\1\0\5\3"+
+ "\4\0\2\3\2\0\3\3\3\0\1\3\7\0\4\1\1\0\1\1"+
+ "\7\0\12\4\2\3\3\1\1\3\13\0\3\3\1\0\11\1\1\0"+
+ "\3\1\1\0\26\1\1\0\7\1\1\0\2\1\1\0\5\1\2\0"+
+ "\1\3\1\1\10\3\1\0\3\3\1\0\3\3\2\0\1\1\17\0"+
+ "\2\1\2\3\2\0\12\4\21\0\3\3\1\0\10\1\2\0\2\1"+
+ "\2\0\26\1\1\0\7\1\1\0\2\1\1\0\5\1\2\0\1\3"+
+ "\1\1\7\3\2\0\2\3\2\0\3\3\10\0\2\3\4\0\2\1"+
+ "\1\0\3\1\2\3\2\0\12\4\1\0\1\1\20\0\1\3\1\1"+
+ "\1\0\6\1\3\0\3\1\1\0\4\1\3\0\2\1\1\0\1\1"+
+ "\1\0\2\1\3\0\2\1\3\0\3\1\3\0\14\1\4\0\5\3"+
+ "\3\0\3\3\1\0\4\3\2\0\1\1\6\0\1\3\16\0\12\4"+
+ "\21\0\3\3\1\0\10\1\1\0\3\1\1\0\27\1\1\0\12\1"+
+ "\1\0\5\1\3\0\1\1\7\3\1\0\3\3\1\0\4\3\7\0"+
+ "\2\3\1\0\2\1\6\0\2\1\2\3\2\0\12\4\22\0\2\3"+
+ "\1\0\10\1\1\0\3\1\1\0\27\1\1\0\12\1\1\0\5\1"+
+ "\2\0\1\3\1\1\7\3\1\0\3\3\1\0\4\3\7\0\2\3"+
+ "\7\0\1\1\1\0\2\1\2\3\2\0\12\4\1\0\2\1\17\0"+
+ "\2\3\1\0\10\1\1\0\3\1\1\0\51\1\2\0\1\1\7\3"+
+ "\1\0\3\3\1\0\4\3\1\1\10\0\1\3\10\0\2\1\2\3"+
+ "\2\0\12\4\12\0\6\1\2\0\2\3\1\0\22\1\3\0\30\1"+
+ "\1\0\11\1\1\0\1\1\2\0\7\1\3\0\1\3\4\0\6\3"+
+ "\1\0\1\3\1\0\10\3\22\0\2\3\15\0\60\20\1\21\2\20"+
+ "\7\21\5\0\7\20\10\21\1\0\12\4\47\0\2\20\1\0\1\20"+
+ "\2\0\2\20\1\0\1\20\2\0\1\20\6\0\4\20\1\0\7\20"+
+ "\1\0\3\20\1\0\1\20\1\0\1\20\2\0\2\20\1\0\4\20"+
+ "\1\21\2\20\6\21\1\0\2\21\1\20\2\0\5\20\1\0\1\20"+
+ "\1\0\6\21\2\0\12\4\2\0\4\20\40\0\1\1\27\0\2\3"+
+ "\6\0\12\4\13\0\1\3\1\0\1\3\1\0\1\3\4\0\2\3"+
+ "\10\1\1\0\44\1\4\0\24\3\1\0\2\3\5\1\13\3\1\0"+
+ "\44\3\11\0\1\3\71\0\53\20\24\21\1\20\12\4\6\0\6\20"+
+ "\4\21\4\20\3\21\1\20\3\21\2\20\7\21\3\20\4\21\15\20"+
+ "\14\21\1\20\1\21\12\4\4\21\2\20\46\1\1\0\1\1\5\0"+
+ "\1\1\2\0\53\1\1\0\4\1\u0100\2\111\1\1\0\4\1\2\0"+
+ "\7\1\1\0\1\1\1\0\4\1\2\0\51\1\1\0\4\1\2\0"+
+ "\41\1\1\0\4\1\2\0\7\1\1\0\1\1\1\0\4\1\2\0"+
+ "\17\1\1\0\71\1\1\0\4\1\2\0\103\1\2\0\3\3\40\0"+
+ "\20\1\20\0\125\1\14\0\u026c\1\2\0\21\1\1\0\32\1\5\0"+
+ "\113\1\3\0\3\1\17\0\15\1\1\0\4\1\3\3\13\0\22\1"+
+ "\3\3\13\0\22\1\2\3\14\0\15\1\1\0\3\1\1\0\2\3"+
+ "\14\0\64\20\40\21\3\0\1\20\4\0\1\20\1\21\2\0\12\4"+
+ "\41\0\4\3\1\0\12\4\6\0\130\1\10\0\51\1\1\3\1\1"+
+ "\5\0\106\1\12\0\35\1\3\0\14\3\4\0\14\3\12\0\12\4"+
+ "\36\20\2\0\5\20\13\0\54\20\4\0\21\21\7\20\2\21\6\0"+
+ "\12\4\1\20\3\0\2\20\40\0\27\1\5\3\4\0\65\20\12\21"+
+ "\1\0\35\21\2\0\1\3\12\4\6\0\12\4\6\0\16\20\122\0"+
+ "\5\3\57\1\21\3\7\1\4\0\12\4\21\0\11\3\14\0\3\3"+
+ "\36\1\15\3\2\1\12\4\54\1\16\3\14\0\44\1\24\3\10\0"+
+ "\12\4\3\0\3\1\12\4\44\1\122\0\3\3\1\0\25\3\4\1"+
+ "\1\3\4\1\3\3\2\1\11\0\300\1\47\3\25\0\4\3\u0116\1"+
+ "\2\0\6\1\2\0\46\1\2\0\6\1\2\0\10\1\1\0\1\1"+
+ "\1\0\1\1\1\0\1\1\1\0\37\1\2\0\65\1\1\0\7\1"+
+ "\1\0\1\1\3\0\3\1\1\0\7\1\3\0\4\1\2\0\6\1"+
+ "\4\0\15\1\5\0\3\1\1\0\7\1\17\0\4\3\10\0\2\10"+
+ "\12\0\1\10\2\0\1\6\2\0\5\3\20\0\2\11\3\0\1\7"+
+ "\17\0\1\11\13\0\5\3\1\0\12\3\1\0\1\1\15\0\1\1"+
+ "\20\0\15\1\63\0\41\3\21\0\1\1\4\0\1\1\2\0\12\1"+
+ "\1\0\1\1\3\0\5\1\6\0\1\1\1\0\1\1\1\0\1\1"+
+ "\1\0\4\1\1\0\13\1\2\0\4\1\5\0\5\1\4\0\1\1"+
+ "\21\0\51\1\u032d\0\64\1\u0716\0\57\1\1\0\57\1\1\0\205\1"+
+ "\6\0\4\1\3\3\2\1\14\0\46\1\1\0\1\1\5\0\1\1"+
+ "\2\0\70\1\7\0\1\1\17\0\1\3\27\1\11\0\7\1\1\0"+
+ "\7\1\1\0\7\1\1\0\7\1\1\0\7\1\1\0\7\1\1\0"+
+ "\7\1\1\0\7\1\1\0\40\3\57\0\1\1\120\0\32\12\1\0"+
+ "\131\12\14\0\326\12\57\0\1\1\1\0\1\12\31\0\11\12\6\3"+
+ "\1\0\5\5\2\0\3\12\1\1\1\1\4\0\126\13\2\0\2\3"+
+ "\2\5\3\13\133\5\1\0\4\5\5\0\51\1\3\0\136\2\21\0"+
+ "\33\1\65\0\20\5\320\0\57\5\1\0\130\5\250\0\u19b6\12\112\0"+
+ "\u51cd\12\63\0\u048d\1\103\0\56\1\2\0\u010d\1\3\0\20\1\12\4"+
+ "\2\1\24\0\57\1\4\3\1\0\12\3\1\0\31\1\7\0\1\3"+
+ "\120\1\2\3\45\0\11\1\2\0\147\1\2\0\4\1\1\0\4\1"+
+ "\14\0\13\1\115\0\12\1\1\3\3\1\1\3\4\1\1\3\27\1"+
+ "\5\3\30\0\64\1\14\0\2\3\62\1\21\3\13\0\12\4\6\0"+
+ "\22\3\6\1\3\0\1\1\4\0\12\4\34\1\10\3\2\0\27\1"+
+ "\15\3\14\0\35\2\3\0\4\3\57\1\16\3\16\0\1\1\12\4"+
+ "\46\0\51\1\16\3\11\0\3\1\1\3\10\1\2\3\2\0\12\4"+
+ "\6\0\33\20\1\21\4\0\60\20\1\21\1\20\3\21\2\20\2\21"+
+ "\5\20\2\21\1\20\1\21\1\20\30\0\5\20\13\1\5\3\2\0"+
+ "\3\1\2\3\12\0\6\1\2\0\6\1\2\0\6\1\11\0\7\1"+
+ "\1\0\7\1\221\0\43\1\10\3\1\0\2\3\2\0\12\4\6\0"+
+ "\u2ba4\2\14\0\27\2\4\0\61\2\u2104\0\u016e\12\2\0\152\12\46\0"+
+ "\7\1\14\0\5\1\5\0\1\16\1\3\12\16\1\0\15\16\1\0"+
+ "\5\16\1\0\1\16\1\0\2\16\1\0\2\16\1\0\12\16\142\1"+
+ "\41\0\u016b\1\22\0\100\1\2\0\66\1\50\0\14\1\4\0\20\3"+
+ "\1\7\2\0\1\6\1\7\13\0\7\3\14\0\2\11\30\0\3\11"+
+ "\1\7\1\0\1\10\1\0\1\7\1\6\32\0\5\1\1\0\207\1"+
+ "\2\0\1\3\7\0\1\10\4\0\1\7\1\0\1\10\1\0\12\4"+
+ "\1\6\1\7\5\0\32\1\4\0\1\11\1\0\32\1\13\0\70\5"+
+ "\2\3\37\2\3\0\6\2\2\0\6\2\2\0\6\2\2\0\3\2"+
+ "\34\0\3\3\4\0\14\1\1\0\32\1\1\0\23\1\1\0\2\1"+
+ "\1\0\17\1\2\0\16\1\42\0\173\1\105\0\65\1\210\0\1\3"+
+ "\202\0\35\1\3\0\61\1\57\0\37\1\21\0\33\1\65\0\36\1"+
+ "\2\0\44\1\4\0\10\1\1\0\5\1\52\0\236\1\2\0\12\4"+
+ "\u0356\0\6\1\2\0\1\1\1\0\54\1\1\0\2\1\3\0\1\1"+
+ "\2\0\27\1\252\0\26\1\12\0\32\1\106\0\70\1\6\0\2\1"+
+ "\100\0\1\1\3\3\1\0\2\3\5\0\4\3\4\1\1\0\3\1"+
+ "\1\0\33\1\4\0\3\3\4\0\1\3\40\0\35\1\203\0\66\1"+
+ "\12\0\26\1\12\0\23\1\215\0\111\1\u03b7\0\3\3\65\1\17\3"+
+ "\37\0\12\4\20\0\3\3\55\1\13\3\2\0\1\3\22\0\31\1"+
+ "\7\0\12\4\6\0\3\3\44\1\16\3\1\0\12\4\100\0\3\3"+
+ "\60\1\16\3\4\1\13\0\12\4\u04a6\0\53\1\15\3\10\0\12\4"+
+ "\u0936\0\u036f\1\221\0\143\1\u0b9d\0\u042f\1\u33d1\0\u0239\1\u04c7\0\105\1"+
+ "\13\0\1\1\56\3\20\0\4\3\15\1\u4060\0\1\5\1\13\u2163\0"+
+ "\5\3\3\0\26\3\2\0\7\3\36\0\4\3\224\0\3\3\u01bb\0"+
+ "\125\1\1\0\107\1\1\0\2\1\2\0\1\1\2\0\2\1\2\0"+
+ "\4\1\1\0\14\1\1\0\1\1\1\0\7\1\1\0\101\1\1\0"+
+ "\4\1\2\0\10\1\1\0\7\1\1\0\34\1\1\0\4\1\1\0"+
+ "\5\1\1\0\1\1\3\0\7\1\1\0\u0154\1\2\0\31\1\1\0"+
+ "\31\1\1\0\37\1\1\0\31\1\1\0\37\1\1\0\31\1\1\0"+
+ "\37\1\1\0\31\1\1\0\37\1\1\0\31\1\1\0\10\1\2\0"+
+ "\62\4\u1600\0\4\1\1\0\33\1\1\0\2\1\1\0\1\1\2\0"+
+ "\1\1\1\0\12\1\1\0\4\1\1\0\1\1\1\0\1\1\6\0"+
+ "\1\1\4\0\1\1\1\0\1\1\1\0\1\1\1\0\3\1\1\0"+
+ "\2\1\1\0\1\1\2\0\1\1\1\0\1\1\1\0\1\1\1\0"+
+ "\1\1\1\0\1\1\1\0\2\1\1\0\1\1\2\0\4\1\1\0"+
+ "\7\1\1\0\4\1\1\0\4\1\1\0\1\1\1\0\12\1\1\0"+
+ "\21\1\5\0\3\1\1\0\5\1\1\0\21\1\u032a\0\32\17\1\13"+
+ "\u0dff\0\ua6d7\12\51\0\u1035\12\13\0\336\12\u3fe2\0\u021e\12\uffff\0\uffff\0\uffff\0\uffff\0\uffff\0\uffff\0\uffff\0\uffff\0\uffff\0\uffff\0\uffff\0\u05ee\0"+
+ "\1\3\36\0\140\3\200\0\360\3\uffff\0\uffff\0\ufe12\0";
/**
* Translates characters to character classes
@@ -219,12 +217,12 @@ public final class StandardTokenizerImpl
private static final int [] ZZ_ACTION = zzUnpackAction();
private static final String ZZ_ACTION_PACKED_0 =
- "\1\0\26\1\1\2\1\3\1\4\1\1\1\5\1\6"+
- "\1\7\1\2\1\10\21\0\1\2\1\0\1\2\12\0"+
- "\1\3\21\0\1\2\25\0\1\2\115\0\1\1\20\0";
+ "\1\0\1\1\1\2\1\3\1\4\1\5\1\1\1\6"+
+ "\1\7\1\2\1\1\1\10\1\2\1\0\1\2\1\0"+
+ "\1\4\1\0\2\2\2\0\1\1\1\0";
private static int [] zzUnpackAction() {
- int [] result = new int[197];
+ int [] result = new int[24];
int offset = 0;
offset = zzUnpackAction(ZZ_ACTION_PACKED_0, offset, result);
return result;
@@ -249,34 +247,12 @@ public final class StandardTokenizerImpl
private static final int [] ZZ_ROWMAP = zzUnpackRowMap();
private static final String ZZ_ROWMAP_PACKED_0 =
- "\0\0\0\216\0\u011c\0\u01aa\0\u0238\0\u02c6\0\u0354\0\u03e2"+
- "\0\u0470\0\u04fe\0\u058c\0\u061a\0\u06a8\0\u0736\0\u07c4\0\u0852"+
- "\0\u08e0\0\u096e\0\u09fc\0\u0a8a\0\u0b18\0\u0ba6\0\u0c34\0\u0cc2"+
- "\0\u0d50\0\u0dde\0\u0e6c\0\u0efa\0\u0f88\0\u1016\0\u10a4\0\u1132"+
- "\0\u11c0\0\u011c\0\u01aa\0\u124e\0\u12dc\0\u0354\0\u03e2\0\u0470"+
- "\0\u04fe\0\u136a\0\u13f8\0\u1486\0\u1514\0\u07c4\0\u15a2\0\u1630"+
- "\0\u16be\0\u174c\0\u17da\0\u1868\0\u18f6\0\u02c6\0\u1984\0\u1a12"+
- "\0\u06a8\0\u1aa0\0\u1b2e\0\u1bbc\0\u1c4a\0\u1cd8\0\u1d66\0\u1df4"+
- "\0\u1e82\0\u1f10\0\u1f9e\0\u202c\0\u20ba\0\u2148\0\u21d6\0\u2264"+
- "\0\u22f2\0\u2380\0\u240e\0\u249c\0\u252a\0\u25b8\0\u2646\0\u0e6c"+
- "\0\u26d4\0\u2762\0\u27f0\0\u287e\0\u290c\0\u299a\0\u2a28\0\u2ab6"+
- "\0\u2b44\0\u2bd2\0\u2c60\0\u2cee\0\u2d7c\0\u2e0a\0\u2e98\0\u2f26"+
- "\0\u2fb4\0\u3042\0\u30d0\0\u315e\0\u31ec\0\u327a\0\u3308\0\u3396"+
- "\0\u3424\0\u34b2\0\u3540\0\u35ce\0\u365c\0\u36ea\0\u3778\0\u3806"+
- "\0\u3894\0\u3922\0\u39b0\0\u3a3e\0\u3acc\0\u3b5a\0\u3be8\0\u3c76"+
- "\0\u3d04\0\u3d92\0\u3e20\0\u3eae\0\u3f3c\0\u3fca\0\u4058\0\u40e6"+
- "\0\u4174\0\u4202\0\u4290\0\u431e\0\u43ac\0\u443a\0\u44c8\0\u4556"+
- "\0\u45e4\0\u4672\0\u4700\0\u478e\0\u481c\0\u48aa\0\u4938\0\u49c6"+
- "\0\u4a54\0\u4ae2\0\u4b70\0\u4bfe\0\u4c8c\0\u4d1a\0\u4da8\0\u4e36"+
- "\0\u4ec4\0\u4f52\0\u4fe0\0\u506e\0\u50fc\0\u518a\0\u5218\0\u52a6"+
- "\0\u5334\0\u53c2\0\u5450\0\u54de\0\u556c\0\u55fa\0\u5688\0\u5716"+
- "\0\u57a4\0\u5832\0\u58c0\0\u594e\0\u59dc\0\u5a6a\0\u5af8\0\u5b86"+
- "\0\u5c14\0\u5ca2\0\u5d30\0\u5dbe\0\u5e4c\0\u5eda\0\u5f68\0\u5ff6"+
- "\0\u6084\0\u6112\0\u61a0\0\u622e\0\u62bc\0\u634a\0\u63d8\0\u6466"+
- "\0\u64f4\0\u6582\0\u6610\0\u669e\0\u672c";
+ "\0\0\0\22\0\44\0\66\0\110\0\132\0\154\0\176"+
+ "\0\220\0\242\0\264\0\306\0\330\0\352\0\374\0\u010e"+
+ "\0\u0120\0\154\0\u0132\0\u0144\0\u0156\0\264\0\u0168\0\u017a";
private static int [] zzUnpackRowMap() {
- int [] result = new int[197];
+ int [] result = new int[24];
int offset = 0;
offset = zzUnpackRowMap(ZZ_ROWMAP_PACKED_0, offset, result);
return result;
@@ -299,521 +275,33 @@ public final class StandardTokenizerImpl
private static final int [] ZZ_TRANS = zzUnpackTrans();
private static final String ZZ_TRANS_PACKED_0 =
- "\1\2\1\3\1\2\1\4\2\2\1\5\1\2\1\6"+
- "\4\2\1\7\1\2\1\10\1\2\1\11\2\2\1\12"+
- "\3\2\1\13\2\2\1\14\4\2\1\15\3\2\1\16"+
- "\17\2\1\17\2\2\1\20\66\2\1\21\1\2\1\22"+
- "\2\2\1\23\1\24\1\2\1\25\1\2\1\26\1\2"+
- "\1\27\3\2\1\30\1\2\1\31\1\32\3\2\1\33"+
- "\2\34\1\35\1\36\2\2\1\37\1\40\220\0\1\30"+
- "\2\0\1\30\4\0\1\30\16\0\1\30\15\0\1\30"+
- "\20\0\1\30\1\0\1\30\41\0\1\30\4\0\1\30"+
- "\10\0\2\30\5\0\2\30\10\0\1\30\26\0\2\30"+
- "\5\0\1\30\2\0\1\30\3\0\2\30\10\0\4\30"+
- "\1\0\3\30\1\0\1\30\2\0\1\30\2\0\1\30"+
- "\4\0\4\30\1\0\2\30\1\0\1\30\2\0\1\30"+
- "\1\0\1\30\2\0\4\30\2\0\3\30\1\0\2\30"+
- "\1\0\3\30\1\0\4\30\1\0\2\30\5\0\4\30"+
- "\2\0\10\30\1\0\1\30\2\0\1\30\1\0\2\30"+
- "\4\0\1\30\3\0\3\30\27\0\1\30\4\0\1\30"+
- "\11\0\1\30\22\0\1\30\3\0\1\30\27\0\1\30"+
- "\63\0\1\30\31\0\1\30\3\0\4\30\1\0\1\30"+
- "\1\0\1\31\2\0\1\30\1\0\2\30\2\0\2\30"+
- "\2\0\3\30\1\0\1\30\1\0\1\30\2\0\4\30"+
- "\1\0\3\30\1\0\1\30\1\0\3\30\1\0\2\30"+
- "\1\0\4\30\1\0\2\30\2\0\10\30\1\0\2\30"+
- "\1\0\10\30\1\31\1\0\7\30\1\0\10\30\1\0"+
- "\6\30\1\0\1\30\1\0\2\30\2\0\1\30\1\0"+
- "\1\30\3\0\3\30\36\0\1\30\17\0\1\30\23\0"+
- "\1\30\23\0\1\30\6\0\3\30\37\0\1\30\7\0"+
- "\1\30\30\0\1\30\1\0\2\30\1\0\1\30\1\0"+
- "\4\30\1\0\1\30\1\0\1\30\1\0\2\30\1\0"+
- "\3\30\1\0\2\30\1\0\4\30\1\0\3\30\1\0"+
- "\17\30\1\0\2\30\1\0\21\30\1\0\2\30\1\0"+
- "\41\30\1\0\1\30\1\0\2\30\2\0\1\30\1\0"+
- "\1\30\1\0\1\30\1\0\3\30\36\0\1\30\3\0"+
- "\2\30\12\0\2\30\13\0\1\30\6\0\1\30\2\0"+
- "\2\30\6\0\1\30\4\0\2\30\2\0\2\30\5\0"+
- "\3\30\20\0\1\30\16\0\1\30\7\0\1\30\30\0"+
- "\1\30\1\0\2\30\1\0\1\30\2\0\2\30\2\0"+
- "\1\30\3\0\2\30\1\0\3\30\1\0\2\30\1\0"+
- "\4\30\1\0\3\30\1\0\1\30\1\0\2\30\2\0"+
- "\11\30\1\0\2\30\1\0\1\30\1\0\2\30\1\0"+
- "\14\30\1\0\2\30\1\0\10\30\1\0\2\30\1\0"+
- "\1\30\1\0\23\30\1\0\1\30\1\0\2\30\2\0"+
- "\1\30\1\0\1\30\1\0\1\30\1\0\3\30\22\0"+
- "\1\30\26\0\2\30\23\0\1\31\1\30\40\0\1\31"+
- "\101\0\1\31\27\0\4\30\2\0\2\30\14\0\3\30"+
- "\15\0\3\30\3\0\1\30\7\0\2\30\1\0\4\31"+
- "\1\0\2\30\13\0\1\30\23\0\1\30\44\0\1\30"+
- "\3\0\2\30\12\0\2\30\1\0\3\30\7\0\1\30"+
- "\6\0\2\30\1\0\2\30\6\0\1\30\4\0\2\30"+
- "\2\0\2\30\5\0\3\30\2\0\1\30\3\0\2\31"+
- "\10\0\1\30\16\0\1\30\7\0\1\30\30\0\1\30"+
- "\4\0\1\30\6\0\1\30\3\0\1\30\6\0\1\30"+
- "\5\0\1\30\2\0\2\30\1\0\17\30\2\0\1\30"+
- "\13\0\7\30\2\0\1\30\1\0\1\30\1\0\2\30"+
- "\2\0\1\30\1\0\3\30\2\0\1\30\1\0\1\30"+
- "\1\0\1\30\1\0\1\30\6\0\2\30\6\0\1\30"+
- "\7\0\1\30\1\0\1\30\42\0\1\30\17\0\2\30"+
- "\22\0\1\30\2\0\2\30\13\0\1\30\3\0\2\30"+
- "\5\0\3\30\20\0\1\30\16\0\1\30\7\0\1\30"+
- "\35\0\1\30\6\0\1\30\3\0\1\30\3\0\1\30"+
- "\7\0\1\30\31\0\20\30\5\0\3\30\4\0\1\30"+
- "\6\0\1\30\3\0\2\30\2\0\2\30\4\0\1\30"+
- "\5\0\1\30\2\0\1\30\4\0\1\30\1\0\1\30"+
- "\1\0\1\30\137\0\1\36\41\0\1\32\42\0\1\35"+
- "\6\0\1\35\2\0\1\35\3\0\2\35\10\0\4\35"+
- "\1\0\3\35\1\0\1\35\2\0\1\35\2\0\1\35"+
- "\4\0\4\35\1\0\2\35\6\0\1\35\2\0\4\35"+
- "\2\0\3\35\1\0\2\35\1\0\3\35\1\0\4\35"+
- "\1\0\2\35\5\0\4\35\2\0\10\35\4\0\1\35"+
- "\1\0\2\35\4\0\1\35\3\0\3\35\22\0\1\35"+
- "\1\0\2\35\1\0\1\35\1\0\4\35\1\0\1\35"+
- "\1\0\1\35\1\0\2\35\1\0\3\35\1\0\2\35"+
- "\1\0\4\35\1\0\3\35\1\0\17\35\1\0\2\35"+
- "\1\0\21\35\1\0\2\35\1\0\41\35\1\0\1\35"+
- "\1\0\2\35\2\0\1\35\1\0\1\35\1\0\1\35"+
- "\1\0\3\35\22\0\1\35\1\0\2\35\1\0\1\35"+
- "\1\0\4\35\1\0\1\35\1\0\1\35\1\0\2\35"+
- "\2\0\1\35\2\0\2\35\1\0\4\35\1\0\3\35"+
- "\1\0\17\35\1\0\2\35\1\0\21\35\1\0\2\35"+
- "\1\0\41\35\1\0\1\35\1\0\2\35\2\0\1\35"+
- "\1\0\1\35\1\0\1\35\1\0\3\35\36\0\1\35"+
- "\17\0\1\35\23\0\1\35\32\0\1\35\41\0\1\35"+
- "\7\0\1\35\30\0\1\35\1\0\2\35\3\0\4\35"+
- "\1\0\1\35\1\0\1\35\1\0\2\35\1\0\3\35"+
- "\1\0\2\35\1\0\4\35\1\0\3\35\1\0\10\35"+
- "\1\0\6\35\1\0\2\35\1\0\21\35\1\0\2\35"+
- "\1\0\41\35\1\0\1\35\1\0\2\35\2\0\1\35"+
- "\1\0\1\35\1\0\1\35\1\0\3\35\165\0\1\41"+
- "\25\0\1\36\2\41\21\0\1\42\1\0\1\43\2\0"+
- "\1\44\1\0\1\45\4\0\1\46\1\0\1\47\1\0"+
- "\1\50\2\0\1\51\3\0\1\52\2\0\1\53\4\0"+
- "\1\54\3\0\1\55\17\0\1\56\2\0\1\57\21\0"+
- "\1\60\2\0\1\61\61\0\2\30\1\62\1\0\1\63"+
- "\1\0\1\63\1\64\1\0\1\30\2\0\1\63\1\0"+
- "\1\37\1\30\1\0\1\42\1\0\1\43\2\0\1\65"+
- "\1\0\1\66\4\0\1\46\1\0\1\47\1\0\1\50"+
- "\2\0\1\51\3\0\1\67\2\0\1\70\4\0\1\71"+
- "\3\0\1\72\17\0\1\56\2\0\1\73\21\0\1\74"+
- "\2\0\1\75\61\0\1\30\2\31\2\0\2\76\1\77"+
- "\1\0\1\31\2\0\1\76\1\0\1\37\1\30\6\0"+
- "\1\100\21\0\1\101\2\0\1\102\10\0\1\103\22\0"+
- "\1\104\21\0\1\105\2\0\1\106\41\0\1\107\20\0"+
- "\1\32\1\0\1\32\3\0\1\64\1\0\1\32\7\0"+
- "\1\42\1\0\1\43\2\0\1\110\1\0\1\66\4\0"+
- "\1\46\1\0\1\47\1\0\1\50\2\0\1\51\3\0"+
- "\1\111\2\0\1\112\4\0\1\71\3\0\1\113\17\0"+
- "\1\56\2\0\1\114\21\0\1\115\2\0\1\116\41\0"+
- "\1\117\17\0\1\30\1\120\1\31\1\121\3\0\1\120"+
- "\1\0\1\120\4\0\1\37\1\30\206\0\2\34\14\0"+
- "\1\122\21\0\1\123\2\0\1\124\10\0\1\125\22\0"+
- "\1\126\21\0\1\127\2\0\1\130\62\0\1\35\7\0"+
- "\1\35\14\0\1\131\21\0\1\132\2\0\1\133\10\0"+
- "\1\134\22\0\1\135\21\0\1\136\2\0\1\137\62\0"+
- "\1\36\7\0\1\36\7\0\1\42\1\0\1\43\2\0"+
- "\1\140\1\0\1\45\4\0\1\46\1\0\1\47\1\0"+
- "\1\50\2\0\1\51\3\0\1\141\2\0\1\142\4\0"+
- "\1\54\3\0\1\143\17\0\1\56\2\0\1\144\21\0"+
- "\1\145\2\0\1\146\61\0\1\30\1\37\1\62\1\0"+
- "\1\63\1\0\1\63\1\64\1\0\1\37\2\0\1\147"+
- "\1\150\1\37\1\30\1\0\1\42\1\0\1\43\2\0"+
- "\1\151\1\0\1\45\4\0\1\46\1\0\1\47\1\0"+
- "\1\50\2\0\1\51\3\0\1\152\2\0\1\153\4\0"+
- "\1\54\3\0\1\154\17\0\1\56\2\0\1\155\21\0"+
- "\1\156\2\0\1\157\61\0\1\30\1\40\1\62\1\0"+
- "\1\63\1\0\1\63\1\64\1\0\1\40\2\0\1\63"+
- "\1\0\1\37\1\40\6\0\1\160\21\0\1\161\2\0"+
- "\1\162\10\0\1\163\22\0\1\164\21\0\1\165\2\0"+
- "\1\166\55\0\1\167\4\0\1\41\7\0\1\41\15\0"+
- "\1\30\4\0\1\30\11\0\1\30\22\0\1\30\3\0"+
- "\1\30\13\0\1\30\2\0\1\30\10\0\1\30\22\0"+
- "\4\30\35\0\1\30\31\0\1\30\3\0\4\30\1\0"+
- "\1\30\1\0\1\62\2\0\1\30\1\0\2\30\2\0"+
- "\2\30\2\0\3\30\1\0\1\30\1\0\1\30\2\0"+
- "\4\30\1\0\3\30\1\0\1\30\1\0\3\30\1\0"+
- "\2\30\1\0\4\30\1\0\2\30\2\0\10\30\1\0"+
- "\2\30\1\0\10\30\1\62\1\0\7\30\1\0\10\30"+
- "\1\0\6\30\1\0\1\30\1\0\2\30\2\0\1\30"+
- "\1\0\1\30\3\0\3\30\22\0\1\30\26\0\2\30"+
- "\23\0\1\62\1\30\40\0\1\62\13\0\1\30\65\0"+
- "\1\62\11\0\1\30\15\0\4\30\2\0\2\30\14\0"+
- "\4\30\1\0\2\30\11\0\3\30\3\0\1\30\1\0"+
- "\1\30\4\0\3\30\1\0\4\62\1\0\2\30\5\0"+
- "\4\30\2\0\2\30\12\0\1\30\7\0\1\30\44\0"+
- "\1\30\3\0\2\30\12\0\2\30\1\0\3\30\7\0"+
- "\1\30\6\0\2\30\1\0\2\30\6\0\1\30\4\0"+
- "\2\30\2\0\2\30\5\0\3\30\2\0\1\30\3\0"+
- "\2\62\10\0\1\30\16\0\1\30\7\0\1\30\30\0"+
- "\1\30\4\0\1\30\6\0\1\30\3\0\1\30\6\0"+
- "\1\30\5\0\1\30\2\0\2\30\1\0\17\30\2\0"+
- "\1\30\13\0\7\30\2\0\1\30\1\0\1\30\1\0"+
- "\2\30\2\0\1\30\1\0\3\30\2\0\1\30\1\0"+
- "\1\30\1\0\1\30\1\0\1\30\4\0\1\30\1\0"+
- "\2\30\6\0\1\30\7\0\1\30\1\0\1\30\33\0"+
- "\1\30\6\0\1\30\3\0\1\30\3\0\1\30\7\0"+
- "\1\30\31\0\20\30\5\0\3\30\4\0\1\30\6\0"+
- "\1\30\3\0\2\30\2\0\2\30\4\0\5\30\1\0"+
- "\1\30\2\0\1\30\4\0\1\30\1\0\1\30\1\0"+
- "\1\30\134\0\2\30\25\0\4\30\55\0\1\30\15\0"+
- "\2\30\10\0\2\30\1\0\1\30\1\0\1\30\11\0"+
- "\1\30\11\0\2\30\6\0\1\30\2\0\4\30\3\0"+
- "\1\30\2\0\2\30\1\0\3\30\1\0\2\30\1\0"+
- "\1\30\10\0\1\30\1\0\2\30\2\0\2\30\1\0"+
- "\4\30\23\0\1\30\21\0\1\42\1\0\1\43\2\0"+
- "\1\170\1\0\1\45\4\0\1\46\1\0\1\47\1\0"+
- "\1\50\2\0\1\51\3\0\1\171\2\0\1\172\4\0"+
- "\1\54\3\0\1\173\17\0\1\56\2\0\1\174\21\0"+
- "\1\175\2\0\1\176\61\0\1\30\2\62\2\0\2\177"+
- "\1\64\1\0\1\62\2\0\1\177\1\0\1\37\1\30"+
- "\1\0\1\42\1\0\1\43\2\0\1\200\1\0\1\201"+
- "\4\0\1\46\1\0\1\47\1\0\1\50\2\0\1\51"+
- "\3\0\1\202\2\0\1\203\4\0\1\204\3\0\1\205"+
- "\17\0\1\56\2\0\1\206\21\0\1\207\2\0\1\210"+
- "\61\0\1\30\1\63\7\0\1\63\4\0\2\30\1\0"+
- "\1\42\1\0\1\43\2\0\1\211\1\0\1\45\4\0"+
- "\1\46\1\0\1\47\1\0\1\50\2\0\1\51\3\0"+
- "\1\212\2\0\1\213\4\0\1\54\3\0\1\214\17\0"+
- "\1\56\2\0\1\215\21\0\1\216\2\0\1\217\41\0"+
- "\1\117\17\0\1\30\1\64\1\62\1\121\3\0\1\64"+
- "\1\0\1\64\4\0\1\37\1\30\7\0\1\30\4\0"+
- "\1\30\11\0\1\30\22\0\1\30\3\0\1\30\13\0"+
- "\1\31\2\0\1\31\10\0\1\30\22\0\4\31\35\0"+
- "\1\30\26\0\1\30\26\0\2\30\23\0\1\31\1\30"+
- "\40\0\1\31\13\0\1\31\65\0\1\31\11\0\1\31"+
- "\15\0\4\30\2\0\2\30\14\0\3\30\1\31\1\0"+
- "\2\31\11\0\3\30\3\0\1\30\1\0\1\31\4\0"+
- "\1\31\2\30\1\0\4\31\1\0\2\30\5\0\4\31"+
- "\2\0\1\30\1\31\12\0\1\31\7\0\1\30\30\0"+
- "\1\30\4\0\1\30\6\0\1\30\3\0\1\30\6\0"+
- "\1\30\5\0\1\30\2\0\2\30\1\0\17\30\2\0"+
- "\1\30\13\0\7\30\2\0\1\30\1\0\1\30\1\0"+
- "\2\30\2\0\1\30\1\0\3\30\2\0\1\30\1\0"+
- "\1\30\1\0\1\30\1\0\1\30\4\0\1\31\1\0"+
- "\2\30\6\0\1\30\7\0\1\30\1\0\1\30\33\0"+
- "\1\30\6\0\1\30\3\0\1\30\3\0\1\30\7\0"+
- "\1\30\31\0\20\30\5\0\3\30\4\0\1\30\6\0"+
- "\1\30\3\0\2\30\2\0\2\30\4\0\1\30\4\31"+
- "\1\0\1\30\2\0\1\30\4\0\1\30\1\0\1\30"+
- "\1\0\1\30\134\0\2\31\25\0\4\31\55\0\1\31"+
- "\15\0\2\31\10\0\2\31\1\0\1\31\1\0\1\31"+
- "\11\0\1\31\11\0\2\31\6\0\1\31\2\0\4\31"+
- "\3\0\1\31\2\0\2\31\1\0\3\31\1\0\2\31"+
- "\1\0\1\31\10\0\1\31\1\0\2\31\2\0\2\31"+
- "\1\0\4\31\23\0\1\31\26\0\1\220\1\0\1\221"+
- "\17\0\1\222\2\0\1\223\4\0\1\224\3\0\1\225"+
- "\22\0\1\226\21\0\1\227\2\0\1\230\62\0\1\76"+
- "\1\31\6\0\1\76\7\0\1\42\1\0\1\43\2\0"+
- "\1\231\1\0\1\66\4\0\1\46\1\0\1\47\1\0"+
- "\1\50\2\0\1\51\3\0\1\232\2\0\1\233\4\0"+
- "\1\71\3\0\1\234\17\0\1\56\2\0\1\235\21\0"+
- "\1\236\2\0\1\237\41\0\1\117\17\0\1\30\1\77"+
- "\1\31\1\121\3\0\1\77\1\0\1\77\4\0\1\37"+
- "\1\30\71\0\1\32\2\0\1\32\33\0\4\32\216\0"+
- "\1\32\77\0\1\32\44\0\1\32\1\0\2\32\21\0"+
- "\1\32\4\0\1\32\17\0\4\32\3\0\1\32\12\0"+
- "\1\32\203\0\1\32\222\0\4\32\152\0\2\32\25\0"+
- "\4\32\55\0\1\32\15\0\2\32\10\0\2\32\1\0"+
- "\1\32\1\0\1\32\11\0\1\32\11\0\2\32\6\0"+
- "\1\32\2\0\4\32\3\0\1\32\2\0\2\32\1\0"+
- "\3\32\1\0\2\32\1\0\1\32\10\0\1\32\1\0"+
- "\2\32\2\0\2\32\1\0\4\32\23\0\1\32\177\0"+
- "\1\32\45\0\1\30\4\0\1\30\11\0\1\30\22\0"+
- "\1\30\3\0\1\30\13\0\1\120\2\0\1\120\10\0"+
- "\1\30\22\0\4\120\35\0\1\30\26\0\1\30\26\0"+
- "\2\30\23\0\1\31\1\30\40\0\1\31\13\0\1\120"+
- "\65\0\1\31\11\0\1\120\15\0\4\30\2\0\2\30"+
- "\14\0\3\30\1\120\1\0\2\120\11\0\3\30\3\0"+
- "\1\30\1\0\1\120\4\0\1\120\2\30\1\0\4\31"+
- "\1\0\2\30\5\0\4\120\2\0\1\30\1\120\12\0"+
- "\1\120\7\0\1\30\30\0\1\30\4\0\1\30\6\0"+
- "\1\30\3\0\1\30\6\0\1\30\5\0\1\30\2\0"+
- "\2\30\1\0\17\30\2\0\1\30\13\0\7\30\2\0"+
- "\1\30\1\0\1\30\1\0\2\30\2\0\1\30\1\0"+
- "\3\30\2\0\1\30\1\0\1\30\1\0\1\30\1\0"+
- "\1\30\4\0\1\120\1\0\2\30\6\0\1\30\7\0"+
- "\1\30\1\0\1\30\33\0\1\30\6\0\1\30\3\0"+
- "\1\30\3\0\1\30\7\0\1\30\31\0\20\30\5\0"+
- "\3\30\4\0\1\30\6\0\1\30\3\0\2\30\2\0"+
- "\2\30\4\0\1\30\4\120\1\0\1\30\2\0\1\30"+
- "\4\0\1\30\1\0\1\30\1\0\1\30\134\0\2\120"+
- "\25\0\4\120\55\0\1\120\15\0\2\120\10\0\2\120"+
- "\1\0\1\120\1\0\1\120\11\0\1\120\11\0\2\120"+
- "\6\0\1\120\2\0\4\120\3\0\1\120\2\0\2\120"+
- "\1\0\3\120\1\0\2\120\1\0\1\120\10\0\1\120"+
- "\1\0\2\120\2\0\2\120\1\0\4\120\23\0\1\120"+
- "\177\0\1\121\44\0\1\240\21\0\1\241\2\0\1\242"+
- "\10\0\1\243\22\0\1\244\21\0\1\245\2\0\1\246"+
- "\41\0\1\117\20\0\1\121\1\0\1\121\3\0\1\64"+
- "\1\0\1\121\77\0\1\35\2\0\1\35\33\0\4\35"+
- "\216\0\1\35\77\0\1\35\44\0\1\35\1\0\2\35"+
- "\21\0\1\35\4\0\1\35\17\0\4\35\3\0\1\35"+
- "\12\0\1\35\203\0\1\35\222\0\4\35\152\0\2\35"+
- "\25\0\4\35\55\0\1\35\15\0\2\35\10\0\2\35"+
- "\1\0\1\35\1\0\1\35\11\0\1\35\11\0\2\35"+
- "\6\0\1\35\2\0\4\35\3\0\1\35\2\0\2\35"+
- "\1\0\3\35\1\0\2\35\1\0\1\35\10\0\1\35"+
- "\1\0\2\35\2\0\2\35\1\0\4\35\23\0\1\35"+
- "\111\0\1\36\2\0\1\36\33\0\4\36\216\0\1\36"+
- "\77\0\1\36\44\0\1\36\1\0\2\36\21\0\1\36"+
- "\4\0\1\36\17\0\4\36\3\0\1\36\12\0\1\36"+
- "\203\0\1\36\222\0\4\36\152\0\2\36\25\0\4\36"+
- "\55\0\1\36\15\0\2\36\10\0\2\36\1\0\1\36"+
- "\1\0\1\36\11\0\1\36\11\0\2\36\6\0\1\36"+
- "\2\0\4\36\3\0\1\36\2\0\2\36\1\0\3\36"+
- "\1\0\2\36\1\0\1\36\10\0\1\36\1\0\2\36"+
- "\2\0\2\36\1\0\4\36\23\0\1\36\27\0\1\30"+
- "\4\0\1\30\11\0\1\30\22\0\1\30\3\0\1\30"+
- "\13\0\1\37\2\0\1\37\10\0\1\30\22\0\4\37"+
- "\35\0\1\30\26\0\1\30\26\0\2\30\23\0\1\62"+
- "\1\30\40\0\1\62\13\0\1\37\65\0\1\62\11\0"+
- "\1\37\15\0\4\30\2\0\2\30\14\0\3\30\1\37"+
- "\1\0\2\37\11\0\3\30\3\0\1\30\1\0\1\37"+
- "\4\0\1\37\2\30\1\0\4\62\1\0\2\30\5\0"+
- "\4\37\2\0\1\30\1\37\12\0\1\37\7\0\1\30"+
- "\30\0\1\30\4\0\1\30\6\0\1\30\3\0\1\30"+
- "\6\0\1\30\5\0\1\30\2\0\2\30\1\0\17\30"+
- "\2\0\1\30\13\0\7\30\2\0\1\30\1\0\1\30"+
- "\1\0\2\30\2\0\1\30\1\0\3\30\2\0\1\30"+
- "\1\0\1\30\1\0\1\30\1\0\1\30\4\0\1\37"+
- "\1\0\2\30\6\0\1\30\7\0\1\30\1\0\1\30"+
- "\33\0\1\30\6\0\1\30\3\0\1\30\3\0\1\30"+
- "\7\0\1\30\31\0\20\30\5\0\3\30\4\0\1\30"+
- "\6\0\1\30\3\0\2\30\2\0\2\30\4\0\1\30"+
- "\4\37\1\0\1\30\2\0\1\30\4\0\1\30\1\0"+
- "\1\30\1\0\1\30\134\0\2\37\25\0\4\37\55\0"+
- "\1\37\15\0\2\37\10\0\2\37\1\0\1\37\1\0"+
- "\1\37\11\0\1\37\11\0\2\37\6\0\1\37\2\0"+
- "\4\37\3\0\1\37\2\0\2\37\1\0\3\37\1\0"+
- "\2\37\1\0\1\37\10\0\1\37\1\0\2\37\2\0"+
- "\2\37\1\0\4\37\23\0\1\37\21\0\1\42\1\0"+
- "\1\43\2\0\1\247\1\0\1\45\4\0\1\46\1\0"+
- "\1\47\1\0\1\50\2\0\1\51\3\0\1\250\2\0"+
- "\1\251\4\0\1\54\3\0\1\252\17\0\1\56\2\0"+
- "\1\253\21\0\1\254\2\0\1\255\61\0\1\30\1\147"+
- "\1\62\4\0\1\64\1\0\1\147\4\0\1\37\1\30"+
- "\6\0\1\256\21\0\1\257\2\0\1\260\10\0\1\261"+
- "\22\0\1\262\21\0\1\263\2\0\1\264\62\0\1\150"+
- "\7\0\1\150\4\0\1\147\10\0\1\30\4\0\1\30"+
- "\11\0\1\30\22\0\1\30\3\0\1\30\13\0\1\40"+
- "\2\0\1\40\10\0\1\30\22\0\4\40\35\0\1\30"+
- "\26\0\1\30\26\0\2\30\23\0\1\62\1\30\40\0"+
- "\1\62\13\0\1\40\65\0\1\62\11\0\1\40\15\0"+
- "\4\30\2\0\2\30\14\0\3\30\1\40\1\0\2\40"+
- "\11\0\3\30\3\0\1\30\1\0\1\40\4\0\1\40"+
- "\2\30\1\0\4\62\1\0\2\30\5\0\4\40\2\0"+
- "\1\30\1\40\12\0\1\40\7\0\1\30\30\0\1\30"+
- "\4\0\1\30\6\0\1\30\3\0\1\30\6\0\1\30"+
- "\5\0\1\30\2\0\2\30\1\0\17\30\2\0\1\30"+
- "\13\0\7\30\2\0\1\30\1\0\1\30\1\0\2\30"+
- "\2\0\1\30\1\0\3\30\2\0\1\30\1\0\1\30"+
- "\1\0\1\30\1\0\1\30\4\0\1\40\1\0\2\30"+
- "\6\0\1\30\7\0\1\30\1\0\1\30\33\0\1\30"+
- "\6\0\1\30\3\0\1\30\3\0\1\30\7\0\1\30"+
- "\31\0\20\30\5\0\3\30\4\0\1\30\6\0\1\30"+
- "\3\0\2\30\2\0\2\30\4\0\1\30\4\40\1\0"+
- "\1\30\2\0\1\30\4\0\1\30\1\0\1\30\1\0"+
- "\1\30\134\0\2\40\25\0\4\40\55\0\1\40\15\0"+
- "\2\40\10\0\2\40\1\0\1\40\1\0\1\40\11\0"+
- "\1\40\11\0\2\40\6\0\1\40\2\0\4\40\3\0"+
- "\1\40\2\0\2\40\1\0\3\40\1\0\2\40\1\0"+
- "\1\40\10\0\1\40\1\0\2\40\2\0\2\40\1\0"+
- "\4\40\23\0\1\40\111\0\1\41\2\0\1\41\33\0"+
- "\4\41\216\0\1\41\77\0\1\41\44\0\1\41\1\0"+
- "\2\41\21\0\1\41\4\0\1\41\17\0\4\41\3\0"+
- "\1\41\12\0\1\41\203\0\1\41\222\0\4\41\152\0"+
- "\2\41\25\0\4\41\55\0\1\41\15\0\2\41\10\0"+
- "\2\41\1\0\1\41\1\0\1\41\11\0\1\41\11\0"+
- "\2\41\6\0\1\41\2\0\4\41\3\0\1\41\2\0"+
- "\2\41\1\0\3\41\1\0\2\41\1\0\1\41\10\0"+
- "\1\41\1\0\2\41\2\0\2\41\1\0\4\41\23\0"+
- "\1\41\165\0\1\265\26\0\2\265\27\0\1\30\4\0"+
- "\1\30\11\0\1\30\22\0\1\30\3\0\1\30\13\0"+
- "\1\62\2\0\1\62\10\0\1\30\22\0\4\62\35\0"+
- "\1\30\26\0\1\30\26\0\2\30\23\0\1\62\1\30"+
- "\40\0\1\62\13\0\1\62\65\0\1\62\11\0\1\62"+
- "\15\0\4\30\2\0\2\30\14\0\3\30\1\62\1\0"+
- "\2\62\11\0\3\30\3\0\1\30\1\0\1\62\4\0"+
- "\1\62\2\30\1\0\4\62\1\0\2\30\5\0\4\62"+
- "\2\0\1\30\1\62\12\0\1\62\7\0\1\30\30\0"+
- "\1\30\4\0\1\30\6\0\1\30\3\0\1\30\6\0"+
- "\1\30\5\0\1\30\2\0\2\30\1\0\17\30\2\0"+
- "\1\30\13\0\7\30\2\0\1\30\1\0\1\30\1\0"+
- "\2\30\2\0\1\30\1\0\3\30\2\0\1\30\1\0"+
- "\1\30\1\0\1\30\1\0\1\30\4\0\1\62\1\0"+
- "\2\30\6\0\1\30\7\0\1\30\1\0\1\30\33\0"+
- "\1\30\6\0\1\30\3\0\1\30\3\0\1\30\7\0"+
- "\1\30\31\0\20\30\5\0\3\30\4\0\1\30\6\0"+
- "\1\30\3\0\2\30\2\0\2\30\4\0\1\30\4\62"+
- "\1\0\1\30\2\0\1\30\4\0\1\30\1\0\1\30"+
- "\1\0\1\30\134\0\2\62\25\0\4\62\55\0\1\62"+
- "\15\0\2\62\10\0\2\62\1\0\1\62\1\0\1\62"+
- "\11\0\1\62\11\0\2\62\6\0\1\62\2\0\4\62"+
- "\3\0\1\62\2\0\2\62\1\0\3\62\1\0\2\62"+
- "\1\0\1\62\10\0\1\62\1\0\2\62\2\0\2\62"+
- "\1\0\4\62\23\0\1\62\26\0\1\266\1\0\1\267"+
- "\17\0\1\270\2\0\1\271\4\0\1\272\3\0\1\273"+
- "\22\0\1\274\21\0\1\275\2\0\1\276\62\0\1\177"+
- "\1\62\6\0\1\177\15\0\1\30\4\0\1\30\11\0"+
- "\1\30\22\0\1\30\3\0\1\30\13\0\1\63\2\0"+
- "\1\63\10\0\1\30\22\0\4\63\35\0\1\30\31\0"+
- "\1\30\3\0\4\30\1\0\1\30\4\0\1\30\1\0"+
- "\2\30\2\0\2\30\2\0\3\30\1\0\1\30\1\0"+
- "\1\30\2\0\4\30\1\0\3\30\1\0\1\30\1\0"+
- "\3\30\1\0\2\30\1\0\4\30\1\0\2\30\2\0"+
- "\10\30\1\0\2\30\1\0\10\30\2\0\7\30\1\0"+
- "\10\30\1\0\6\30\1\0\1\30\1\0\2\30\2\0"+
- "\1\30\1\0\1\30\3\0\3\30\22\0\1\30\26\0"+
- "\2\30\24\0\1\30\54\0\1\63\77\0\1\63\15\0"+
- "\4\30\2\0\2\30\14\0\3\30\1\63\1\0\2\63"+
- "\11\0\3\30\3\0\1\30\1\0\1\63\4\0\1\63"+
- "\2\30\6\0\2\30\5\0\4\63\2\0\1\30\1\63"+
- "\12\0\1\63\7\0\1\30\44\0\1\30\3\0\2\30"+
- "\12\0\2\30\1\0\3\30\7\0\1\30\6\0\2\30"+
- "\1\0\2\30\6\0\1\30\4\0\2\30\2\0\2\30"+
- "\5\0\3\30\2\0\1\30\15\0\1\30\16\0\1\30"+
- "\7\0\1\30\30\0\1\30\4\0\1\30\6\0\1\30"+
- "\3\0\1\30\6\0\1\30\5\0\1\30\2\0\2\30"+
- "\1\0\17\30\2\0\1\30\13\0\7\30\2\0\1\30"+
- "\1\0\1\30\1\0\2\30\2\0\1\30\1\0\3\30"+
- "\2\0\1\30\1\0\1\30\1\0\1\30\1\0\1\30"+
- "\4\0\1\63\1\0\2\30\6\0\1\30\7\0\1\30"+
- "\1\0\1\30\33\0\1\30\6\0\1\30\3\0\1\30"+
- "\3\0\1\30\7\0\1\30\31\0\20\30\5\0\3\30"+
- "\4\0\1\30\6\0\1\30\3\0\2\30\2\0\2\30"+
- "\4\0\1\30\4\63\1\0\1\30\2\0\1\30\4\0"+
- "\1\30\1\0\1\30\1\0\1\30\134\0\2\63\25\0"+
- "\4\63\55\0\1\63\15\0\2\63\10\0\2\63\1\0"+
- "\1\63\1\0\1\63\11\0\1\63\11\0\2\63\6\0"+
- "\1\63\2\0\4\63\3\0\1\63\2\0\2\63\1\0"+
- "\3\63\1\0\2\63\1\0\1\63\10\0\1\63\1\0"+
- "\2\63\2\0\2\63\1\0\4\63\23\0\1\63\27\0"+
- "\1\30\4\0\1\30\11\0\1\30\22\0\1\30\3\0"+
- "\1\30\13\0\1\64\2\0\1\64\10\0\1\30\22\0"+
- "\4\64\35\0\1\30\26\0\1\30\26\0\2\30\23\0"+
- "\1\62\1\30\40\0\1\62\13\0\1\64\65\0\1\62"+
- "\11\0\1\64\15\0\4\30\2\0\2\30\14\0\3\30"+
- "\1\64\1\0\2\64\11\0\3\30\3\0\1\30\1\0"+
- "\1\64\4\0\1\64\2\30\1\0\4\62\1\0\2\30"+
- "\5\0\4\64\2\0\1\30\1\64\12\0\1\64\7\0"+
- "\1\30\30\0\1\30\4\0\1\30\6\0\1\30\3\0"+
- "\1\30\6\0\1\30\5\0\1\30\2\0\2\30\1\0"+
- "\17\30\2\0\1\30\13\0\7\30\2\0\1\30\1\0"+
- "\1\30\1\0\2\30\2\0\1\30\1\0\3\30\2\0"+
- "\1\30\1\0\1\30\1\0\1\30\1\0\1\30\4\0"+
- "\1\64\1\0\2\30\6\0\1\30\7\0\1\30\1\0"+
- "\1\30\33\0\1\30\6\0\1\30\3\0\1\30\3\0"+
- "\1\30\7\0\1\30\31\0\20\30\5\0\3\30\4\0"+
- "\1\30\6\0\1\30\3\0\2\30\2\0\2\30\4\0"+
- "\1\30\4\64\1\0\1\30\2\0\1\30\4\0\1\30"+
- "\1\0\1\30\1\0\1\30\134\0\2\64\25\0\4\64"+
- "\55\0\1\64\15\0\2\64\10\0\2\64\1\0\1\64"+
- "\1\0\1\64\11\0\1\64\11\0\2\64\6\0\1\64"+
- "\2\0\4\64\3\0\1\64\2\0\2\64\1\0\3\64"+
- "\1\0\2\64\1\0\1\64\10\0\1\64\1\0\2\64"+
- "\2\0\2\64\1\0\4\64\23\0\1\64\111\0\1\76"+
- "\2\0\1\76\33\0\4\76\102\0\1\31\104\0\1\31"+
- "\146\0\1\31\41\0\1\31\13\0\1\76\65\0\1\31"+
- "\11\0\1\76\44\0\1\76\1\0\2\76\21\0\1\76"+
- "\4\0\1\76\3\0\4\31\10\0\4\76\3\0\1\76"+
- "\12\0\1\76\164\0\2\31\233\0\1\76\222\0\4\76"+
- "\152\0\2\76\25\0\4\76\55\0\1\76\15\0\2\76"+
- "\10\0\2\76\1\0\1\76\1\0\1\76\11\0\1\76"+
- "\11\0\2\76\6\0\1\76\2\0\4\76\3\0\1\76"+
- "\2\0\2\76\1\0\3\76\1\0\2\76\1\0\1\76"+
- "\10\0\1\76\1\0\2\76\2\0\2\76\1\0\4\76"+
- "\23\0\1\76\27\0\1\30\4\0\1\30\11\0\1\30"+
- "\22\0\1\30\3\0\1\30\13\0\1\77\2\0\1\77"+
- "\10\0\1\30\22\0\4\77\35\0\1\30\26\0\1\30"+
- "\26\0\2\30\23\0\1\31\1\30\40\0\1\31\13\0"+
- "\1\77\65\0\1\31\11\0\1\77\15\0\4\30\2\0"+
- "\2\30\14\0\3\30\1\77\1\0\2\77\11\0\3\30"+
- "\3\0\1\30\1\0\1\77\4\0\1\77\2\30\1\0"+
- "\4\31\1\0\2\30\5\0\4\77\2\0\1\30\1\77"+
- "\12\0\1\77\7\0\1\30\30\0\1\30\4\0\1\30"+
- "\6\0\1\30\3\0\1\30\6\0\1\30\5\0\1\30"+
- "\2\0\2\30\1\0\17\30\2\0\1\30\13\0\7\30"+
- "\2\0\1\30\1\0\1\30\1\0\2\30\2\0\1\30"+
- "\1\0\3\30\2\0\1\30\1\0\1\30\1\0\1\30"+
- "\1\0\1\30\4\0\1\77\1\0\2\30\6\0\1\30"+
- "\7\0\1\30\1\0\1\30\33\0\1\30\6\0\1\30"+
- "\3\0\1\30\3\0\1\30\7\0\1\30\31\0\20\30"+
- "\5\0\3\30\4\0\1\30\6\0\1\30\3\0\2\30"+
- "\2\0\2\30\4\0\1\30\4\77\1\0\1\30\2\0"+
- "\1\30\4\0\1\30\1\0\1\30\1\0\1\30\134\0"+
- "\2\77\25\0\4\77\55\0\1\77\15\0\2\77\10\0"+
- "\2\77\1\0\1\77\1\0\1\77\11\0\1\77\11\0"+
- "\2\77\6\0\1\77\2\0\4\77\3\0\1\77\2\0"+
- "\2\77\1\0\3\77\1\0\2\77\1\0\1\77\10\0"+
- "\1\77\1\0\2\77\2\0\2\77\1\0\4\77\23\0"+
- "\1\77\111\0\1\121\2\0\1\121\33\0\4\121\216\0"+
- "\1\121\77\0\1\121\44\0\1\121\1\0\2\121\21\0"+
- "\1\121\4\0\1\121\17\0\4\121\3\0\1\121\12\0"+
- "\1\121\203\0\1\121\222\0\4\121\152\0\2\121\25\0"+
- "\4\121\55\0\1\121\15\0\2\121\10\0\2\121\1\0"+
- "\1\121\1\0\1\121\11\0\1\121\11\0\2\121\6\0"+
- "\1\121\2\0\4\121\3\0\1\121\2\0\2\121\1\0"+
- "\3\121\1\0\2\121\1\0\1\121\10\0\1\121\1\0"+
- "\2\121\2\0\2\121\1\0\4\121\23\0\1\121\27\0"+
- "\1\30\4\0\1\30\11\0\1\30\22\0\1\30\3\0"+
- "\1\30\13\0\1\147\2\0\1\147\10\0\1\30\22\0"+
- "\4\147\35\0\1\30\26\0\1\30\26\0\2\30\23\0"+
- "\1\62\1\30\40\0\1\62\13\0\1\147\65\0\1\62"+
- "\11\0\1\147\15\0\4\30\2\0\2\30\14\0\3\30"+
- "\1\147\1\0\2\147\11\0\3\30\3\0\1\30\1\0"+
- "\1\147\4\0\1\147\2\30\1\0\4\62\1\0\2\30"+
- "\5\0\4\147\2\0\1\30\1\147\12\0\1\147\7\0"+
- "\1\30\30\0\1\30\4\0\1\30\6\0\1\30\3\0"+
- "\1\30\6\0\1\30\5\0\1\30\2\0\2\30\1\0"+
- "\17\30\2\0\1\30\13\0\7\30\2\0\1\30\1\0"+
- "\1\30\1\0\2\30\2\0\1\30\1\0\3\30\2\0"+
- "\1\30\1\0\1\30\1\0\1\30\1\0\1\30\4\0"+
- "\1\147\1\0\2\30\6\0\1\30\7\0\1\30\1\0"+
- "\1\30\33\0\1\30\6\0\1\30\3\0\1\30\3\0"+
- "\1\30\7\0\1\30\31\0\20\30\5\0\3\30\4\0"+
- "\1\30\6\0\1\30\3\0\2\30\2\0\2\30\4\0"+
- "\1\30\4\147\1\0\1\30\2\0\1\30\4\0\1\30"+
- "\1\0\1\30\1\0\1\30\134\0\2\147\25\0\4\147"+
- "\55\0\1\147\15\0\2\147\10\0\2\147\1\0\1\147"+
- "\1\0\1\147\11\0\1\147\11\0\2\147\6\0\1\147"+
- "\2\0\4\147\3\0\1\147\2\0\2\147\1\0\3\147"+
- "\1\0\2\147\1\0\1\147\10\0\1\147\1\0\2\147"+
- "\2\0\2\147\1\0\4\147\23\0\1\147\111\0\1\150"+
- "\2\0\1\150\33\0\4\150\216\0\1\150\77\0\1\150"+
- "\44\0\1\150\1\0\2\150\21\0\1\150\4\0\1\150"+
- "\17\0\4\150\3\0\1\150\12\0\1\150\203\0\1\150"+
- "\222\0\4\150\152\0\2\150\25\0\4\150\55\0\1\150"+
- "\15\0\2\150\10\0\2\150\1\0\1\150\1\0\1\150"+
- "\11\0\1\150\11\0\2\150\6\0\1\150\2\0\4\150"+
- "\3\0\1\150\2\0\2\150\1\0\3\150\1\0\2\150"+
- "\1\0\1\150\10\0\1\150\1\0\2\150\2\0\2\150"+
- "\1\0\4\150\23\0\1\150\26\0\1\277\21\0\1\300"+
- "\2\0\1\301\10\0\1\302\22\0\1\303\21\0\1\304"+
- "\2\0\1\305\55\0\1\167\4\0\1\265\7\0\1\265"+
- "\77\0\1\177\2\0\1\177\33\0\4\177\102\0\1\62"+
- "\104\0\1\62\146\0\1\62\41\0\1\62\13\0\1\177"+
- "\65\0\1\62\11\0\1\177\44\0\1\177\1\0\2\177"+
- "\21\0\1\177\4\0\1\177\3\0\4\62\10\0\4\177"+
- "\3\0\1\177\12\0\1\177\164\0\2\62\233\0\1\177"+
- "\222\0\4\177\152\0\2\177\25\0\4\177\55\0\1\177"+
- "\15\0\2\177\10\0\2\177\1\0\1\177\1\0\1\177"+
- "\11\0\1\177\11\0\2\177\6\0\1\177\2\0\4\177"+
- "\3\0\1\177\2\0\2\177\1\0\3\177\1\0\2\177"+
- "\1\0\1\177\10\0\1\177\1\0\2\177\2\0\2\177"+
- "\1\0\4\177\23\0\1\177\111\0\1\265\2\0\1\265"+
- "\33\0\4\265\216\0\1\265\77\0\1\265\44\0\1\265"+
- "\1\0\2\265\21\0\1\265\4\0\1\265\17\0\4\265"+
- "\3\0\1\265\12\0\1\265\203\0\1\265\222\0\4\265"+
- "\152\0\2\265\25\0\4\265\55\0\1\265\15\0\2\265"+
- "\10\0\2\265\1\0\1\265\1\0\1\265\11\0\1\265"+
- "\11\0\2\265\6\0\1\265\2\0\4\265\3\0\1\265"+
- "\2\0\2\265\1\0\3\265\1\0\2\265\1\0\1\265"+
- "\10\0\1\265\1\0\2\265\2\0\2\265\1\0\4\265"+
- "\23\0\1\265\20\0";
+ "\1\2\1\3\1\4\1\2\1\5\1\6\3\2\1\7"+
+ "\1\10\1\11\2\2\1\12\1\13\2\14\23\0\3\3"+
+ "\1\15\1\0\1\16\1\0\1\16\1\17\2\0\1\16"+
+ "\1\0\1\12\2\0\1\3\1\0\1\3\2\4\1\15"+
+ "\1\0\1\16\1\0\1\16\1\17\2\0\1\16\1\0"+
+ "\1\12\2\0\1\4\1\0\2\3\2\5\2\0\2\20"+
+ "\1\21\2\0\1\20\1\0\1\12\2\0\1\5\3\0"+
+ "\1\6\1\0\1\6\3\0\1\17\7\0\1\6\1\0"+
+ "\2\3\1\22\1\5\1\23\3\0\1\22\4\0\1\12"+
+ "\2\0\1\22\3\0\1\10\15\0\1\10\3\0\1\11"+
+ "\15\0\1\11\1\0\2\3\1\12\1\15\1\0\1\16"+
+ "\1\0\1\16\1\17\2\0\1\24\1\25\1\12\2\0"+
+ "\1\12\3\0\1\26\13\0\1\27\1\0\1\26\3\0"+
+ "\1\14\14\0\2\14\1\0\2\3\2\15\2\0\2\30"+
+ "\1\17\2\0\1\30\1\0\1\12\2\0\1\15\1\0"+
+ "\2\3\1\16\12\0\1\3\2\0\1\16\1\0\2\3"+
+ "\1\17\1\15\1\23\3\0\1\17\4\0\1\12\2\0"+
+ "\1\17\3\0\1\20\1\5\14\0\1\20\1\0\2\3"+
+ "\1\21\1\5\1\23\3\0\1\21\4\0\1\12\2\0"+
+ "\1\21\3\0\1\23\1\0\1\23\3\0\1\17\7\0"+
+ "\1\23\1\0\2\3\1\24\1\15\4\0\1\17\4\0"+
+ "\1\12\2\0\1\24\3\0\1\25\12\0\1\24\2\0"+
+ "\1\25\3\0\1\27\13\0\1\27\1\0\1\27\3\0"+
+ "\1\30\1\15\14\0\1\30";
private static int [] zzUnpackTrans() {
- int [] result = new int[26554];
+ int [] result = new int[396];
int offset = 0;
offset = zzUnpackTrans(ZZ_TRANS_PACKED_0, offset, result);
return result;
@@ -851,11 +339,11 @@ public final class StandardTokenizerImpl
private static final int [] ZZ_ATTRIBUTE = zzUnpackAttribute();
private static final String ZZ_ATTRIBUTE_PACKED_0 =
- "\1\0\1\11\36\1\21\0\1\1\1\0\1\1\12\0"+
- "\1\1\21\0\1\1\25\0\1\1\115\0\1\1\20\0";
+ "\1\0\1\11\13\1\1\0\1\1\1\0\1\1\1\0"+
+ "\2\1\2\0\1\1\1\0";
private static int [] zzUnpackAttribute() {
- int [] result = new int[197];
+ int [] result = new int[24];
int offset = 0;
offset = zzUnpackAttribute(ZZ_ATTRIBUTE_PACKED_0, offset, result);
return result;
@@ -921,6 +409,14 @@ public final class StandardTokenizerImpl
/** denotes if the user-EOF-code has already been executed */
private boolean zzEOFDone;
+
+ /**
+ * The number of occupied positions in zzBuffer beyond zzEndRead.
+ * When a lead/high surrogate has been read from the input stream
+ * into the final zzBuffer position, this will have a value of 1;
+ * otherwise, it will have a value of 0.
+ */
+ private int zzFinalHighSurrogate = 0;
/* user code: */
/** Alphanumeric sequences */
@@ -977,10 +473,10 @@ public final class StandardTokenizerImpl
* @return the unpacked character translation table
*/
private static char [] zzUnpackCMap(String packed) {
- char [] map = new char[0x10000];
+ char [] map = new char[0x110000];
int i = 0; /* index in packed string */
int j = 0; /* index in unpacked array */
- while (i < 2860) {
+ while (i < 2836) {
int count = packed.charAt(i++);
char value = packed.charAt(i++);
do map[j++] = value; while (--count > 0);
@@ -1000,6 +496,8 @@ public final class StandardTokenizerImpl
/* first: make room (if you can) */
if (zzStartRead > 0) {
+ zzEndRead += zzFinalHighSurrogate;
+ zzFinalHighSurrogate = 0;
System.arraycopy(zzBuffer, zzStartRead,
zzBuffer, 0,
zzEndRead-zzStartRead);
@@ -1012,33 +510,38 @@ public final class StandardTokenizerImpl
}
/* is the buffer big enough? */
- if (zzCurrentPos >= zzBuffer.length) {
+ if (zzCurrentPos >= zzBuffer.length - zzFinalHighSurrogate) {
/* if not: blow it up */
- char newBuffer[] = new char[zzCurrentPos*2];
+ char newBuffer[] = new char[zzBuffer.length*2];
System.arraycopy(zzBuffer, 0, newBuffer, 0, zzBuffer.length);
zzBuffer = newBuffer;
+ zzEndRead += zzFinalHighSurrogate;
+ zzFinalHighSurrogate = 0;
}
- /* finally: fill the buffer with new input */
- int numRead = zzReader.read(zzBuffer, zzEndRead,
- zzBuffer.length-zzEndRead);
+ /* fill the buffer with new input */
+ int requested = zzBuffer.length - zzEndRead;
+ int totalRead = 0;
+ while (totalRead < requested) {
+ int numRead = zzReader.read(zzBuffer, zzEndRead + totalRead, requested - totalRead);
+ if (numRead == -1) {
+ break;
+ }
+ totalRead += numRead;
+ }
- if (numRead > 0) {
- zzEndRead+= numRead;
+ if (totalRead > 0) {
+ zzEndRead += totalRead;
+ if (totalRead == requested) { /* possibly more input available */
+ if (Character.isHighSurrogate(zzBuffer[zzEndRead - 1])) {
+ --zzEndRead;
+ zzFinalHighSurrogate = 1;
+ }
+ }
return false;
}
- // unlikely but not impossible: read 0 characters, but not at end of stream
- if (numRead == 0) {
- int c = zzReader.read();
- if (c == -1) {
- return true;
- } else {
- zzBuffer[zzEndRead++] = (char) c;
- return false;
- }
- }
- // numRead < 0
+ // totalRead = 0: End of stream
return true;
}
@@ -1074,6 +577,7 @@ public final class StandardTokenizerImpl
zzEOFDone = false;
zzEndRead = zzStartRead = 0;
zzCurrentPos = zzMarkedPos = 0;
+ zzFinalHighSurrogate = 0;
yyline = yychar = yycolumn = 0;
zzLexicalState = YYINITIAL;
if (zzBuffer.length > ZZ_BUFFERSIZE)
@@ -1217,8 +721,10 @@ public final class StandardTokenizerImpl
zzForAction: {
while (true) {
- if (zzCurrentPosL < zzEndReadL)
- zzInput = zzBufferL[zzCurrentPosL++];
+ if (zzCurrentPosL < zzEndReadL) {
+ zzInput = Character.codePointAt(zzBufferL, zzCurrentPosL, zzEndReadL);
+ zzCurrentPosL += Character.charCount(zzInput);
+ }
else if (zzAtEOF) {
zzInput = YYEOF;
break zzForAction;
@@ -1238,7 +744,8 @@ public final class StandardTokenizerImpl
break zzForAction;
}
else {
- zzInput = zzBufferL[zzCurrentPosL++];
+ zzInput = Character.codePointAt(zzBufferL, zzCurrentPosL, zzEndReadL);
+ zzCurrentPosL += Character.charCount(zzInput);
}
}
int zzNext = zzTransL[ zzRowMapL[zzState] + zzCMapL[zzInput] ];
@@ -1268,15 +775,15 @@ public final class StandardTokenizerImpl
}
case 10: break;
case 3:
- { return NUMERIC_TYPE;
+ { return HANGUL_TYPE;
}
case 11: break;
case 4:
- { return KATAKANA_TYPE;
+ { return NUMERIC_TYPE;
}
case 12: break;
case 5:
- { return SOUTH_EAST_ASIAN_TYPE;
+ { return KATAKANA_TYPE;
}
case 13: break;
case 6:
@@ -1288,7 +795,7 @@ public final class StandardTokenizerImpl
}
case 15: break;
case 8:
- { return HANGUL_TYPE;
+ { return SOUTH_EAST_ASIAN_TYPE;
}
case 16: break;
default:
Modified: lucene/dev/branches/branch_4x/lucene/analysis/common/src/java/org/apache/lucene/analysis/standard/StandardTokenizerImpl.jflex
URL: http://svn.apache.org/viewvc/lucene/dev/branches/branch_4x/lucene/analysis/common/src/java/org/apache/lucene/analysis/standard/StandardTokenizerImpl.jflex?rev=1608313&r1=1608312&r2=1608313&view=diff
==============================================================================
--- lucene/dev/branches/branch_4x/lucene/analysis/common/src/java/org/apache/lucene/analysis/standard/StandardTokenizerImpl.jflex (original)
+++ lucene/dev/branches/branch_4x/lucene/analysis/common/src/java/org/apache/lucene/analysis/standard/StandardTokenizerImpl.jflex Sun Jul 6 23:44:30 2014
@@ -48,41 +48,22 @@ import org.apache.lucene.analysis.tokena
%char
%buffer 4096
-%include SUPPLEMENTARY.jflex-macro
-ALetter = (\p{WB:ALetter} | {ALetterSupp})
-Format = (\p{WB:Format} | {FormatSupp})
-Numeric = ([\p{WB:Numeric}[\p{Blk:HalfAndFullForms}&&\p{Nd}]] | {NumericSupp})
-Extend = (\p{WB:Extend} | {ExtendSupp})
-Katakana = (\p{WB:Katakana} | {KatakanaSupp})
-MidLetter = (\p{WB:MidLetter} | {MidLetterSupp})
-MidNum = (\p{WB:MidNum} | {MidNumSupp})
-MidNumLet = (\p{WB:MidNumLet} | {MidNumLetSupp})
-ExtendNumLet = (\p{WB:ExtendNumLet} | {ExtendNumLetSupp})
-ComplexContext = (\p{LB:Complex_Context} | {ComplexContextSupp})
-Han = (\p{Script:Han} | {HanSupp})
-Hiragana = (\p{Script:Hiragana} | {HiraganaSupp})
-SingleQuote = (\p{WB:Single_Quote} | {SingleQuoteSupp})
-DoubleQuote = (\p{WB:Double_Quote} | {DoubleQuoteSupp})
-HebrewLetter = (\p{WB:Hebrew_Letter} | {HebrewLetterSupp})
-RegionalIndicator = (\p{WB:Regional_Indicator} | {RegionalIndicatorSupp})
-HebrewOrALetter = ({HebrewLetter} | {ALetter})
-
// UAX#29 WB4. X (Extend | Format)* --> X
//
-HangulEx = [\p{Script:Hangul}&&[\p{WB:ALetter}\p{WB:Hebrew_Letter}]] ({Format} | {Extend})*
-HebrewOrALetterEx = {HebrewOrALetter} ({Format} | {Extend})*
-NumericEx = {Numeric} ({Format} | {Extend})*
-KatakanaEx = {Katakana} ({Format} | {Extend})*
-MidLetterEx = ({MidLetter} | {MidNumLet} | {SingleQuote}) ({Format} | {Extend})*
-MidNumericEx = ({MidNum} | {MidNumLet} | {SingleQuote}) ({Format} | {Extend})*
-ExtendNumLetEx = {ExtendNumLet} ({Format} | {Extend})*
-HanEx = {Han} ({Format} | {Extend})*
-HiraganaEx = {Hiragana} ({Format} | {Extend})*
-SingleQuoteEx = {SingleQuote} ({Format} | {Extend})*
-DoubleQuoteEx = {DoubleQuote} ({Format} | {Extend})*
-HebrewLetterEx = {HebrewLetter} ({Format} | {Extend})*
-RegionalIndicatorEx = {RegionalIndicator} ({Format} | {Extend})*
-
+HangulEx = [\p{Script:Hangul}&&[\p{WB:ALetter}\p{WB:Hebrew_Letter}]] [\p{WB:Format}\p{WB:Extend}]*
+HebrewOrALetterEx = [\p{WB:HebrewLetter}\p{WB:ALetter}] [\p{WB:Format}\p{WB:Extend}]*
+NumericEx = [\p{WB:Numeric}[\p{Blk:HalfAndFullForms}&&\p{Nd}]] [\p{WB:Format}\p{WB:Extend}]*
+KatakanaEx = \p{WB:Katakana} [\p{WB:Format}\p{WB:Extend}]*
+MidLetterEx = [\p{WB:MidLetter}\p{WB:MidNumLet}\p{WB:SingleQuote}] [\p{WB:Format}\p{WB:Extend}]*
+MidNumericEx = [\p{WB:MidNum}\p{WB:MidNumLet}\p{WB:SingleQuote}] [\p{WB:Format}\p{WB:Extend}]*
+ExtendNumLetEx = \p{WB:ExtendNumLet} [\p{WB:Format}\p{WB:Extend}]*
+HanEx = \p{Script:Han} [\p{WB:Format}\p{WB:Extend}]*
+HiraganaEx = \p{Script:Hiragana} [\p{WB:Format}\p{WB:Extend}]*
+SingleQuoteEx = \p{WB:Single_Quote} [\p{WB:Format}\p{WB:Extend}]*
+DoubleQuoteEx = \p{WB:Double_Quote} [\p{WB:Format}\p{WB:Extend}]*
+HebrewLetterEx = \p{WB:Hebrew_Letter} [\p{WB:Format}\p{WB:Extend}]*
+RegionalIndicatorEx = \p{WB:RegionalIndicator} [\p{WB:Format}\p{WB:Extend}]*
+ComplexContextEx = \p{LB:Complex_Context} [\p{WB:Format}\p{WB:Extend}]*
%{
/** Alphanumeric sequences */
@@ -193,7 +174,7 @@ RegionalIndicatorEx = {RegionalIndicator
//
// http://www.unicode.org/reports/tr14/#SA
//
-{ComplexContext}+ { return SOUTH_EAST_ASIAN_TYPE; }
+{ComplexContextEx}+ { return SOUTH_EAST_ASIAN_TYPE; }
// UAX#29 WB14. Any ÷ Any
//