svn commit: r1229282 - in /uima/sandbox/trunk/TextMarker/uimaj-ep-textmarker-ide/src/main/java/org/apache/uima/textmarker/ide/core/parser: TextMarkerLexer.g TextMarkerLexer.tokens

[pk...@apache.org]

Author: pkluegl
Date: Mon Jan  9 18:23:08 2012
New Revision: 1229282

URL: http://svn.apache.org/viewvc?rev=1229282&view=rev
Log:
UIMA-2319
added lexer tokens missed by last commit

Modified:
    uima/sandbox/trunk/TextMarker/uimaj-ep-textmarker-ide/src/main/java/org/apache/uima/textmarker/ide/core/parser/TextMarkerLexer.g
    uima/sandbox/trunk/TextMarker/uimaj-ep-textmarker-ide/src/main/java/org/apache/uima/textmarker/ide/core/parser/TextMarkerLexer.tokens

Modified: uima/sandbox/trunk/TextMarker/uimaj-ep-textmarker-ide/src/main/java/org/apache/uima/textmarker/ide/core/parser/TextMarkerLexer.g
URL: http://svn.apache.org/viewvc/uima/sandbox/trunk/TextMarker/uimaj-ep-textmarker-ide/src/main/java/org/apache/uima/textmarker/ide/core/parser/TextMarkerLexer.g?rev=1229282&r1=1229281&r2=1229282&view=diff
==============================================================================
--- uima/sandbox/trunk/TextMarker/uimaj-ep-textmarker-ide/src/main/java/org/apache/uima/textmarker/ide/core/parser/TextMarkerLexer.g (original)
+++ uima/sandbox/trunk/TextMarker/uimaj-ep-textmarker-ide/src/main/java/org/apache/uima/textmarker/ide/core/parser/TextMarkerLexer.g Mon Jan  9 18:23:08 2012
@@ -1,13 +1,13 @@
 lexer grammar TextMarkerLexer;
 options {
-	language = Java;
+  language = Java;
 }
 
 
 tokens {
-	DocComment;
-	Annotation;
-	ListIdentifier;
+  DocComment;
+  Annotation;
+  ListIdentifier;
 }
 
 @lexer::header {
@@ -30,323 +30,326 @@ tokens {
  * under the License.
 */
 
-	package org.apache.uima.textmarker.parser;
+  package org.apache.uima.textmarker.parser;
 }
 
 @lexer::members {
-	public int implicitLineJoiningLevel = 0;
-	public int startPos=-1;
-	public void emitErrorMessage(String msg) {
-	}
+  public int implicitLineJoiningLevel = 0;
+  public int startPos=-1;
+  public void emitErrorMessage(String msg) {
+  }
 }
 
 
 TRIE
-	:	'TRIE'
-	;
+  : 'TRIE'
+  ;
 
 CONTAINS
-	:	'CONTAINS'
-	;
+  : 'CONTAINS'
+  ;
 
 DECLARE
-	:	'DECLARE'
-	;
+  : 'DECLARE'
+  ;
 
 WORDLIST
-	:	'WORDLIST'
-	;
+  : 'WORDLIST'
+  ;
 
 WORDTABLE
-	:	'WORDTABLE'
-	;
+  : 'WORDTABLE'
+  ;
 
 AND
-	:	'AND'
-	;
+  : 'AND'
+  ;
 
 CONTEXTCOUNT
-	:	'CONTEXTCOUNT'
-	;
+  : 'CONTEXTCOUNT'
+  ;
 
 COUNT
-	:	'COUNT'
-	;
+  : 'COUNT'
+  ;
 
 TOTALCOUNT
-	:	'TOTALCOUNT'
-	;
+  : 'TOTALCOUNT'
+  ;
 
 CURRENTCOUNT
-	:	'CURRENTCOUNT'
-	;
+  : 'CURRENTCOUNT'
+  ;
 
 INLIST
-	:	'INLIST'
-	;
+  : 'INLIST'
+  ;
 
 ISINTAG
-	:	'ISINTAG'
-	;
+  : 'ISINTAG'
+  ;
 
 LAST
-	:	'LAST'
-	;
+  : 'LAST'
+  ;
 
 MOFN
-	:	'MOFN'
-	;
+  : 'MOFN'
+  ;
 
 NEAR
-	:	'NEAR'
-	;
+  : 'NEAR'
+  ;
 
 OR
-	:	'OR'
-	;
+  : 'OR'
+  ;
 
 PARTOF
-	:	'PARTOF'
-	;
-	
+  : 'PARTOF'
+  ;
+  
 PARTOFNEQ
-	:	'PARTOFNEQ'
-	;
+  : 'PARTOFNEQ'
+  ;
 
 POSITION
-	:	'POSITION'
-	;
+  : 'POSITION'
+  ;
 
 REGEXP
-	:	'REGEXP'
-	;
+  : 'REGEXP'
+  ;
 
 SCORE
-	:	'SCORE'
-	;
+  : 'SCORE'
+  ;
 
 VOTE
-	:	'VOTE'
-	;
+  : 'VOTE'
+  ;
 
 IF
-	:	'IF'
-	;
+  : 'IF'
+  ;
 
 FEATURE
-	:	'FEATURE'
-	;
+  : 'FEATURE'
+  ;
 
 PARSE
-	:	'PARSE'
-	;
+  : 'PARSE'
+  ;
 
 CREATE
-	:	'CREATE'
-	;
+  : 'CREATE'
+  ;
 
 GATHER
-	:	'GATHER'
-	;
+  : 'GATHER'
+  ;
 
 FILL
-	:	'FILL'
-	;
+  : 'FILL'
+  ;
 
 ATTRIBUTE
-	:	'ATTRIBUTE'
-	;
+  : 'ATTRIBUTE'
+  ;
 
 COLOR
-	:	'COLOR'
-	;
+  : 'COLOR'
+  ;
 
 DEL
-	:	'DEL'
-	;
+  : 'DEL'
+  ;
 
 LOG
-	:	'LOG'
-	;
+  : 'LOG'
+  ;
 
 MARK
-	:	'MARK'
-	;
+  : 'MARK'
+  ;
 
 MARKSCORE
-	:	'MARKSCORE'
-	;
+  : 'MARKSCORE'
+  ;
 
 MARKONCE
-	:	'MARKONCE'
-	;
+  : 'MARKONCE'
+  ;
 
 MARKFAST
-	:	'MARKFAST'
-	;
-	
+  : 'MARKFAST'
+  ;
+  
 MARKTABLE
-	:	'MARKTABLE'
-	;
-	
+  : 'MARKTABLE'
+  ;
+  
 MARKLAST
-	:	'MARKLAST'
-	;
+  : 'MARKLAST'
+  ;
 
 REPLACE
-	:	'REPLACE'
-	;
+  : 'REPLACE'
+  ;
 
 RETAINMARKUP
-	:	'RETAINMARKUP'
-	;
+  : 'RETAINMARKUP'
+  ;
 
 RETAINTYPE
-	:	'RETAINTYPE'
-	;
+  : 'RETAINTYPE'
+  ;
 
 FILTERMARKUP
-	:	'FILTERMARKUP'
-	;
+  : 'FILTERMARKUP'
+  ;
 
 FILTERTYPE
-	:	'FILTERTYPE'
-	;
+  : 'FILTERTYPE'
+  ;
 
 CALL
-	:	'CALL'
-	;
+  : 'CALL'
+  ;
 
 
 EXEC
-	:	'EXEC'
-	;
+  : 'EXEC'
+  ;
 
 CONFIGURE
-	:	'CONFIGURE'
-	;
+  : 'CONFIGURE'
+  ;
 
 ASSIGN
-	:	'ASSIGN'
-	;
+  : 'ASSIGN'
+  ;
 
 SETFEATURE
-	:	'SETFEATURE'
-	;
+  : 'SETFEATURE'
+  ;
 
 GETFEATURE
-	:	'GETFEATURE'
-	;
+  : 'GETFEATURE'
+  ;
 
 UNMARK
-	:	'UNMARK'
-	;
+  : 'UNMARK'
+  ;
 
 UNMARKALL
-	:	'UNMARKALL'
-	;
+  : 'UNMARKALL'
+  ;
 
 TRANSFER
-	:	'TRANSFER'
-	;
+  : 'TRANSFER'
+  ;
 
 
-EXPAND 	
-	:	'EXPAND'	 
-	;
+EXPAND  
+  : 'EXPAND'   
+  ;
 
-DYNAMICANCHORING 	
-	:	'DYNAMICANCHORING'	 
-	;
+DYNAMICANCHORING  
+  : 'DYNAMICANCHORING'   
+  ;
 
 BEFORE
-	:	'BEFORE'
-	;
+  : 'BEFORE'
+  ;
 
 AFTER
-	:	'AFTER'
-	;
+  : 'AFTER'
+  ;
 
-IS 	
-	:	'IS'	 
-	;
+IS  
+  : 'IS'   
+  ;
 
 
-STARTSWITH 	
-	:	'STARTSWITH'	 
-	;
+STARTSWITH  
+  : 'STARTSWITH'   
+  ;
 
-ENDSWITH 	
-	:	'ENDSWITH'	 
-	;
+ENDSWITH  
+  : 'ENDSWITH'   
+  ;
 
 
 
 NOT
-	:	'NOT'
-	;
+  : 'NOT'
+  ;
 
-ADD	:	'ADD';
-REMOVE	:	'REMOVE';
-REMOVEDUPLICATE	:	'REMOVEDUPLICATE';
-MERGE 	:	'MERGE';
-GET	:	'GET';
-GETLIST	:	'GETLIST';
-SIZE	:	'SIZE';
-MATCHEDTEXT	:	'MATCHEDTEXT';
-REMOVESTRING	:	'REMOVESTRING';
-CLEAR 	:	 'CLEAR';
+ADD : 'ADD';
+REMOVE  : 'REMOVE';
+REMOVEDUPLICATE : 'REMOVEDUPLICATE';
+MERGE   : 'MERGE';
+GET : 'GET';
+GETLIST : 'GETLIST';
+SIZE  : 'SIZE';
+MATCHEDTEXT : 'MATCHEDTEXT';
+REMOVESTRING  : 'REMOVESTRING';
+CLEAR   :  'CLEAR';
 
 THEN 
-	: 	'->'
-	;
+  :   '->'
+  ;
 
 BasicAnnotationType 
-	: 'COLON'| 'SW' | 'MARKUP' | 'PERIOD' | 'CW'| 'NUM' | 'QUESTION' | 'SPECIAL' | 'CAP' | 'COMMA' | 'EXCLAMATION' | 'SEMICOLON' | 'NBSP'| 'AMP' |
-	'_' | 'SENTENCEEND' | 'W' | 'PM' | 'ANY' | 'ALL' | 'SPACE' | 'BREAK' 
-	;
-	
+  : 'COLON'| 'SW' | 'MARKUP' | 'PERIOD' | 'CW'| 'NUM' | 'QUESTION' | 'SPECIAL' | 'CAP' | 'COMMA' | 'EXCLAMATION' | 'SEMICOLON' | 'NBSP'| 'AMP' |
+  '_' | 'SENTENCEEND' | 'W' | 'PM' | 'ANY' | 'ALL' | 'SPACE' | 'BREAK' 
+  ;
+  
 LogLevel:
-	'finest' | 'finer' | 'fine' | 'config' | 'info' | 'warning' | 'severe'
-	;	
+  'finest' | 'finer' | 'fine' | 'config' | 'info' | 'warning' | 'severe'
+  ; 
 
 OldColor 
-	: 'black' | 'maroon' | 'green' | 'olive' | 'navy' | 'purple' | 'teal' | 'gray' | 'silver' | 'red' | 'lime' | 'yellow' | 'blue' | 'fuchsia' | 'aqua'
-	;
+  : 'black' | 'maroon' | 'green' | 'olive' | 'navy' | 'purple' | 'teal' | 'gray' | 'silver' | 'red' | 'lime' | 'yellow' | 'blue' | 'fuchsia' | 'aqua'
+  ;
 
-PackageString   :	'PACKAGE';
-ScriptString	:	'SCRIPT';
-EngineString	:	'ENGINE';
-BlockString 	:	'BLOCK';
-AutomataBlockString 	:	'RULES';
-TypeString 	:	'TYPE';
-IntString	:	'INT';
-DoubleString	:	'DOUBLE';
-StringString	:	'STRING';
-BooleanString	:	'BOOLEAN';
-TypeSystemString:	'TYPESYSTEM';	
-SymbolString	:	'SYMBOL';
-CONDITION	:	'CONDITION';	
-ACTION		:	'ACTION';
+PackageString   : 'PACKAGE';
+ScriptString  : 'SCRIPT';
+EngineString  : 'ENGINE';
+BlockString   : 'BLOCK';
+AutomataBlockString   : 'RULES';
+TypeString  : 'TYPE';
+IntString : 'INT';
+DoubleString  : 'DOUBLE';
+FloatString : 'FLOAT';
+StringString  : 'STRING';
+BooleanString : 'BOOLEAN';
+TypeSystemString: 'TYPESYSTEM'; 
+SymbolString  : 'SYMBOL';
+CONDITION : 'CONDITION';  
+ACTION    : 'ACTION';
 BOOLEANLIST 
-	:	 'BOOLEANLIST';
-INTLIST :	'INTLIST';
+  :  'BOOLEANLIST';
+INTLIST : 'INTLIST';
 DOUBLELIST
-	:	 'DOUBLELIST';
+  :  'DOUBLELIST';
+FLOATLIST
+  :  'FLOATLIST';
 STRINGLIST
-	:	'STRINGLIST';	
-TYPELIST:	'TYPELIST';
+  : 'STRINGLIST'; 
+TYPELIST: 'TYPELIST';
 
 
 
-EXP 	:	'EXP';
-LOGN	:	'LOGN';
-SIN	:	'SIN';
-COS	:	'COS';
-TAN	:	'TAN';
-XOR	: 	'XOR';
-TRUE 	:	'true';
-FALSE 	:	'false';
+EXP   : 'EXP';
+LOGN  : 'LOGN';
+SIN : 'SIN';
+COS : 'COS';
+TAN : 'TAN';
+XOR :   'XOR';
+TRUE  : 'true';
+FALSE   : 'false';
 
 HexLiteral : '0' ('x'|'X') HexDigit+ IntegerTypeSuffix? ;
 
@@ -365,8 +368,8 @@ FloatingPointLiteral
     |   '.' ('0'..'9')+ Exponent? FloatTypeSuffix?
     //|   ('0'..'9')+ Exponent FloatTypeSuffix?
     //|   ('0'..'9')+ Exponent? FloatTypeSuffix
-	;
-	
+  ;
+  
 fragment
 Exponent : ('e'|'E') ('+'|'-')? ('0'..'9')+ ;
 
@@ -404,7 +407,7 @@ UnicodeEscape
     :   '\\' 'u' HexDigit HexDigit HexDigit HexDigit
     ;
 
-	
+  
 Identifier 
     :   Letter (Letter|JavaIDDigit)*
     ;
@@ -448,62 +451,62 @@ JavaIDDigit
 
 
 
-LPAREN	: '(' {implicitLineJoiningLevel++;} ;
+LPAREN  : '(' {implicitLineJoiningLevel++;} ;
 
-RPAREN	: ')' {implicitLineJoiningLevel--;} ;
+RPAREN  : ')' {implicitLineJoiningLevel--;} ;
 
-LBRACK	: '[' {implicitLineJoiningLevel++;} ;
+LBRACK  : '[' {implicitLineJoiningLevel++;} ;
 
-RBRACK	: ']' {implicitLineJoiningLevel--;} ;
+RBRACK  : ']' {implicitLineJoiningLevel--;} ;
 
-LCURLY	: '{' {implicitLineJoiningLevel++;} ;
+LCURLY  : '{' {implicitLineJoiningLevel++;} ;
 
-RCURLY	: '}' {implicitLineJoiningLevel--;} ;
+RCURLY  : '}' {implicitLineJoiningLevel--;} ;
 
-CIRCUMFLEX	: '^' ;
+CIRCUMFLEX  : '^' ;
 
 AT : '@' ;
 
 DOT : '.' ;
 
-COLON 	: ':' ;
+COLON   : ':' ;
 
-COMMA	: ',' ;
+COMMA : ',' ;
 
-SEMI	: ';' ;
+SEMI  : ';' ;
 
-PLUS	: '+' ;
+PLUS  : '+' ;
 
-MINUS	: '-' ;
+MINUS : '-' ;
 
-STAR	: '*' ;
+STAR  : '*' ;
 
-SLASH	: '/' ;
+SLASH : '/' ;
 
-VBAR	: '|' ;
+VBAR  : '|' ;
 
-AMPER	: '&' ;
+AMPER : '&' ;
 
-LESS	: '<' ;
+LESS  : '<' ;
 
-GREATER	: '>' ;
+GREATER : '>' ;
 
-ASSIGN_EQUAL	: '=' ;
+ASSIGN_EQUAL  : '=' ;
 
-PERCENT	: '%' ;
+PERCENT : '%' ;
 
-QUESTION	: '?' ;
+QUESTION  : '?' ;
 
-EQUAL	: '==' ;
+EQUAL : '==' ;
 
-NOTEQUAL	: '!=' ;
+NOTEQUAL  : '!=' ;
 
 ALT_NOTEQUAL: '<>' ;
 
-LESSEQUAL	: '<=' ;
+LESSEQUAL : '<=' ;
 
 
-GREATEREQUAL	: '>=' ;
+GREATEREQUAL  : '>=' ;
 
 WS  :  (' '|'\r'|'\t'|'\u000C'|'\n') {$channel=HIDDEN;}
     ;

Modified: uima/sandbox/trunk/TextMarker/uimaj-ep-textmarker-ide/src/main/java/org/apache/uima/textmarker/ide/core/parser/TextMarkerLexer.tokens
URL: http://svn.apache.org/viewvc/uima/sandbox/trunk/TextMarker/uimaj-ep-textmarker-ide/src/main/java/org/apache/uima/textmarker/ide/core/parser/TextMarkerLexer.tokens?rev=1229282&r1=1229281&r2=1229282&view=diff
==============================================================================
--- uima/sandbox/trunk/TextMarker/uimaj-ep-textmarker-ide/src/main/java/org/apache/uima/textmarker/ide/core/parser/TextMarkerLexer.tokens (original)
+++ uima/sandbox/trunk/TextMarker/uimaj-ep-textmarker-ide/src/main/java/org/apache/uima/textmarker/ide/core/parser/TextMarkerLexer.tokens Mon Jan  9 18:23:08 2012
@@ -52,101 +52,103 @@ FEATURE=54
 FILL=55
 FILTERMARKUP=56
 FILTERTYPE=57
-FloatTypeSuffix=58
-FloatingPointLiteral=59
-GATHER=60
-GET=61
-GETFEATURE=62
-GETLIST=63
-GREATER=64
-GREATEREQUAL=65
-HexDigit=66
-HexLiteral=67
-IF=68
-INLIST=69
-INTLIST=70
-IS=71
-ISINTAG=72
-Identifier=73
-IntString=74
-IntegerTypeSuffix=75
-JavaIDDigit=76
-LAST=77
-LBRACK=78
-LCURLY=79
-LESS=80
-LESSEQUAL=81
-LINE_COMMENT=82
-LOG=83
-LOGN=84
-LPAREN=85
-Letter=86
-ListIdentifier=87
-LogLevel=88
-MARK=89
-MARKFAST=90
-MARKLAST=91
-MARKONCE=92
-MARKSCORE=93
-MARKTABLE=94
-MATCHEDTEXT=95
-MERGE=96
-MINUS=97
-MOFN=98
-NEAR=99
-NOT=100
-NOTEQUAL=101
-OR=102
-OctalEscape=103
-OctalLiteral=104
-OldColor=105
-PARSE=106
-PARTOF=107
-PARTOFNEQ=108
-PERCENT=109
-PLUS=110
-POSITION=111
-PackageString=112
-QUESTION=113
-RBRACK=114
-RCURLY=115
-REGEXP=116
-REMOVE=117
-REMOVEDUPLICATE=118
-REMOVESTRING=119
-REPLACE=120
-RETAINMARKUP=121
-RETAINTYPE=122
-RPAREN=123
-RessourceLiteral=124
-SCORE=125
-SEMI=126
-SETFEATURE=127
-SIN=128
-SIZE=129
-SLASH=130
-STAR=131
-STARTSWITH=132
-STRINGLIST=133
-ScriptString=134
-StringLiteral=135
-StringString=136
-SymbolString=137
-TAN=138
-THEN=139
-TOTALCOUNT=140
-TRANSFER=141
-TRIE=142
-TRUE=143
-TYPELIST=144
-TypeString=145
-TypeSystemString=146
-UNMARK=147
-UNMARKALL=148
-UnicodeEscape=149
-VBAR=150
-VOTE=151
-WORDLIST=152
-WORDTABLE=153
-WS=154
-XOR=155
+FLOATLIST=58
+FloatString=59
+FloatTypeSuffix=60
+FloatingPointLiteral=61
+GATHER=62
+GET=63
+GETFEATURE=64
+GETLIST=65
+GREATER=66
+GREATEREQUAL=67
+HexDigit=68
+HexLiteral=69
+IF=70
+INLIST=71
+INTLIST=72
+IS=73
+ISINTAG=74
+Identifier=75
+IntString=76
+IntegerTypeSuffix=77
+JavaIDDigit=78
+LAST=79
+LBRACK=80
+LCURLY=81
+LESS=82
+LESSEQUAL=83
+LINE_COMMENT=84
+LOG=85
+LOGN=86
+LPAREN=87
+Letter=88
+ListIdentifier=89
+LogLevel=90
+MARK=91
+MARKFAST=92
+MARKLAST=93
+MARKONCE=94
+MARKSCORE=95
+MARKTABLE=96
+MATCHEDTEXT=97
+MERGE=98
+MINUS=99
+MOFN=100
+NEAR=101
+NOT=102
+NOTEQUAL=103
+OR=104
+OctalEscape=105
+OctalLiteral=106
+OldColor=107
+PARSE=108
+PARTOF=109
+PARTOFNEQ=110
+PERCENT=111
+PLUS=112
+POSITION=113
+PackageString=114
+QUESTION=115
+RBRACK=116
+RCURLY=117
+REGEXP=118
+REMOVE=119
+REMOVEDUPLICATE=120
+REMOVESTRING=121
+REPLACE=122
+RETAINMARKUP=123
+RETAINTYPE=124
+RPAREN=125
+RessourceLiteral=126
+SCORE=127
+SEMI=128
+SETFEATURE=129
+SIN=130
+SIZE=131
+SLASH=132
+STAR=133
+STARTSWITH=134
+STRINGLIST=135
+ScriptString=136
+StringLiteral=137
+StringString=138
+SymbolString=139
+TAN=140
+THEN=141
+TOTALCOUNT=142
+TRANSFER=143
+TRIE=144
+TRUE=145
+TYPELIST=146
+TypeString=147
+TypeSystemString=148
+UNMARK=149
+UNMARKALL=150
+UnicodeEscape=151
+VBAR=152
+VOTE=153
+WORDLIST=154
+WORDTABLE=155
+WS=156
+XOR=157