1 files changed, 163 insertions, 0 deletions
diff --git a/src/lexer.cpp b/src/lexer.cpp
new file mode 100644
index 0000000..834d3bc
--- /dev/null
+++ b/src/lexer.cpp
@@ -0,0 +1,163 @@
+#include "lexer.h"
+#include "token.h"
+#include "number.h"
+#include <bu/sio.h>
+Lexer::Lexer( Bu::Stream &rIn ) :
+    rIn( rIn ),
+    iBufPos( 0 ),
+    iScale( 0 ),
+    iRadix( 10 ),
+    numRangeTop('9'),
+    ascRangeTop(0)
+{
+}
+Lexer::~Lexer()
+{
+}
+Token Lexer::nextToken()
+{
+    for(;;)
+    {
+        if( iBufPos >= sBuf.getSize() )
+        {
+            iBufPos = -1;
+            return Token( Token::tEndOfLine );
+        }
+        if( iBufPos < 0 )
+        {
+            if( rIn.isEos() )
+                return Token( Token::tEndOfInput );
+            sBuf = rIn.readLine();
+            if( sBuf.getSize() == 0 )
+            {
+                iBufPos = -1;
+                continue;
+            }
+            iBufPos = 0;
+        }
+        //Bu::println("Testing char '%1' at %2").arg( sBuf[iBufPos] ).arg( iBufPos );
+        switch( sBuf[iBufPos] )
+        {
+            case ' ':
+            case '\t':
+                iBufPos++;
+                break;
+            case '\\':
+                {
+                    Bu::String *sTmp = new Bu::String();
+                    for( iBufPos++; iBufPos < sBuf.getSize() &&
+                         sBuf[iBufPos] != ' ' && sBuf[iBufPos] != '\t';
+                         iBufPos++ )
+                    {
+                        sTmp->append( sBuf[iBufPos] );
+                    }
+                    return Token( Token::tCommand, sTmp );
+                }
+                break;
+            case '+':
+                iBufPos++;
+                return Token( Token::tPlus );
+            case '-':
+                iBufPos++;
+                return Token( Token::tMinus );
+            case '*':
+                iBufPos++;
+                return Token( Token::tMultiply );
+            case '/':
+                iBufPos++;
+                return Token( Token::tDivide );
+            case '(':
+                iBufPos++;
+                return Token( Token::tOpenParen );
+            case ')':
+                iBufPos++;
+                return Token( Token::tCloseParen );
+            default:
+                {
+                    Bu::String *sTmp = new Bu::String();
+                    if( (sBuf[iBufPos] >= '0' &&
+                                sBuf[iBufPos] <= numRangeTop) ||
+                        (sBuf[iBufPos] >= 'a' &&
+                                sBuf[iBufPos] <= ascRangeTop) ||
+                        sBuf[iBufPos] == '.' )
+                    {
+                        for( ; iBufPos < sBuf.getSize() ; iBufPos++ )
+                        {
+                            if( (sBuf[iBufPos] >= '0' &&
+                                        sBuf[iBufPos] <= numRangeTop) ||
+                                (sBuf[iBufPos] >= 'a' &&
+                                        sBuf[iBufPos] <= ascRangeTop) ||
+                                sBuf[iBufPos] == '.' )
+                            {
+                                sTmp->append( sBuf[iBufPos] );
+                            }
+                            else
+                            {
+                                break;
+                            }
+                        }
+                        Number *n = new Number( *sTmp, iScale, iRadix );
+                        delete sTmp;
+                        return Token( Token::tNumber, n );
+                    }
+                    else if( (sBuf[iBufPos]>=(ascRangeTop+1) && sBuf[iBufPos]<='z') ||
+                            (sBuf[iBufPos]>='A' && sBuf[iBufPos]<='Z') ||
+                            sBuf[iBufPos] == '_' )
+                    {
+                        for( ; iBufPos < sBuf.getSize(); iBufPos++ )
+                        {
+                            if( (sBuf[iBufPos]>='a' && sBuf[iBufPos]<='z') ||
+                                (sBuf[iBufPos]>='A' && sBuf[iBufPos]<='Z') ||
+                                (sBuf[iBufPos]>='0' && sBuf[iBufPos]<='9') ||
+                                sBuf[iBufPos] == '_' )
+                            {
+                                sTmp->append( sBuf[iBufPos] );
+                            }
+                            else
+                            {
+                                break;
+                            }
+                        }
+                        return Token( Token::tString, sTmp );
+                    }
+                    else
+                    {
+                        sBuf.clear();
+                        Bu::println("Invalid character discovered!");
+                    }
+                }
+                break;
+        }
+    }
+}
+void Lexer::setRadix( int i )
+{
+    iRadix = i;
+    if( iRadix <= 10 )
+    {
+        numRangeTop = '0'+iRadix-1;
+        ascRangeTop = 0;
+    }
+    else
+    {
+        numRangeTop = '9';
+        ascRangeTop = 'a'+iRadix-11;
+    }
+}

diff --git a/src/lexer.cpp b/src/lexer.cpp new file mode 100644 index 0000000..834d3bc --- /dev/null +++ b/src/lexer.cpp
@@ -0,0 +1,163 @@
	1	#include "lexer.h"
	2	#include "token.h"
	3	#include "number.h"
	4
	5	#include <bu/sio.h>
	6
	7	Lexer::Lexer( Bu::Stream &rIn ) :
	8	rIn( rIn ),
	9	iBufPos( 0 ),
	10	iScale( 0 ),
	11	iRadix( 10 ),
	12	numRangeTop('9'),
	13	ascRangeTop(0)
	14	{
	15	}
	16
	17	Lexer::~Lexer()
	18	{
	19	}
	20
	21	Token Lexer::nextToken()
	22	{
	23	for(;;)
	24	{
	25	if( iBufPos >= sBuf.getSize() )
	26	{
	27	iBufPos = -1;
	28	return Token( Token::tEndOfLine );
	29	}
	30
	31	if( iBufPos < 0 )
	32	{
	33	if( rIn.isEos() )
	34	return Token( Token::tEndOfInput );
	35
	36	sBuf = rIn.readLine();
	37	if( sBuf.getSize() == 0 )
	38	{
	39	iBufPos = -1;
	40	continue;
	41	}
	42	iBufPos = 0;
	43	}
	44
	45	//Bu::println("Testing char '%1' at %2").arg( sBuf[iBufPos] ).arg( iBufPos );
	46	switch( sBuf[iBufPos] )
	47	{
	48	case ' ':
	49	case '\t':
	50	iBufPos++;
	51	break;
	52
	53	case '\\':
	54	{
	55	Bu::String *sTmp = new Bu::String();
	56	for( iBufPos++; iBufPos < sBuf.getSize() &&
	57	sBuf[iBufPos] != ' ' && sBuf[iBufPos] != '\t';
	58	iBufPos++ )
	59	{
	60	sTmp->append( sBuf[iBufPos] );
	61	}
	62	return Token( Token::tCommand, sTmp );
	63	}
	64	break;
	65
	66	case '+':
	67	iBufPos++;
	68	return Token( Token::tPlus );
	69
	70	case '-':
	71	iBufPos++;
	72	return Token( Token::tMinus );
	73
	74	case '*':
	75	iBufPos++;
	76	return Token( Token::tMultiply );
	77
	78	case '/':
	79	iBufPos++;
	80	return Token( Token::tDivide );
	81
	82	case '(':
	83	iBufPos++;
	84	return Token( Token::tOpenParen );
	85
	86	case ')':
	87	iBufPos++;
	88	return Token( Token::tCloseParen );
	89
	90	default:
	91	{
	92	Bu::String *sTmp = new Bu::String();
	93	if( (sBuf[iBufPos] >= '0' &&
	94	sBuf[iBufPos] <= numRangeTop) \|\|
	95	(sBuf[iBufPos] >= 'a' &&
	96	sBuf[iBufPos] <= ascRangeTop) \|\|
	97	sBuf[iBufPos] == '.' )
	98	{
	99	for( ; iBufPos < sBuf.getSize() ; iBufPos++ )
	100	{
	101	if( (sBuf[iBufPos] >= '0' &&
	102	sBuf[iBufPos] <= numRangeTop) \|\|
	103	(sBuf[iBufPos] >= 'a' &&
	104	sBuf[iBufPos] <= ascRangeTop) \|\|
	105	sBuf[iBufPos] == '.' )
	106	{
	107	sTmp->append( sBuf[iBufPos] );
	108	}
	109	else
	110	{
	111	break;
	112	}
	113	}
	114	Number n = new Number( sTmp, iScale, iRadix );
	115	delete sTmp;
	116	return Token( Token::tNumber, n );
	117	}
	118	else if( (sBuf[iBufPos]>=(ascRangeTop+1) && sBuf[iBufPos]<='z') \|\|
	119	(sBuf[iBufPos]>='A' && sBuf[iBufPos]<='Z') \|\|
	120	sBuf[iBufPos] == '_' )
	121	{
	122	for( ; iBufPos < sBuf.getSize(); iBufPos++ )
	123	{
	124	if( (sBuf[iBufPos]>='a' && sBuf[iBufPos]<='z') \|\|
	125	(sBuf[iBufPos]>='A' && sBuf[iBufPos]<='Z') \|\|
	126	(sBuf[iBufPos]>='0' && sBuf[iBufPos]<='9') \|\|
	127	sBuf[iBufPos] == '_' )
	128	{
	129	sTmp->append( sBuf[iBufPos] );
	130	}
	131	else
	132	{
	133	break;
	134	}
	135	}
	136	return Token( Token::tString, sTmp );
	137	}
	138	else
	139	{
	140	sBuf.clear();
	141	Bu::println("Invalid character discovered!");
	142	}
	143	}
	144	break;
	145	}
	146	}
	147	}
	148
	149	void Lexer::setRadix( int i )
	150	{
	151	iRadix = i;
	152	if( iRadix <= 10 )
	153	{
	154	numRangeTop = '0'+iRadix-1;
	155	ascRangeTop = 0;
	156	}
	157	else
	158	{
	159	numRangeTop = '9';
	160	ascRangeTop = 'a'+iRadix-11;
	161	}
	162	}
	163