#include "lexer.h" #include "token.h" #include "number.h" #include Lexer::Lexer( Bu::Stream &rIn ) : rIn( rIn ), iBufPos( 0 ), iScale( 0 ), iRadix( 10 ), numRangeTop('9'), ascRangeTop(0) { } Lexer::~Lexer() { } Token Lexer::nextToken() { for(;;) { if( iBufPos >= sBuf.getSize() ) { iBufPos = -1; return Token( Token::tEndOfLine ); } if( iBufPos < 0 ) { if( rIn.isEos() ) return Token( Token::tEndOfInput ); sBuf = rIn.readLine(); if( sBuf.getSize() == 0 ) { iBufPos = -1; continue; } iBufPos = 0; } //Bu::println("Testing char '%1' at %2").arg( sBuf[iBufPos] ).arg( iBufPos ); switch( sBuf[iBufPos] ) { case ' ': case '\t': iBufPos++; break; case '\\': { Bu::String *sTmp = new Bu::String(); for( iBufPos++; iBufPos < sBuf.getSize() && sBuf[iBufPos] != ' ' && sBuf[iBufPos] != '\t'; iBufPos++ ) { sTmp->append( sBuf[iBufPos] ); } return Token( Token::tCommand, sTmp ); } break; case '+': iBufPos++; return Token( Token::tPlus ); case '-': iBufPos++; return Token( Token::tMinus ); case '*': iBufPos++; return Token( Token::tMultiply ); case '/': iBufPos++; return Token( Token::tDivide ); case '(': iBufPos++; return Token( Token::tOpenParen ); case ')': iBufPos++; return Token( Token::tCloseParen ); default: { Bu::String *sTmp = new Bu::String(); if( (sBuf[iBufPos] >= '0' && sBuf[iBufPos] <= numRangeTop) || (sBuf[iBufPos] >= 'a' && sBuf[iBufPos] <= ascRangeTop) || sBuf[iBufPos] == '.' ) { for( ; iBufPos < sBuf.getSize() ; iBufPos++ ) { if( (sBuf[iBufPos] >= '0' && sBuf[iBufPos] <= numRangeTop) || (sBuf[iBufPos] >= 'a' && sBuf[iBufPos] <= ascRangeTop) || sBuf[iBufPos] == '.' ) { sTmp->append( sBuf[iBufPos] ); } else { break; } } Number *n = new Number( *sTmp, iScale, iRadix ); delete sTmp; return Token( Token::tNumber, n ); } else if( (sBuf[iBufPos]>=(ascRangeTop+1) && sBuf[iBufPos]<='z') || (sBuf[iBufPos]>='A' && sBuf[iBufPos]<='Z') || sBuf[iBufPos] == '_' ) { for( ; iBufPos < sBuf.getSize(); iBufPos++ ) { if( (sBuf[iBufPos]>='a' && sBuf[iBufPos]<='z') || (sBuf[iBufPos]>='A' && sBuf[iBufPos]<='Z') || (sBuf[iBufPos]>='0' && sBuf[iBufPos]<='9') || sBuf[iBufPos] == '_' ) { sTmp->append( sBuf[iBufPos] ); } else { break; } } return Token( Token::tString, sTmp ); } else { sBuf.clear(); Bu::println("Invalid character discovered!"); } } break; } } } void Lexer::setRadix( int i ) { iRadix = i; if( iRadix <= 10 ) { numRangeTop = '0'+iRadix-1; ascRangeTop = 0; } else { numRangeTop = '9'; ascRangeTop = 'a'+iRadix-11; } }