using System;

public class Program

{

    public static void Main()

    {

        // В строковую переменную, занести произвольный исходник

        string Src = "int      main(){f1();   f3(25); Print(\"Hello world!\");}; void f1(void) { if(a == 2) b = 3;};";

​

        Print(Src);

        Src = Clear_Space_Pack(Src);

        //Print("\n\n");

        //Print(Src);

        Print("\n\n\n------------------\n\n\n");

        // Длина строки с исходником

        int Str_Len = Src.Length;

        string Out_Text = "";

        // Состояние "вне строки" или "в строке"

        bool InString = false;

        // Перебор всех символов исходника

        for(int i = 0; i < Str_Len; i++)

        {

            // Вычитать один символ исходника

            string c = Src[i].ToString();

            // Если вычитан символ двойной кавычки, то переключить состояние "вне строки" или "в строке"

            if(c == "\"")

            {

                if(InString == false)

                    InString = true;

                else

                    InString = false;

            }

            // Если не в строке, и если пробел, то заменить пробел на разделитель лексем

            if(InString == false)

                if(c == " ") c = "\n";          

            if(c == "\t") c = "\n";

            if(c == "\n") c = "\n";

            if(c == "\r") c = "\n";

            if(c == "(") c = "\n(\n";

            if(c == ")") c = "\n)\n";

            if(c == "{") c = "\n{\n";

            if(c == "}") c = "\n}\n";

            if(c == ";") c = "\n;\n";

            Out_Text += c;

        } // loop end       

        Out_Text = Clear_NewLine_Pack(Out_Text);

        Print(Out_Text);

        Print("\n\n\n");

​

        string[] Lexems = Out_Text.Split('\n', StringSplitOptions.RemoveEmptyEntries);

        int How_Lexems = Lexems.Length; 

        for(int i = 0; i < How_Lexems; i++)

        {

            string Lexem = Lexems[i];

            //Print(Lexem + "|");

            if(IsPunctuator     (Lexem) == true) Print("Punctuator     " + Lexem);

            if(Is_BuildInType   (Lexem) == true) Print("BuildInType    " + Lexem);

            if(Is_Identifier    (Lexem) == true) Print("Identifier     " + Lexem);

            if(Is_Number        (Lexem) == true) Print("Number         " + Lexem);

            if(Is_ControlKeyWord(Lexem) == true) Print("ControlKeyWord " + Lexem);  

            if(Is_Operation     (Lexem) == true) Print("Operation      " + Lexem);  

            Print("\n");

        }       

    }

    // ==================================================

    static void Print(string Str)

    {

        Console.Write(Str);

    }

    // ==================================================

    static string Clear_Space_Pack(string Str)

    {

        // Длина строки с исходником

        int Str_Len = Str.Length;

        string Out_Text = "";

        char Prev_Symbol = (char)0;

        // Перебор всех символов исходника

        for(int i = 0; i < Str_Len; i++)

        {

            // Вычитать один символ исходника

            char c = Str[i];

            if(c != ' ')

                Out_Text += c;

            else

            {

                if(Prev_Symbol != ' ')

                    Out_Text += c;

            }

            Prev_Symbol = c;            

        }

        return Out_Text;

    }

    // ==================================================

    static string Clear_NewLine_Pack(string Str)

    {

        // Длина строки с исходником

        int Str_Len = Str.Length;

        string Out_Text = "";

        char Prev_Symbol = (char)0;

        // Перебор всех символов исходника

        for(int i = 0; i < Str_Len; i++)

        {

            // Вычитать один символ исходника

            char c = Str[i];

            if(c != '\n')

                Out_Text += c;

            else

            {

                if(Prev_Symbol != '\n')

                    Out_Text += c;

            }

            Prev_Symbol = c;            

        }

        return Out_Text;

    }

    // ========================================================

    static bool IsPunctuator(string Str)

    {

        if(Str == "(") return true;

        if(Str == ")") return true;

        if(Str == "{") return true;

        if(Str == "}") return true;

        if(Str == ";") return true;

        return false;

    }

    // ==========================================================

        static bool Is_BuildInType(string Str)

    {

        if(Str == "int")    return true;

        if(Str == "float")  return true;

        if(Str == "double") return true;

        if(Str == "char")   return true;

        if(Str == "void")   return true;

        return false;

    }   

    // ==========================================================

    static bool Is_ControlKeyWord(string Str)

    {

        if(Str == "if")    return true;

        if(Str == "else")  return true;

        if(Str == "while") return true;

        if(Str == "for")   return true;

        if(Str == "do")    return true;

        return false;

    }

    // ==========================================================

    static bool Is_Operation(string Str)

    {

​

        if(Str == "+")   return true;

        if(Str == "-")   return true;

        if(Str == "*")   return true;

        if(Str == "/")   return true;

        if(Str == "=")   return true;

        if(Str == "==")  return true;

        if(Str == "!=")  return true;

        if(Str == ">" )  return true;

        if(Str == "<" )  return true;

        if(Str == ">=")  return true;

        if(Str == "<=")  return true;       

        return false;

    }

    // ==========================================================

    static bool Is_Identifier(string Str)

    {

        // Длина строки с исходником

        int Str_Len = Str.Length;

        if(Str_Len == 0)

        {

            while(true); // ERROR TRAP

        }

        if(Char.IsDigit(Str[0]))

           return false;

        // Перебор всех символов исходника

        for(int i = 0; i < Str_Len; i++)

        {

            // Вычитать один символ исходника

            char c = Str[i];

            if(c != '_' && Char.IsLetter(c) == false && Char.IsDigit(c) == false)

                return false;       

        }

        if(Is_BuildInType(Str) == true)

           return false;

        if(Is_ControlKeyWord(Str) == true)

            return false;

        return true;

    }

    // ==========================================================

    static bool Is_Number(string Str)

    {

        if(Char.IsDigit(Str[0]))

            return true;

        else   

            return false;

    }   

}