ademas el analizador lexico es responsable de:

*manejo de apertura y cierre de archivo lectura de caracteres y gestion de posibles errores de apertura

*eliminar comoentarios espacios en blanco tabuladores y saltos de linea

*inclucion de archivos y marcos

*contabilizar numeros de linea y columnas para emitir mensajes de error.

Una de las ventajas de separar el analisis lexico y analisis sintactico es que facilita la transportabilidad de el traductor si

se decide realizar cambios posteriores

componentes lexicos patrones y lexemas

en la face de analisis,los terminos componentes lexicos (token),patron y lexema se emplea con significado espesifico. un analisador lexico

inicialmente lee los lexemas y le asigna un significado propio.

1*componente lexico: es la secuencia logica y coerente de caracteres relativos a una categoria: identificador,palabra reservadas ,literales

(cadena-numerica),operador o cararcter de puntuacion,ademas de que un componente lexico puede tener uno o varios lexemas

*Patron :es una regla que genera la secuencia de caracteres que pueden representar a un determinado componente lexico(exprecion regular)

*lexema : es una cadena de caracter que concuerda con un patron que describe un componente lexico(valor de cadena)

Un token o también llamado componente léxico es una cadena de caracteres que tiene un significado coherente en cierto lenguaje de programación. Ejemplos de tokens podrían ser palabras clave, identificadores, números, signos, o un operador de varios caracteres