“selección de variables en problemas anchos con alta correlación”
TRANSCRIPT
Universidad Nacional de Rosario
Facultad de Ciencias Exactas, Ingenierıa y Agrimensura
Departamento de Ciencias de la Computacion
Tesina para optar por el tıtulo de
Licenciado en Ciencias de la Computacion
“Seleccion de variables en problemasanchos con alta correlacion”
Autor: Mauro Di Masso
Director: Dr. Pablo Granitto
Marzo 2014
Indice
1. Introduccion 2
2. Conceptos basicos 5
2.1. Aprendizaje automatizado . . . . . . . . . . . . . . . . . . . . 5
2.2. Support Vector Machines . . . . . . . . . . . . . . . . . . . . . 8
2.3. Seleccion de variables . . . . . . . . . . . . . . . . . . . . . . . 13
2.3.1. Estabilidad . . . . . . . . . . . . . . . . . . . . . . . . 16
3. Metodos de seleccion de variables independientes 17
3.1. Recursive Feature Elimination . . . . . . . . . . . . . . . . . . 17
3.2. Fast Correlation Based Filter . . . . . . . . . . . . . . . . . . 18
3.3. SVM-RFE con filtro MRMR . . . . . . . . . . . . . . . . . . . 24
3.4. Stable Recursive Feature Elimination . . . . . . . . . . . . . . 27
3.4.1. El vector de penalizacion P . . . . . . . . . . . . . . . 28
3.4.2. El metodo SRFE . . . . . . . . . . . . . . . . . . . . . 29
4. Resultados 32
4.1. Datos artificiales . . . . . . . . . . . . . . . . . . . . . . . . . 34
4.2. Datos reales . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
4.2.1. Espectrometrıa . . . . . . . . . . . . . . . . . . . . . . 46
4.2.2. Colorimetrıa . . . . . . . . . . . . . . . . . . . . . . . . 57
5. Conclusiones y trabajos futuros 77
1
1. Introduccion
El aprendizaje automatizado o machine learning es una ciencia que na-
ce a mediados del siglo XX y que ha estado en auge desde entonces. Entre
sus objetivos se plantea la generacion automatica de modelos numericos que,
basados en datos de entrenamiento, permitan la correcta prediccion sobre
observaciones nuevas. Las principales dificultades de dicho modelado sub-
yacen en la cantidad de variables medidas en los datos presentes, ası como
tambien en su calidad en terminos de ruido, y en la cantidad de mediciones
disponibles para llevar a cabo el entrenamiento.
Los avances en las tecnologıas de medicion y almacenamiento han facili-
tado ampliamente la obtencion de cantidades masivas de datos, pero con ello
tambien han surgido inconvenientes para obtener informacion util a la hora
de analizarlos. Cuando se comienza a trabajar en espacios de mayor dimen-
sionalidad, se necesitan exponencialmente mas mediciones para obtener la
informacion necesaria a fin de crear un modelo de prediccion. Este problema
es conocido como “maldicion de la dimensionalidad” o curse of dimensiona-
lity y afecta a los principales problemas del area hoy en dıa, tales como los
microarrays de ADN y las espectrometrıas de suero sanguıneo. Asimismo,
con el correr de las decadas, el volumen de variables que pueden ser medi-
das ha crecido a tal punto que su procesamiento es incluso costoso para las
computadoras mas potentes.
Estos problemas de grandes cantidades de variables suelen venir acom-
panados de una escasa coleccion de observaciones por lo que obtienen la
denominacion de “problemas anchos”. Al desfazaje entre observaciones y va-
riables por observacion se le suma la existencia de una mayor probabilidad de
variables correlacionadas y ruidosas dentro del conjunto de datos. Esto hace
que la correcta construccion del modelo de datos por parte de los metodos
2
de aprendizaje automatizado sea costoso en terminos temporales. Ademas,
por lo general, la buena calidad de las predicciones queda en contraposicion
con la facilidad para interpretar la informacion obtenida.
La seleccion de variables o feature selection es una respuesta a los proble-
mas planteados ya que su meta es simplificar el espacio de variables quitando
de la ecuacion aquellas irrelevantes a la solucion, redundantes y/o con altos
niveles de ruido, etc. Para ello se utilizan metodos que generan un ranking
de variables caracterizandolas por su importancia o poder predictivo o de
clasificacion. Este preprocesamiento sobre los datos contribuye a incremen-
tar la eficiencia de los algoritmos de aprendizaje permitiendoles centrar sus
esfuerzos en un grupo reducido de variables.
Hoy en dıa existen multiples algoritmos de seleccion de variables, entre
los cuales el de Eliminacion Recursiva de Variables (Recursive Feature Eli-
mination) o RFE es uno de los mas utilizados. RFE permite la obtencion de
modelos muy precisos ya que su foco esta puesto en minimizar el error de cla-
sificacion en cada una de sus iteraciones. Este tipo de foco, paradojicamente,
reduce la utilidad de la solucion a ojos humanos, ya que si bien predice de
forma superior, los conjuntos finales de variables elegidas suelen diferir de un
experimento a otro debido a que este metodo no se preocupa por la llamada
estabilidad de la solucion. Como RFE minimiza el error en cada iteracion, tal
vez prefiera elegir una variable en lugar de otra cuando en realidad las mis-
mas son redundantes y tan solo quedaron ordenadas de forma diferente por
una mera cuestion de azar durante el entrenamiento. La aparicion de distin-
tas variables “mas importantes” en diferentes experimentos sobre un mismo
conjunto de datos dificultan la interpretacion de los resultados y llevan a la
problematica que se aborda en esta tesina.
3
Como objetivo de la presente se propone entonces el diseno e implemen-
tacion de un metodo de seleccion de variables, cuyo foco sea la obtencion
de conjuntos de variables mas estables que permita a su vez una mayor in-
terpretabilidad sobre la importancia y correlacion de las variables obtenidas;
aunque no alcance en algunos casos el mismo nivel de error que otros metodos
mas codiciosos como RFE.
Para un mejor entendimiento del desarrollo experimental se cubren en
el capıtulo dos los conceptos basicos relacionados con el aprendizaje auto-
matizado, la seleccion de variables y la estabilidad. En el capıtulo tres, se
presentan, explican y exploran los metodos de seleccion de variables utili-
zados durante la experimentacion. En el capıtulo cuatro, se muestran los
resultados de clasificar diferentes conjuntos de datos, artificiales y reales, con
cada metodo; para luego, en el capıtulo cinco, determinar las ventajas y las
desventajas de cada uno, ası como otras conclusiones generales. Por ultimo,
se plantean trabajos futuros para indagar en las potencialidades del metodo
generado.
4
2. Conceptos basicos
2.1. Aprendizaje automatizado
El aprendizaje automatizado es una rama de la inteligencia artificial cuyo
objetivo es el desarrollo de algoritmos que permitan a sistemas informaticos
aprender conceptos o criterios de decision que no son facilmente programables
de otra manera [1]. Esta dificultad se debe principalmente a una carencia en el
desarrollo teorico del area de estudio en cuestion que no permite determinar
las cualidades subyacentes del problema.
Formalmente, un algoritmo de aprendizaje automatizado genera una fun-
cion de la forma
h : X → Y
tambien llamada hipotesis, que transforma elementos del dominio de datos
X al conjunto de datos Y de posibles valores objetivo definidos en base al
problema en cuestion. El algoritmo de aprendizaje aprende de un subconjunto
de datos D, llamado conjunto de entrenamiento, perteneciente al espacio X
o X × Y .
D = {x1, x2, . . . , xm} ∈ X
D = {(x1, y1), (x2, y2), . . . , (xm, ym)} ∈ X × Y
En el primer caso, se dice que el problema es de aprendizaje no super-
visado, donde h solo puede basarse en los elementos de entrada xi y debe
descifrar las similitudes entre los datos presentes para dar luego una posi-
ble clasificacion. En el segundo caso, se habla de problemas de aprendizaje
supervisado. Aquı, h utiliza pares (xi, yi) donde yi es el valor deseado para
la entrada xi. Si los valores de yi son continuos, el problema se llama de
regresion y el algoritmo busca ajustar una curva que satisfaga los valores de
5
entrenamiento; si los valores de yi son discretos entonces se esta en presencia
de un problema de clasificacion, en el que h subdivide el espacio de soluciones
para determinar como asignar los posibles valores o etiquetas. Estos ultimos
problemas son los que trabaja esta tesina.
Dado un problema de clasificacion concreto, existen infinitas soluciones
consistentes con las observaciones dadas. Como no es posible conocer todos
los valores a clasificar (no tendrıa sentido), todos los algoritmos de apren-
dizaje trabajan sobre el supuesto de que cualquier hipotesis h que pueda
aproximar lo suficientemente bien la funcion ideal de clasificacion c para un
conjunto de datos lo suficientemente grande D con puntos clasificados xi,
tambien la aproximara lo suficientemente bien para los puntos no clasifica-
dos xo. No es difıcil concluir que si existen infinitas hipotesis, todo punto
no clasificado tiene la misma probabilidad de pertenecer a cualquiera de las
clases disponibles del problema. Hace falta que el algoritmo ignore algunas
de estas hipotesis para hacer posible el aprendizaje, lo que implica que el
algoritmo debe suponer algo arbitrario sobre la solucion. Estas suposiciones
se conocen como sesgo inductivo o inductive bias.
Para determinar la utilidad de una hipotesis se debe realizar algun tipo
de validacion sobre ella. Inicialmente se espera que clasifique bien los datos
de entrenamiento, pero esto no garantiza precision alguna sobre los datos no
observados. Existen diversas tecnicas de validacion de modelos de prediccion;
entre ellas, la mas comun e intuitiva es particionar los datos de entrenamiento
(muestreo o subsample) en dos conjuntos, uno para el entrenamiento y otro
para la validacion. De esta manera, se sacrifica parcialmente el aporte al
aprendizaje para ganar certeza en la prediccion. Tanto el aprendizaje como
la validacion son mejores si este procedimiento se repite varias veces con
subconjuntos de validacion disjuntos. La tecnica de validacion cruzada de k
6
iteraciones o k-fold cross validation subdivide el conjunto de entrenamiento en
k subconjuntos, de los cuales utiliza k-1 para entrenar y uno para validar; ası k
veces hasta que se hubo utilizado cada uno para validar, y luego promedia
los errores. De esta manera, todos los datos colaboran en el aprendizaje y la
validacion. El error de clasificacion de una hipotesis h se define formalmente
como
E(h) =Ne
Nt
donde Nt es la cardinalidad del conjunto de entrenamiento y donde
Ne =Nt∑i=1
neq(h(xi), c(xi)) xi ∈ D
siendo D el conjunto de datos sin particionar, c la funcion clasificadora ideal
y
neq(x, y) =
0 si x = y
1 si x 6= y
Por ultimo, existe una serie de consideraciones a tener en cuenta a la hora
de entrenar un algoritmo de aprendizaje automatizado. Para comenzar, cabe
recalcar que no existe un algoritmo optimo para todo tipo de problema, por
lo cual es necesario estudiar y conocer las singularidades del dominio con el
que se trabaja. Cuando se emplean pocos datos de entrenamiento, o cuando
la dimensionalidad del problema es tal que la cantidad de variables supera las
observaciones, se corre el riesgo de que el algoritmo aprenda de los datos a tal
punto que los errores de medicion y demas ruidos se asimilen al modelo. Esto
produce modelos que se ajustan muy bien a los datos de entrenamiento pero
que tienen errores muy altos al momento de generalizar. Este fenomeno se
denomina sobreajuste u overfitting y muestra que es preferible una hipotesis
mas simple que no se adapte tan bien a los datos de entrenamiento pero que
generalice mejor para datos no observados todavıa.7
Complejidad / Ajuste
% E
rror
Validación
Entrenamiento
Figura 1: la peor prediccion al aumentar la complejidad del modelo muestrael fenomeno de sobreajuste.
2.2. Support Vector Machines
Las maquinas de vectores soporte, o SVM por sus siglas en ingles, son
el metodo de aprendizaje automatizado mas importante de los ultimos anos.
Fueron desarrolladas en 1992 y posteriormente mejoradas en numerosas oca-
siones [2]. En su nivel mas basico, son excelentes para problemas de clasifi-
cacion binarios en un espacio de datos linealmente separable, pero pueden
adaptarse para problemas no lineales, de multiclase y de regresion [3].
El principio que gobierna las SVM es la construccion de un hiperplano
que maximice la distancia entre el y los puntos de entrenamiento de cada
clase. Este se denomina “hiperplano optimo” y los vectores posicion corres-
pondientes a los puntos de entrenamiento mas cercanos son denominados
“vectores soporte”. Cuanto mayor es la distancia o “margen” entre los pun-
tos de entrenamiento y el hiperplano, mayor es el poder de generalizacion de
la maquina. Para problemas de separacion lineal, el modulo de cada compo-
nente del vector normal que define el hiperplano esta en directa relacion con
la relevancia de la variable en el momento de la clasificacion. Esto resulta
8
de gran importancia en el uso de algoritmos de seleccion de variables que se
explican en la proxima seccion.
Formalmente, el hiperplano optimo y la funcion objetivo de la SVM se
define como
maxw,b
mın{||x− xi|| : wTx+ b = 0, i = 1, . . . ,m}
Las variables w y b pueden ser escaladas de tal forma que el punto mas
cercano al hiperplano wTx + b = 0 cumpla con wTx + b = ±1. De esta
manera, para cada xi se tiene que yi[wTx + b] ≥ 1, por lo que el ancho del
margen es 2/||w||. Ası, el problema de encontrar el hiperplano optimo puede
ser replanteado como el problema de optimizacion de la funcion objetivo τ(w)
tal que
mınw,b
τ(w) =1
2||w||2
con las restricciones
yi[wTx+ b] ≥ 1 i = 1, . . . ,m
Para resolverlo se construye el lagrangiano
L(w, b, α) =1
2||w||2 −
m∑i=1
αi(yi[xTi w + b]− 1)
donde αi son multiplicadores de Lagrange, y su minimizacion lleva a
m∑i=1
αiyi = 0 w =m∑i=1
αiyixi
9
De acuerdo con las condiciones de Karush-Kuhn-Tucker [11] se concluye
que
αi(yi[xTi w + b]− 1) = 0 i = 1, . . . ,m
Por lo tanto, los valores no nulos de αi se corresponden con yi[xTi w+b] = 1,
lo que significa que los vectores que estan en el margen cumplen un rol crucial
en la solucion del problema de optimizacion. Estos vectores son los vectores
soporte del problema.
El problema puede trabajarse todavıa mas, llevandolo a su formal dual,
que es de la forma
maxα
W (α) =m∑i=1
αi −1
2
m∑i,j=1
αiαjyiyjxTi xj
con restricciones
αi ≥ 0 i = 1, . . . ,m ym∑i=1
αiyi = 0
Usando la solucion a este problema, la funcion objetivo se puede escribir
como
f(x) = sgn(m∑i=1
αiyixTxi + b)
Para problemas no linealmente separables en la dimension original de los
datos, el truco (literalmente, se lo llama kernel trick) es la utilizacion de una
funcion kernel que construya una biyeccion de los puntos de entrenamiento
hacia una dimension superior donde sı sean separables. Esto se hace reempla-
zando el producto interno xTx′ por la funcion kernel k(x, x′) = Φ(x)TΦ(x′),
por lo que la funcion objetivo queda
f(x) = sgn(m∑i=1
αiyik(x, xi) + b)
10
Figura 2: el panel superior muestra un problema donde los datos no son lineal-mente separables. En el panel inferior se utiliza un kernel trick para agregaruna nueva dimension al problema que efectivamente permite la separacionlineal. Los puntos resaltados con halos definen los vectores soporte.
Ocurre a veces que las clases estan muy superpuestas y no es posible
construir un hiperplano que las separe aun usando funciones kernel, ya sea
por errores de medicion, datos equıvocos o por la naturaleza misma de los
datos de entrenamiento. En esta situacion se relaja el problema de optimi-
zacion utilizando variables slack y entra en juego un parametro de las SVM
llamado C, que determina el balance entre la precision de entrenamiento de
la maquina y el ancho del margen
mınw,b,ξ
1
2||w||2 + C
m∑i=1
ξi
con restricciones
yi[wTxi + b] ≥ 1− ξi i = 1, . . . ,m
11
Y el problema dual queda definido como
maxα
W (α) =m∑i=1
αi −1
2
m∑i,j=1
αiαjyiyjxTi xj
con restricciones
0 ≤ αi ≤ C i = 1, . . . ,m ym∑i=1
αiyi = 0
Esto se traduce en que se le permite a la maquina desplazar aquellos pun-
tos superpuestos hacia el subespacio que les pertenecerıa segun el clasificador,
desentrelazar los datos y poder trazar la division. El modulo de C determina
la rigidez de dichos desplazamientos y lo que se llama margen blando o soft
margin.
Figura 3: una SVM clasificando con clases parcialmente superpuestas.
Para problemas multiclase existen variadas tecnicas, pero la idea es siem-
pre entrenar varios clasificadores binarios y quedarse con la clasificacion mas
correcta o mas votada. Las mas comunes son “uno contra todos” o one vs all
12
y “uno contra uno” o one vs one. En one vs all, se entrenan c clasificadores,
uno para cada clase, considerando el resto de las clases como una sola; mien-
tras que en one vs one, se entrena un clasificador para cada par de clases,
para un total de c(c− 1)/2 clasificadores. La clase se termina definiendo por
votacion de los clasificadores [6].
2.3. Seleccion de variables
La seleccion de variables o feature selection es el proceso por el cual se
filtran las variables mas influyentes de un problema de aprendizaje automa-
tizado para poder construir mejores modelos [4]. Es una tecnica de preproce-
sado de los datos que aporta grandes beneficios. Los algoritmos de seleccion
de variables permiten reducir el numero de dimensiones del espacio del pro-
blema mejorando la relacion entre variables y observaciones, permitiendo un
modelado de mayor calidad predictiva e interpretabilidad humana, ya que
elimina variables que no aportan nada nuevo a las ya seleccionadas (varia-
bles redundantes) o que no aportan informacion en general al contexto del
problema (variables irrelevantes).
Existen dos tipos de algoritmos de seleccion de variables: los de tipo filtro
o filter y los de tipo envoltorio o wrapper, que si bien llevan a cabo diferentes
estrategias, ofrecen como resultado un ranking de variables segun su capaci-
dad predictiva [7]. Los algoritmos de tipo filter son sencillos y muy eficientes
computacionalmente. Se basan en mediciones estadısticas aplicadas directa-
mente sobre los datos de entrenamiento. Como contrapartida, no tienen la
posibilidad de detectar las situaciones en donde multiples variables inter-
actuan entre sı para describir el concepto objetivo. Los metodos wrapper, en
cambio, trabajan sobre un algoritmo de aprendizaje automatizado, y realizan
varias iteraciones para encontrar el subconjunto de variables que aumentan el
13
rendimiento de ese algoritmo en particular. Suelen tener un desempeno mejor
que los filtros en cuanto a precision, pero son computacionalmente costosos
ya que construyen una gran cantidad de modelos de datos en cada iteracion.
Los algoritmos de seleccion de variables parten de la base de que en todo
problema de seleccion de variables, en especial en los de tipo ancho, se pueden
encontrar tres tipos de variables:
fuertemente relevantes
debilmente relevantes
irrelevantes
Sea F el conjunto de todas las variables, Fi una variable en particular, C
una clase y Si = F − {Fi}, las clasificaciones anteriores se definen como:
Relevancia fuerte: una variable Fi es fuertemente relevante si y solo si
P(C | Fi, Si) 6= P(C | Si)
Relevancia debil: una variable Fi es debilmente relevante si y solo si
P(C | Fi, Si) = P(C | Si) ∧ ∃S ′i ⊂ Si : P(C | Fi, S ′i) 6= P(C | S ′i)
Irrelevancia: una variable Fi es irrelevante si y solo si
∀S ′i ⊆ Si : P(C | Fi, S ′i) = P(C | S ′i)
14
Por ejemplo, sea {F1, . . . , F5} ∈ Bool, con F2 = F3, F4 = F5 y el concepto
a aprender c(F1, F2), se puede determinar que F1 es fuertemente relevante
para la solucion, F2 y F3 son debilmente relevantes (la solucion no cambia
mientras alguna este presente) y F4 y F5 son completamente irrelevantes.
Para obtener la solucion optima a un problema de este tipo, el conjunto de
variables seleccionadas debe incluir a todas aquellas fuertemente relevantes,
ninguna de las irrelevantes y un subconjunto de variables debilmente relevan-
tes. Sin embargo, no se dispone de un metodo para decidir que subconjunto
debe utilizarse, por lo que debe definirse algun tipo de redundancia entre las
variables relevantes. Normalmente, la redundancia entre variables se mide en
torno a la correlacion entre ellas. Cuando dos variables estan completamente
relacionadas, como F2 y F3, la eliminacion de una no afecta la precision y
mejora la solucion. Sin embargo, en la practica no siempre se dan casos tan
sencillos, y puede que una variable este parcialmente correlacionada con otra,
o con un conjunto de otras variables.
Cobertura de Markov: dada una variable Fi, y sea Mi ⊂ F, Fi /∈ Mi, Mi
es una cobertura de Markov de Fi si y solo si
P(F −Mi − Fi, C | Fi,Mi) = P(F −Mi − Fi, C |Mi)
La cobertura de Markov no solo pide que Mi cubra toda la informacion
que proporciona Fi sobre C, sino que ademas cubra la informacion sobre to-
das las otras variables contenidas en F . Si se procede desde el conjunto total
de variables, si se encuentra una variable Fi tal que tenga una cobertura de
Markov Mi en las variables restantes, es demostrable que la eliminacion de Fi
es segura y siempre se encontrara una cobertura en el subconjunto restante
sin necesidad de volver hacia atras a revisar eliminaciones previas. Tambien
15
es demostrable que una variable fuertemente relevante no posee coberturas
de Markov. Las variables irrelevantes quedan excluidas de la definicion de
redundancia. Es facil ver que una variable redundante que es eliminada se-
guira siendo redundante sin importar la sucesion de eliminaciones.
Variable redundante: sea F ′ el conjunto actual de variables, una variable
se considera redundante y debe ser eliminada de F ′ si y solo si es debilmente
relevante y tiene una cobertura de Markov dentro de F ′.
Las definiciones de relevancia dividen entonces a las variables en fuerte-
mente relevantes, debilmente relevantes e irrelevantes. A su vez, la definicion
de redundancia divide las variables debilmente relevantes en redundantes y
no redundantes. El objetivo es entonces encontrar el subconjunto de variables
tal que contenga variables fuertemente relevantes o no redundantes.
2.3.1. Estabilidad
Un problema particular de los algoritmos de seleccion de variables es el
problema de la estabilidad. Cuando un problema tiene un numero elevado de
variables y estas variables presentan altos niveles de correlacion, puede que
la aleatoriedad del muestreo necesario para la validacion del modelo lleve
a resultados igual de buenos pero con variables totalmente diferentes. La
estabilidad de un algoritmo marca la robustez del mismo frente a cambios
en los datos de entrenamientos, lo que se condice con la confiabilidad de la
informacion extraıda por su parte.
16
3. Metodos de seleccion de variables independientes
El problema de la correlacion entre variables ya ha sido tratado por otros
autores y multiples algoritmos han surgido de dichos analisis. De ellos, dos
metodos resultan particularmente interesantes de analizar por sus aportes
conceptuales al problema. Estos son:
Fast Correlation Based Filter de Lei Yu y Huan Liu [12].
SVM-RFE with MRMR filter de Piyushkumar A. Mundra y Jagath C.
Rajapakse [8].
Ademas, para el desarrollo de esta tesina se utilizo como referencia y
control el metodo RFE con SVM como clasificador [5].
3.1. Recursive Feature Elimination
El algoritmo de Eliminacion Recursiva de Variables, o RFE por sus siglas
en ingles, es uno de los metodos de seleccion de variables mas utilizados,
tanto por su desempeno a nivel temporal como por la calidad de prediccion
de sus modelos.
RFE es un metodo del tipo wrapper que consiste en utilizar algun clasifi-
cador para generar un modelo de datos y con este un ranking de variables.
Luego se descarta un cierto numero de las variables con menor puntuacion
en base a parametros de entrada del algoritmo y se repite la iteracion con
el nuevo subconjunto de variables hasta llegar a un mınimo. Por lo general,
RFE descarta muchas variables en las primeras iteraciones y se vuelve mas
cuidadoso cuando la cantidad de variables es menor.
RFE es un wrapper particularmente efectivo ya que en lugar de generar
un modelo de datos para todas las combinaciones de variables posibles en
17
una iteracion dada, como lo hacen los algoritmos de backward elimination y
forward selection [7], su foco esta puesto en estimar el cambio en la precision
debido a la eliminacion de una o mas de dichas variables. Esto no resulta
tan preciso como generar los modelos, pero es lo que permite al metodo ser
temporalmente factible para problemas con un gran numero de variables a
considerar. Al usar SVM lineales, esta demostrado [5] que la reduccion del
error esta dada por el desplazamiento en la direccion del vector perpendicular
al hiperplano de separacion. Por eso, el valor de una variable i en un ranking
R queda definido como
ri = wi,
donde wi es la componente correspondiente a i en el vector W perpendicular
al hiperplano de separacion.
RFE es un algoritmo que agresivamente minimiza el error en cada ite-
racion para el clasificador que use; por lo cual, si bien las tasas de error
seran bajas, puede sufrir el problema de la estabilidad descrito en la seccion
anterior para problemas de variables altamente correlacionadas.
3.2. Fast Correlation Based Filter
El Filtro Rapido Basado en Correlaciones [12], de ahora en mas FCBF, es
un metodo del tipo filter desarrollado para la seleccion eficiente de variables
a traves del analisis de la relevancia y redundancia de las mismas, a dife-
rencia de los otros metodos de seleccion que suelen centrarse unicamente en
encontrar las variables mas relevantes para el problema. Primero, el analisis
de relevancia determina el subconjunto de variables relevantes eliminando
aquellas que no lo son. Segundo, el analisis de redundancia elimina las va-
riables redundantes de las relevantes dejando el subconjunto final. Este tipo
18
de busqueda tiene como ventaja sobre otros algoritmos que al separar ambos
analisis evita la busqueda exhaustiva del subconjunto optimo y computa una
buena aproximacion de forma eficiente.
La correlacion se utiliza ampliamente en el contexto del aprendizaje au-
tomatizado como medicion de relevancia. Comunmente, las mediciones de
correlacion se clasifican en lineales y no lineales. Al trabajar sobre medicio-
nes del mundo real, no es seguro suponer correlaciones del primer tipo, por
lo que suele trabajarse con el concepto de la teorıa de la informacion llamado
“entropıa”, que es una medida de incertidumbre de una variable aleatoria.
La entropıa H de una variable discreta X se define como
H(X) = −∑i
P(xi) log2 P(xi),
y la entropıa de X luego de observar valores de otra variable aleatoria Y es
H(X | Y ) = −∑j
P(yj)∑i
P(xi | yj) log2 P(xi | yj),
donde P(xi) es la probabilidad a priori de todos los valores de X y P(xi | yj)
es la probabilidad a posteriori de todos los valores de X dadas las ocurrencias
de los valores de Y .
La reduccion en la entropıa de X dada la ocurrencia de Y se denomina
ganancia de informacion o information gain y se define como
IG(X | Y ) = H(X)−H(X | Y )
19
De acuerdo con esta medida se puede ver que una variable aleatoria Y
esta mas correlacionada con una variable X que con otra variable Z si
IG(X | Y ) > IG(Z | Y )
Se puede probar que IG es una medicion simetrica y asegura que el orden
de dos variables no altera el resultado de la medicion [10]. Como IG tiende
a favorecer variables con mas valores posibles se la normaliza con respecto a
la entropıa, de modo que se obtiene lo que se llama incertidumbre simetrica
o symmetrical uncertainty
SU(X | Y ) = 2IG(X | Y )
H(X)−H(Y )
SU compensa el sesgo de la ganancia de informacion para con las varia-
bles con mas valores y restringe el resultado al intervalo [0, 1] en problemas
de clasificacion binaria. Un valor de 1 significa la completa prediccion de los
valores de una variable dada la otra, y un valor de 0 significa total inde-
pendencia. Las mediciones basadas en entropıa utilizan mediciones discretas,
por lo que los conjuntos de datos continuos deberan discretizarse de alguna
manera para poder trabajar con esta medida.
Al usar SU como medida de correlacion ya se puede comenzar a definir
el algoritmo de seleccion de variables. Primero se definen dos tipos de corre-
lacion para el problema.
C-correlacion: la correlacion entre una variable Fi y una clase C, denotada
por SUi,c.
F-correlacion: la correlacion entre un par de variables Fi y Fj con i 6= j,
denotada por SUi,j.
20
Para mantener la eficiencia en un primer plano se calcula la C-correlacion
para cada variable y se utiliza un metodo heurıstico para el calculo de las
F-correlaciones. Se dice que Fi es relevante si esta altamente correlacionada
con la clase C (SUi,c > δ definido por el usuario). Para el computo de la re-
dundancia surge la dificultad de no calcular todas las combinaciones posibles
por su alto costo computacional en problemas de alta dimensionalidad, razon
por la que se busca aproximar el resultado. Partiendo de la definicion de co-
berturas de Markov, en lugar de buscar una medida exacta de redundancia se
busca ahora una aproximacion. Se parte de la suposicion de que una variable
con mayor C-correlacion que otra tiene mas informacion sobre la clase, y se
determina la existencia de una cobertura aproximada de Markov entre dos
variables de la siguiente manera:
Cobertura aproximada de Markov: para dos variables relevantes Fi y Fj
con i 6= j, Fj forma una cobertura aproximada de Markov para Fi si y solo
si SUj,c > SUi,c ∧ SUi,j > SUi,c
Al contrario que las coberturas de Markov, la cobertura aproximada no
asegura que la eliminacion de una variable siga siendo valida en futuras ite-
raciones. Sin embargo, esto puede solventarse si solo se eliminan variables
para las cuales se encuentre una cobertura aproximada de Markov formada
por una variable predominante.
Variable predominante: una variable relevante es predominante si y solo
si no tiene ninguna cobertura aproximada de Markov en el conjunto actual
de variables.
21
Una variable predominante no sera eliminada en ningun caso. Si una
variable Fi es eliminada debido a la presencia de una cobertura aproximada
dada por Fj, siempre se encontrara una cobertura aproximada en las futuras
iteraciones: la misma Fj.
En resumen, el algoritmo filtra las variables relevantes, las ordena, y por
cada una procede a eliminar aquellas variables cubiertas. De esta manera,
se aproxima el subconjunto optimo de variables a partir del conjunto de
variables predominantes.
FCBF es un filtro univariado, es decir, no toma en cuenta los casos donde
se necesita mas de una variable para determinar un concepto, como en el
caso de xor. Como tal, su precision de modelado esta seriamente restringi-
da. Ademas, el algoritmo no considera variables de relevancia similar como
posibles variables equivalentes y descarta una de ellas arbitrariamente sin
establecer cuidados sobre la estabilidad de la solucion. Por ultimo, la pena-
lizacion de variables no es proporcional a su nivel de redundancia, sino que
directamente se elimina y ya no se la considera, privando al usuario de infor-
macion sobre la variable en cuestion.
Algoritmo FCBF
Entrada:
S = {F1, . . . , Fn, C}: conjunto de variables y clasificacion.
δ: umbral de corte para variables relevantes.
Salida:
R: ranking optimo de variables.
22
Pseudocodigo
for Fi ∈ S do
Calcular SUi,c para Fi.
if SUi,c > δ then
S ′ = S ′ ∪ {Fi}.
end if
end for
Ordenar S ′ por SUi,c decreciente.
Fj = pop(S ′)
repeat
Fi = next(S ′, Fj)
repeat
if SUi,j > SUi,c then
S ′ = S ′ − {Fi}
end if
Fi = next(S ′, Fi)
until Fi == NULL
Fj = next(S ′, Fj)
until Fj == NULL
R = S ′
return R
23
3.3. SVM-RFE con filtro MRMR
El metodo de Mınima Redundancia y Maxima Relevancia o MRMR [8]
apunta, como su nombre lo indica, a seleccionar variables maximamente re-
levantes y mınimamente redundantes para la clasificacion, mediante la com-
binacion del filtro MRMR con el algoritmo SVM-RFE.
El filtro MRMR fue introducido por Peng et al. [9]. Sea S = {F1, F2, . . . , Fn}
un conjunto indexado de variables. Sean C las clases objetivos de las mues-
tras. La informacion mutua entre la variable Fi y la clase C determinara la
relevancia de Fi para la clasificacion. Entonces, la relevancia Ri esta dada
por:
Ri = I(C,Fi).
La redundancia de la variable Fi con las otras variables del subconjunto
S esta dada por:
QS,i =1
|S|2∑
Fj∈S,Fj 6=Fi
I(Fi, Fj)
Con el filtro MRMR, el ordenamiento de las variables se realiza optimi-
zando la proporcion entre el valor de relevancia de una variable contra el
valor de redundancia con las otras variables del conjunto. La variable maxi-
mamente relevante y mınimamente redundante F ∗i en el conjunto S esta dada
por
F ∗i = argmaxFi∈SRi
QS,i
El filtro MRMR usado por sı solo puede no ser capaz de obtener una pre-
cision optima ya que actua independientemente del clasificador y no esta in-
volucrado en la verdadera seleccion de variables. Por otro lado, SVM-RFE
no toma en cuenta la redundancia entre variables. El objetivo es mejorar la
seleccion de variables de SVM-RFE combinandolo con el filtro MRMR para
24
que minimice la redundancia entre variables relevantes. Para eso, lo que se
plantea es ordenar las variables por el resultado de la combinacion convexa
entre la relevancia marcada por los pesos de la SVM y los valores del filtro.
Para la i-esima variable se define
ri = β|wi|+ (1− β)Ri
QS,i
,
donde β ∈ [0, 1] define la prevalencia del ranking SVM y el ranking MRMR.
Un problema que surge del estudio de este algoritmo es que la seleccion es
inestable. Cuando se encuentra un par de variables redundantes se penaliza
a las dos por igual en lugar de determinar un criterio por el cual una de ellas
es mejor que la otra. Ademas, en esta situacion una variable poco relevante
y poco redundante puede llegar a ocupar un mejor lugar en el ranking final
desplazando variables que sı son relevantes al problema. A su vez, el algoritmo
no hace ningun esfuerzo por controlar la escala de los rankings a la hora de
combinarlos.
25
Algoritmo SVM-RFE con filtro MRMR
Entrada:
S = {F1, . . . , Fn, C}: conjunto de variables y clasificacion.
β: factor de importancia entre RFE y MRMR.
Salida:
R: ranking optimo de variables.
Pseudocodigo
repeat
W = rfe(S)
for Fi ∈ S do
Calcular RS,i y QS,i
Calcular rS,i
end for
F ∗i = argmin(ri)
R = R ∪ {F ∗i }
S = S\{F ∗i }
until S = ∅
return R
26
3.4. Stable Recursive Feature Elimination
El algoritmo SRFE es el metodo de seleccion de variables desarrollado
como eje de esta tesina. Es un algoritmo de la familia wrapper que intenta
minimizar, combinando los puntos fuertes de los algoritmos ya descriptos, el
problema de la estabilidad que se genera debido a altos niveles de correla-
cion entre las variables. Combina un metodo para seleccionar la variable a
penalizar de una manera estable siguiendo el ejemplo de FCBF con la base
de seleccion precisa y eficiente de SVM-RFE.
En esencia, el algoritmo cuenta en primera instancia con un filtro ins-
pirado en FCBF que se encarga de determinar los niveles de correlacion y
discriminar las variables intercambiables en el momento del aprendizaje. De
esta manera, se genera un vector de penalizaciones siguiendo un criterio que
considera la estabilidad de la solucion, la cual luego se combina con el ranking
obtenido a traves de RFE para determinar que variables eliminar. Luego, se
itera hasta que todas las variables esten ordenadas.
La relevancia de una variable Fi en el problema queda determinada en-
tonces por la ecuacion
ri = βIi + (1− β)Pi,
donde Ii es la importancia de la variable en cuanto a su aporte a la solucion y
Pi es la penalizacion a la misma por redundancia. Como el metodo utiliza el
algoritmo SVM-RFE como base, Ii puede remplazarse por wi, que representa
la componente asociada a la variable Fi en el vector que define el hiperplano
clasificador, quedando finalmente
ri = β|wi|+ (1− β)Pi
27
3.4.1. El vector de penalizacion P
La construccion del vector de penalizacion P se da en el bucle inicial del
algoritmo, que consta del calculo de la medida de SU para todos los pares de
variables y de las variables con las clases. Si bien tiene complejidad O(n2), el
calculo es sencillo y se realiza una sola vez, con lo cual se amortiza frente a
las n iteraciones posteriores del algoritmo de aprendizaje automatizado. Esto
determina el vector de C-correlacion SUi,c y la matriz de F-correlacion SUi,j.
Con estos valores se procede a la construccion del vector P de penalizacion
de variables mediante la busqueda del par de variables tal que
(Fi, Fj) = argmax(SUi,j)
SRFE, a diferencia de MRMR, penaliza a una sola de las variables del
par. Si los valores de correlacion SUi,c y SUj,c difieren en menos de un umbral
de tolerancia Tp entonces se considera que Fi y Fj aportan el mismo valor
predictivo al modelo y, para mantener un criterio estable, se penaliza con un
valor de −SUi,j a aquella variable con mayor subındice y se la remueve del
conjunto. Si la diferencia sobrepasa el umbral, se considera que las variables
son redundantes pero hay una clara relevancia de una por sobre la otra y
aquella con menor poder predictivo es penalizada con ese valor y removida.
El procedimiento se itera hasta completar el vector P . La severidad de la pe-
nalizacion queda dada por el nivel de redundancia mismo entre las variables.
Durante la experimentacion, el umbral Tp fue establecido en 0.05 o 5 % de
diferencia en la correlacion para salvar perturbaciones dadas por el ruido y
el muestreo aleatorio.
La iteracion de este computo devuelve un vector P donde el ındice corres-
pondiente a una sola de las variables tiene valor 0 (la de mayor relevancia) y
28
las demas tienen un valor p ∈ [−1, 0) dependiendo del nivel de redundancia
medido. Sin embargo, es errado pensar que todas las variables deban ser pe-
nalizadas en base a una sola, ya que estarıamos implicando una redundancia
entre todas las variables. El problema es que, en la practica, SUi,j es siempre
distinto de 0, aun para variables independientes. Para solventar esto y mejo-
rar el filtro se planteo la inclusion de un umbral de correlacion Tc, inspirado
en los algoritmos de clustering jerarquico. El valor de Tc determina el valor
de correlacion en el cual dos variables ya no se consideran redundantes. De
esta manera, Tc actua como mecanismo de corte del bucle (o del arbol, si
se sigue con la idea de clustering) y determina un factor de agrupamiento
de las variables: Tc = 0 indica que todas las variables deben considerarse
redundantes entre sı (un solo cluster), mientras que Tc = 1 indica la conside-
racion de independencia total de las variables (cada variable es un cluster).
Un valor adecuado de Tc generara varios conjuntos de variables redundantes
en distinta medida con una de ellas especialmente relevante y sin penalizar.
3.4.2. El metodo SRFE
Una vez obtenido el vector de penalizaciones se procede al entrenamiento
del algoritmo de aprendizaje automatizado. En la implementacion de SRFE
se decidio utilizar SVM-RFE por su eficiencia ya descrita. Al obtenerse el
vector de pesos W se lo escala junto con el vector P en base a la cantidad
restante de variables y se los combina convexamente en base a un parame-
tro β. Las peores variables son removidas de la lista y se repite el proceso
(incluyendo el escalado) hasta que se finaliza el ranking.
Como ventaja potencial sobre los metodos ya mencionados, SRFE es me-
nos avaro que RFE al ofrecer un control adicional, opcional y escalable sobre
la eliminacion de variables, brindando mas estabilidad y coherencia en las
29
selecciones. Ademas, obtiene mejores resultados que FCBF en cuanto a error
en la clasificacion debido a su naturaleza wrapper, y supera a SVM-RFE con
filtro MRMR, ya que considera una mejor escala al momento de combinar
las penalizaciones y deja de manera estable una variable de cada grupo sin
penalizar.
Algoritmo SRFE
Entrada:
S = {F1, . . . , Fn, C}: conjunto de variables y clasificacion.
β: factor de balance entre importancia y redundancia.
Tp: factor de tolerancia para determinar la equivalencia de dos variables.
Tc: factor de corte en el calculo de redundancia.
Salida:
R: ranking optimo de variables.
Pseudocodigo
for Fi ∈ S do
Calcular SUi,c
end for
for Fi, Fj ∈ S do
Calcular SUi,j
end for
S ′ = S
repeat
(Fi, Fj) = argmax(SUi,j)
if SUi,c > SUj,c(1 + TP ) then
30
P [j] = −SUi,jremove(Fj)
else if SUj,c > SUi,c(1 + TP ) then
P [i] = −SUi,jremove(Fi)
else
w = min(i, j)
P [w] = −SUi,jremove(Fw)
end if
until S ′ = ∅ ∨ SUi,j < TC
repeat
W = rfe(S)
Escalar W y P [S]
F ∗i = argmin(βW + (1− β)P [S])
R = R ∪ {F ∗i }
S = S\{F ∗i }
until S = ∅
return R
31
4. Resultados
La experimentacion se realizo sobre distintos conjuntos de datos o data-
sets de diversas caracterısticas. Sobre todos ellos se corrieron los algoritmos
descriptos en el capıtulo tres para la obtencion de los rankings finales. A
continuacion, se utilizo el algoritmo SVM con los rankings como argumento
para medir la tasa de error en base a la cantidad de variables seleccionadas.
Asimismo, se evaluo la estabilidad de la seleccion. No se tuvo en considera-
cion el factor temporal o de memoria para determinar la efectividad de los
metodos.
Todos los metodos utilizaron la misma entrada aleatoria y realizaron las
mimas validaciones para garantizar la equidad en la experimentacion. La
obtencion de los cien conjuntos de datos de entrenamiento y de prueba se
realizo con el metodo de subsamples del 75 % para entrenamiento y los mo-
delos generados se validaron internamente con las SVM utilizando la tecnica
de 4-fold cross validation. Las SVM utilizadas fueron configuradas con un
kernel lineal y el parametro de costos C se eligio por validacion interna entre
(0.01, 0.1, 1, 10, 100).
En cada una de las secciones siguientes se confeccionaron cuatro graficas.
La primera de ellas muestra, utilizando un mapa de calor o heatmap, el
nivel de correlacion entre las variables. Cuanto mayor es la correlacion, el
color tiende del rojo oscuro al blanco. Esta grafica sirve, en conjuncion con
las graficas de estabilidad, para determinar si la seleccion fue redundante o
no. Es comun encontar soluciones perfectamente estables pero que tras un
analisis de redundancia revelan su baja calidad. No solo se busca hallar un
conjunto de variables estable a lo largo de los experimentos, sino que este
este, ademas, formado por variables independientes entre sı de manera que
la informacion a extraer sea mas abundante.
32
En la segunda, se pueden observar cuatro curvas en las que se comparan
los errores de clasificacion del modelo generado con un numero dado de va-
riables elegidas por los distintos metodos. Esta grafica sirve para mostrar que
el metodo SRFE obtiene modelos de prediccion al menos tan buenos como
el resto de los metodos ya publicados.
La tercera grafica muestra, para cada metodo en forma independiente, la
estabilidad de la seleccion para un numero definido de variables. Para esto,
se grafica la probabilidad de una variable de ser seleccionada entre las x
primeras sobre todos los experimentos realizados. En esta grafica, se busca
que las probabilidades de las primeras x variables tiendan a 1, mientras que
el resto tienda a 0, lo que determina una seleccion estable. El valor de x se
determino en todos los casos buscando un mınimo en las curvas de error de
la primera figura.
La ultima grafica muestra, para cada variable, la posicion final luego del
entrenamiento para cada uno de los rankings obtenidos por los metodos. Se
presentan ordenadas de mejor a peor y se busca observar poca variacion por
lo menos en las primeras x posiciones. Cuando se grafica el dataset completo,
cuanto mas se asemeja la grafica a una diagonal, mas estable es el metodo
de seleccion. La presencia de dos o mas posiciones distintas y bien marcadas
para una variable puede indicar una alta correlacion con otras, lo que sugiere
que habrıan intercambiado lugares a lo largo de los experimentos.
El parametro β, donde aplica, fue configurado en 0.5 dando igual impor-
tancia a ambas partes en el ranking. Para SRFE, el parametro Tp se definio en
0.05 por no ser crıtico y Tc se ajusto de manera empırica.
33
4.1. Datos artificiales
Para mostrar con claridad las bondades del metodo presentado en esta
tesina, se procedio a la generacion de un conjunto de datos que responda a
la problematica que se intenta resolver: la seleccion estable de variables en
problemas anchos con una gran cantidad de variables correlacionadas.
El dataset “artificial” consta de cien variables agrupadas en conjuntos
altamente correlacionados de veinticinco variables. A su vez, el concepto ob-
jetivo, que es binario, esta determinado por una conjuncion de los cuatro
grupos, lo que significa que es necesaria la presencia de al menos una varia-
ble de cada grupo para obtener la solucion correcta. La Figura 4 muestra con
un heatmap la estructura de correlaciones entre las variables.
Para este caso particular se hicieron tres experimentos con cada vez menos
muestras para exponer como se va perdiendo la capacidad predictiva a medida
que disminuye la informacion y el espacio se torna mas ralo. Ademas, se
muestra como la informacion redundante elude los criterios de seleccion de
los metodos distintos a SRFE.
En la primera instancia, de mil variables para una relacion 1 : 10 de
variables y muestras, se puede observar en la Figura 5 como unicamente el
metodo SRFE logra obtener el modelo optimo al minimizar el error con cuatro
variables. Tanto RFE como MRMR mantienen variables redundantes en las
ultimas iteraciones y FCBF falla en obtener cualquier tipo de informacion
de los datos porque elimina secuencialmente grupos enteros de variables (de
ahı los grandes saltos en la grafica).
Las Figuras 6 y 7 exponen la estabilidad de las soluciones. La primera
figura muestra la probabilidad de que una variable dada sea seleccionada
entre las mas importantes para el problema dado. En este caso ese numero
se fijo en cuatro variables. La segunda, muestra la distribucion completa
34
de posiciones que toma cada variable en el ranking a lo largo de todas las
corridas efectuadas. Mientras mas estable es un metodo, mas angosta seran
las distribuciones.
En dichas figuras de estabilidad se acentua mas aun la diferencia en la
seleccion. MRMR muestra una estabilidad excelente, pero siempre elige dos
pares de variables correlacionadas, con lo cual el modelo resultante es malo.
RFE tiene una seleccion inestable y erronea que no aporta informacion util a
la interpretacion de los resultados al igual que FCBF. SRFE elige de manera
estable una variable de cada conjunto.
En las segunda y tercera instancias, con relaciones 1 : 1 (Figuras 8 a 10) y
4 : 1 (Figuras 11 a 13), respectivamente, se puede observar como progresiva-
mente aumenta el error de los modelos de prediccion generados y disminuye
la estabilidad para todos los metodos excepto para SRFE que demuestra su
robustez incluso cuando comienzan a surgir los errores de medicion conse-
cuencia de la escasez de muestras1.
1Debido a que los calculos con metricas de entropıa o informacion requieren de variablesdiscretas, es necesario realizar una discretizacion utilizando bins de datos. Para generarestos bins con una densidad util se utiliza una cantidad bastante estandar de
√n bins
donde n es la cantidad de muestras o puntos. Cuando la cantidad de muestras es muybaja (y se reduce mas al usar subsamples), el numero de bins no alcanza para obtener unamedicion fidedigna y los resultados tienen menos precision.
35
V20
V19
V18
V16
V17
V15
V14
V13
V11
V12 V
5
V4
V3
V1
V2
V10 V
9
V8
V6
V7
V7
V6
V8
V9
V10
V2
V1
V3
V4
V5
V12
V11
V13
V14
V15
V17
V16
V18
V19
V20
Artificial
Figura 4: Dataset Artificial: mapa de calor que muestra la correlacion en-tre las variables del dataset (solo un subconjunto del total). Se pueden vercuatro grupos de variables altamente correlacionadas dentro del grupo peroindependientes de los otros grupos.
36
Artificial (1000) - Selección
Número de variables
Err
or
5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 1000.00
0.05
0.10
0.15
0.20
0.25
RFE
SRFE
MRMR
FCBF
Artificial (1000) - Selección
Número de variables
Err
or
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 200.00
0.05
0.10
0.15
0.20
0.25
Figura 5: Dataset Artificial (1000 puntos): nivel de error en funcion del nume-ro de variables seleccionadas. El panel superior muestra la figura completamientras que el inferior muestra en detalle el comienzo de la figura.
37
Art
ific
ial 1
000
- E
stab
ilid
ad S
RF
E
Var
iab
le
Probabilidaddeestarentrelasmejorescuatrovariables
V1V26V51V76V52V79V78V81V82V53V54V57V61V67V73V77V10
0
V2
V3
V4
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
Art
ific
ial 1
000
- E
stab
ilid
ad F
CB
F
Var
iab
le
Probabilidaddeestarentrelasmejorescuatrovariables
V26
V1V25V24V23
V2V28V21V20V22V27V17V75
V5V37V11V19V72V73V74
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
Art
ific
ial 1
000
- E
stab
ilid
ad R
FE
Var
iab
le
Probabilidaddeestarentrelasmejorescuatrovariables
V5V42V10V31V44V11V32V41V21V43V39V18V19V23V13V35V37
V7V26V30
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
Art
ific
ial 1
000
- E
stab
ilid
ad M
RM
R
Var
iab
le
Probabilidaddeestarentrelasmejorescuatrovariables
V24V25V49V50
V1
V2
V3
V4
V5
V6
V7
V8
V9V10V11V12V13V14V15V16
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
Figura 6: Dataset Artificial (1000 puntos): estabilidad de las soluciones. Paracada metodo se muestra la probabilidad de cada de variable de estar selec-cionada entre las primeras cuatro.
38
V5
V42
V10
V85
V11
V31
V32
V21
V19
V23
V30
V44
V78
V13
V35
V26
V49 V
8V
22V
37V
68 V3
V41
V47
V18
V43
V15
V56 V
1V
64V
28V
97V
99V
52V
29V
45V
39V
84V
65V
77
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
__
_
_
_
_
_
______
_
__
_
_
_
_________
__
_
_
______
__
___
_
___
_
__
__
_
_
_
_
_____
_
____
_
_____
_
______
_
_
_
_______
_
_
_
___
__
___ __
_
_
_
_____
_
_________
__
___________
__________
___
__________
_
__
_________
_____
_
_
_______________
_
____
_
__
_
_
_
_
_
_
_
_
_
___
_
___
_
_
_
__
_
__
_
__
_
_
_____
_
_
_
_
_____
_
_
__
_
_
_
_
_
____
_
_
_
___
_
__
_
__
_
__
_
_____
_
_
____
__
_
___
_
_
_
_
__
_
_
___
_
_____________________________________________________________________________________________________
_
______
_
_
__
__
_
__
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_
_
_
______
_
_
__
_
_
_
_
__
___
_
_
_
_
__
_
_
_____
_
_
__
_
_
__
_
__
_
_
___
_
_
_
__
_
_
_
__
__
_
_
_
_
_
_
_
_
_
___
_
_
_
_
__
_
_
_
__
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_
_
__
_
__
_
_
___
_
_____
_
_
_
_
_
_
_
_
_
_
__
_
___
_
_
_
_
__
_
_
_
_
_
_
__
_
____
___
_
__
_
_
___
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
___
__
__
___
__
__
_
_
_
_
___
__
_
___
_
_
_
_
_
_
_
_
_
__
__
_
__
_
_
__
___
_
___
__
__
__
___
__
_
_____
_
_
_
_
_
_
_
_
_
__
_
_
__
_
__
_
_
__
_
_
_
__
__
_____
_
_
_
_
_
_
___
_
_____
_
_
_
_
_
_
_
_
_
_
_
__
_____
_
__
__
_
_
_
_
_
_
___
___
__
_
_
_
_
__
_
_
_
__
_
_
__
_
_
_
_
_
_
_
__
_
__
__
____
_
_
_
__
_
__
_
_
_
______
_
_
__
_
___
_
_
__
_
_
_____
_
_
__
____
_
_
_
_
_
__
__
_
_
_
___
_
___
___
__
_
__
__
_
__
_
_
____
___
_
_
_
_
_
_
__
_
__
_
_
_
__
_
__
_
_
_
_
_
__
__
_
_
_
_
__
_
__
_
_
_
__
_
__
_
___
_
_
_
__
_
_
_
__
__
_
__
_
__
______
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_____
_
___
__
__
__
_
___
_
___
___
_
_
___
_
__
__
_
_
_
_
_
__
__
_
_
____
_
_
__
_
_____
_
_
_
___
_
__
_
_
___
_
_
_
___
_
_
_
_
_
__
__
_
__
_
_ _
_
__
_
_
_
_
_
_
_
_
____
_
_
_
__
_
_
_
____
_
__
__
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
____
__
_
_
__
_
_
__
_
_
_
_
_
__
__
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_____
__
_
_
_
__
_____
_
___
_
_
_
__
_
_
_
_
_
_____
_
_
__
__
_
_
____
_
_
__
_
_
__
_
__
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
__
_
_
_
__
_
_
_
____
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
___
_
_
_
_
_
_
_
_
____
____
__
_
_
__
__
_
_
_
_
_
_
_
___
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
___
_
__
_
_
_
__
_
_
___
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
__
_
_
__
_
_
_
_
_
___
_
_
_
__
__
_
___
___
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_ _
_
_
__
_
_
_
_
_
_
__
_
_
_
_
_
__
_
__
_
_
_
__
_
_
_
_
_
_
_
____
_
_
_
_
__
__
_
_
_
_
__
_
_
_
__
_
__
_
_
_
_
_
_
_
____
_
__
_
_
_
__
_
___
_
__
_
_
__
__
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
__
_
__
_
_
_
_
_
_
_
_
__
_
_
_
_
__
___
__
_
__
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
____
_
_
_
_
_
__
_
_
_
_
_
_____
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
__
___
_
_
_
_
_
_
_
_
_
_
_
__
_____
__
_
_
__
___
_
_
___
_
__
_
_
_
__
__
_
_
_
__
_
_
_
_
_
__
__
_
_
_
_
_
__
__
_
__
_
__
_
_
___
_
_
_
_
_
__
_
__
___
_
__
_
_
___
__
_
__
_
_
__
_
___
__
_
__
_
__
_
_
_
_
_
__
_
_
_
_____
_
_
_
_
__
__
_
_
_
__
_
_
_
__
_
_
___
_
_
__
_
_
__
__
_
_
_
____
_
_
_
_
___
_
_
_
_____
_
__
_
_
_
__
______
_
__
_
____
__
__
_
_
_
_
_
_
__
_
_
_
_
__
__
_
__
__
_
_
_
_
__
__
_
_
_
__
___
_
___
_
_
_
_
_
___
_
_
__
_
_
__
_
__
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
__
__
_
_
__
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
__
_
_
_
__
__
__
_
_
_
_
_
__
_
_
__
_
_
_
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
___ ____
__
_
_
_
_
___
_
_
_
_
_
_
_
_
_
__
_
_
_
__
_
_
_
_
_
_
__
__
__
__
_
___
__
__
_
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
___
_
_
___
_
_
_
__
__
_
__
_
_
_
_
__
_
_
_
___
__
_
_
__
___
__
_
__
_
_
_
_
__
_
__
_
_
_
_
_
_
_
__
___
_
_
_
_
___
_
_
_
_
_
__
_
_
_
_
___
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
_
__
_
___
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
___
_
_
_
__
_
_
___
_____
_
__
_
_
_
___
_
_
__
_
___
_
_
_
_
_
_
_
__
_
_
__
_
__
__
_
_
_
_
_
_
__
_
__
_
_
_
__
__
_
___
_
_
_
___
__
__
_
__
_
_
_
_
_
_
_
_
_
_
_
_
___
_
____
____
_
_
__
_
_
_
__
_
_
__
_
__
___
___
_
___
_
_
_
_
___
_
__
__
_
_
__
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
__
_
_
_
__
_
_
_
_
_
_
_
__
__
_
__
_
_
___
_
_
_
__
_
___
_
_
__
_
___
___
_
_
_
__
_
_
_
_
_
__
____
_
_
_
_
_
____
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
____
__
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
__
__
_
__
__
_
_
_
_
___
_
_
_
_
_
_
_
_
___
_
_
_
_
_
____
______
_
_
_
_
__
_
___
____
_
_
_
___
_
_
_______
___
_
_
___
_
_
_
_
_
_
_
__
_
_
__
_
_
__
__
_
_
_
_
_
__
___
_
_
_
_
____
_
_
_
_
__
_
__
_
_
_
__
_
_
_
_
_
__
_
_
_
__
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
___
__
_
__
__
_
_
_
_
__
_
_
_
__
___
_
_
____
_
_
_
_
_
__
_
__
_
__
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
__
_
_
___
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
__
__
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
__
_
___
_
_
_
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
____
_
_
__
_
_
__
_
_
__
__
_
_
_
_
__
__
__
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
__
_
_
_
__
__
_
_
____
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
___
__
_
_
_
_
_
_
_
_
_
__
_
_
_
__
_
_
___
_
__
_
_
__
__
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
___
_
_
_
__
_
_
_
_
_
_
_
__
__
_
_
_
_
_
__
_
_
__
_
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
__
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_____
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
____
_
_
_
_
_
_
__
__
_
_
_
_
_
_
_
_
_
__
_
__
___
_
_
_
_
_
__
_
_
_
_
_
_
__
_
__
__
_
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
____
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
__
_
_
_
_
_
_
__
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
__
___
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
__
_
_
_
__
__
___
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
__
_
_
_
__
_
_
_
_
___
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
____
_
_
_
__
___
__
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
__
_
_
__
___
___
_
_
__
_
_
__
___
_
__
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
__
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
__
__
_
_
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
__
__
_
___
_
_
_
_
_
_
_
_
__
_
_
_
___
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
Artificial (1000): RFE
V26 V
1V
76V
51 V2
V28 V
5V
42V
31V
30V
19 V3
V8
V32
V21
V10
V23
V37
V44
V41
V35
V52
V85
V15
V18
V22
V11
V49
V13
V29
V43
V47
V78
V27
V53
V39
V14
V77 V
6V
9
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
____________________________________________________________________________________________________ ____________________________________________________________________________________________________ __________
_
___
_
_________
_
___
_
_
_
_____
_
_
_____
_
____
_
__________________________
_
_________
_
___
_
_
_
______
_
_
_____________
_
_____________
_
_______
_
____________
_
_
_
_______
_
____________
_
_____
_
__
_
_
_
_
_
_
_______
_
______
_
__
_
_
_
_____
___
_
_
_
__
_
_
_
_
_
_
___
__
_
_
_
__
_
_
__
_
__
_
_
__
_
_
_
_
_
_
_
__
_
__
__
__
_
__
_
_
_
_
_
__
___
_
_
_
_
_
_____
_
___
_
__
_
___
__
_
_
_
____
_
_
_
__
_
_
__
_
_
_
_
___
_
_
_
_
_
_
_
_
___
__
_
_
_
_
_
_
___
_
_
_
____
_
_
_
__
_
_
_
_
__
__
_
_
_
_
_
_
_
_
_
__
_
_
__
_
_
_
___
_
_
_
_
_
_
_
__
___
_
__
_ __
_
_
_
__
_
_
_
_
_
_
_
_
_
_
__
___
_
___
_
_
_
_
_
___
_
_
_
_
__
_
_
__
_
_
_
_
_
__
_
__
___
_
__
_
__
___
_
__
_
_
_
_
_
_
_
_
_
___
__
_
_
__
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
__
_
_
___
__
_
_
__
__
_
___
_
________
_
_
__
___
__
_
_
_
_
____
_
_
_
_
_
___
_
_
_
_
_
_
__
_
__
_
_
_
_
__
_
_
_
_
_
____
__
__
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
__
_
_
_
_
__
_
__
__
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
____
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
__
_
__
_
_
_ _
___
_
_
_
_
_
_
_
_
_
__
_
___
_
_
_
__
__
__
_
__
_
_
_
_
_____
__
_
_
_
___
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
__
_
_
__
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
___
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
__
_
_
_
_
____
_
__
_
____
_
_
_
_
___
_
_
__
__
__
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
__
_
__
_
__
_
_
___
_
_
__
_
_ ___
___
_
_
_
_
___
_
_
_
_
_
__
_
_
__
__
_
_
_
_
_
_
_
_
_
__
_
_
__
__
_
__
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
_
___
_
__
_
_
___
_
_
_
_
_
_
_
___
_
_
_
_
_
_
__
_
__
__
_
_
_
_
____
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
__
_
_
_
_
_
_
_
_
____
_
_
__
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
__
_
_
_
_
_
_
_
_
___
__
_
_
_
____
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_
_
_
____
_
__
_
__
__
_
_
__
_
_
__
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_____
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
__
_
__
__
_
_
_
_
_
_
_
_
_
_
__
_
__
__
_
_
__
_
__
_
_
_
___
__
__
_
_
__
_
_
_
_
_
_
__
_
__
___
_
_
_
_
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
___
_
_
__
_
_
_
_
_
_
_
_
_
_
_
___
__
_
__
_
_
__
__
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
__
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_ __
_
_
__
_
_
____
_
_
__
__
__
__
_
_
_
_
_
_
_
_
_
_
_
__
____
__
__
_
_
__
_
___
_
_
_
_
_
____
_
_
_
_
_
_
_
_
___
_
__
_
_
__
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
__
_
_
_
__
_
_
_
__
_
__
_
_
_
_
_
_
_______
__
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
_
_
__
_
_
_
_
_
_
____
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
_
__
___
_
_
_
_
___
_
_
_
__
_
_
_
_
__
_
__
_
_
_
_
___
_
____
_
_
_
_
__
__
_
_
___
_
_
_
__
_
_
_
_
_
__
_
__
_
_
_
____
_
_
__
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
__
___
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
__
__
_
_
_
__
__
_
_
__
_
__
____
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
_
__
_
_
__
_
_
_
_
_____
_
_
__
__
_
__
_
_
_
___
___
___
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
__
___
___
__
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
___
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
__
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
__
_
_
_
__
_
_
___
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
____
_
_
_
_
_
__
__
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
___
__
__
_
_
_
_
_
_
__
_
__
____
_
_
_
_
_
__
_
_
_
_
_
_
__
_
__
_
_
_
___
_
_
_
__
_
_
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
___
_
__
_
_
__
_
_
_
_
__
__
_
_
_
__
__
_
_
_
__
__
_
_
__
_
___
_
_
_
_
_
_
_
_
__
__
_
_
_
_
_
_
__
_
___
___
__
__
__
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_
__
_
__
_
__
_
_
____
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
____
_
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
__
_
_
__
___
_
_
_
_
__
_
_
_
_
_
_
_
__
___
_
__
_
_
__
__
__
_
_
____
_
_
_
_
_
__
_
_
_
__
_
_
__
_
_
_
_
_
___
_
__
_
_
_
_
_
_
_
_
__
_
_
__
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
__
__
_
_
_
_
_
__
___
_
_
_
_
_
__
____
_
_
_
_
_
_
__
_
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
___
__
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
__
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
___
_
_
_
_
_
_
_
_
_
_
_____
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
__
_
_
_
_
_
__
__
_
_
_
_
_
_
_
_
_
_
__
__
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
___
_
_
_
_
_
_
_
___
_
_
__
_
___
_
_
_
___
_
_
_
_
_
_
_
_ _
_
_
_
_
_
___
_
_
___
_
_
_
_
_
__
__
_
_
_
_
__
_
_
_
_
__
_
_
__
_
_
_
___
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
____
__
_
_
_
_
__
__
_
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
__
__
_
_
_
_
_____
_
_
_
_
_
_
__
_
_
_
_
_
_
____
_
_
_
__
_
_
__
__
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
__
_
_
_
___
_
__
_
_
_
_
___
__
_
__
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
__
_
_
_
_
_
__
_
_
__
_
_
_
__
_
__
__
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
__
_
_
_
_
_
__
_
_
_
_
_
_
__
_
__
__
_
_
_
_
__
__
__
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_
_
_
_
_
_
_
_
__
_
_
_
__
_
__
_
__
_
_
_
___
_
__
__
_
_
_
__
_
_
_
_
_
__
__
__
_
_
_
___
_
__
_
__
_
__
_
_
_
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
___
_
_
_
___
_
_
_
_
_
_
_
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_____
_
__
_
_
_
_
__
_
_
_
_
_
__
___
_
__
_
_
_
_
_
_
_
_
_
_
_
___
_
____
__
_
_
_
_
_
_
_
_
_
___
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
__
_
____
_
_
_
_
_
__
_
_
_
__
_
__
__
_
_
__
_
_
_
____
___
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
_
__
_
_
_
_
_
_
_
_
____
_
_
_
__
_
_
____
_
_
_
__
_
_
_
_
_
_
_
__
_
_
__
_
___
_
_
__
_
__
_
__
_
__
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
__
___
_
_
_
_
____
_
_
_
_
_
_
_
__
_
_
___
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
__
__
_
_
_
_
_
_
__
_
__
_
_
_
_
__
_
_
_
_
_
__
_
_
_
__
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
___
___
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
____
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
_
___
_
_
_
_
___
_
_
_
_
_
_
_
_
__
_
_
_
__
_
_
_
_
__
___
Artificial (1000): SRFE
V50
V25
V49
V24
V48
V10
0V
23V
75V
47V
22V
46V
21V
99V
45V
74V
20V
44V
19V
43V
98V
18V
42V
73V
17V
41V
40V
16V
97V
39V
15V
72V
38V
14V
96V
37V
13V
36V
71V
35V
12
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
____________________________________________________________________________________________________ ____________________________________________________________________________________________________ ____________________________________________________________________________________________________ _________________
___________________________________________________________________________________ ____________________________________________________________________________________________________ _
_________
_
_________________
_
_______
_
___
_
__
_
_______
_
______
_
________
_
____
_
_________
_
__
_
_
_
_
____
_
_
_____ _____
_______________________________________________________________________________________________ ________
_
__
_
______
__
__
_
_____
_
_______
_
___________
_
_______
_
_
_
_
_
_______________________
_
_________
__
_
___ ____________________________________________________________________________________________________ ______
______________________________________________________________________________________________
____________________________________________________________________________________________________ _________________
___________________________________________________________________________________ _
___________________________
_
_______
_
___
_
__
_
_______
_
______
_
________
_
____
_
_
________
_
__
_
_
_
_
____
__
_____ ____________________________________________________________________________________________________ _
______
_
_
__
_
_
_
__
_
_
__
__
_
_____
_
___
_
_
_
_
_
__________
_
_______
_
__
__
_
__________
_
__
__
_______
_
_
_______
__
_
_
____
____________________________________________________________________________________________________ ________________
____________________________________________________________________________________ __________________
__________________________________________________________________________________
____________________________________________________________________________________________________ _
_
________
_
__
_
_
___
_
__
_
__
_
___
_
______________
_
____
_
__
_
_______
_
________
_
____
___
_
_____
_
__
_
_
______
__
_____ __________
__________________________________________________________________________________________ _____
_______________________________________________________________________________________________ __
_____
_
_
_
___
_
__
_
_
__
_
_
______
_
___
__
_
_
____________
_
____
__
_
__
_
____________
_
__
__
______
_
_
________
_
__
_
_
__
_
____________________________________________________________________________________________________ _________
___________________________________________________________________________________________
____________________________________________________________________________________________________ __
__________________________________________________________________________________________________ _
_
________
_
__
_
_
___
_
__
_
_
__
___
_
______________
_
_______________
_
________________
__
____
_
__
_
_
_
_
____
_
_
_____ ___
_________________________________________________________________________________________________ ________
____________________________________________________________________________________________
_______
_
_
_
__
_
________
_
_____
_
_
____
_
__
__________
_
_
_
_
________
__
_
___________
_
_
_
_______
_
____________
_
___
_
____________________________________________________________________________________________________ _
___________________________________________________________________________________________________ _
_________
_
__
_
_
______
_
_
_
_
___
_
______________
_
_____
______
___
_
_
______
_
_________
_
__
_
__
_
__
_
_
_
_____
_
_
_____
____________________________________________________________________________________________________ __________
________________________________________________
__________________________________________ _____
_______________________________________________________________________________________________
_______
_
____
_
_
____
_
_____________
_
_
_
_
__________
_
_
_
_
_
_
_
_____
_
_
_
___________
__
_
__
_
____
_
__
_
_
_
____
_
__
___
_
_ ____________________________________________________________________________________________________ ______
______________________________________________________________________________________________
Artificial (1000): SVM−RFE c/MRMR
V26 V
1V
25V
23V
24V
22V
20V
21V
19V
18V
17V
16V
15V
14V
13V
12V
11V
10 V9
V8
V7
V6
V5
V4
V3
V2
V99
V75
V97
V98
V74
V96
V70
V94
V95
V10
0V
68V
69V
72V
93
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
__
__
_
_
_
_
____
_
_
____
_
__
__
_
_
_
_
_
____
__
__
_
__
__
_
_
___
__
_
_
_____
_
__
_
_
___
_
_
_
______
_
_
__
_
_____
___
_
_
_
__
_
_
_____
_
__ ______
_
_
_
_
_____
_
_
_____
_
_
_
__
_
_
____
__
_
_
__
_
______
_
_
_
____
___
_
_
_
_
___
_
_
_
____
_
_
_
_
_
___
_
_
_
_____
_
_
_
_
_
_____
_
_
_
_
__
_
___
_
_
_
_
_
_____
_
_
____
_
_
_
__
_
_
______
_
_
_
__
_
___
__
_
_
_
_
____
_
_
_
_
_
_
_
_
_
_
_
_
____
___
__
_
__
_
_
_
__
_
__
__
_
_
______
__
_
_
_
_
_
___
_
_
_
_
______
_
_
_____
_
_
__
_
_
___
_
_
__
_
__
_
_
___
_
_
_
_
_
_
______
_
_
_
_
___
_
_
_
___
_
_
__
_
_
_
__
_
_
_
__
_
__
_
__
_
_
_____
__
__
_
_
_
_
__
_
_
_
_
______
_
_
____
_
_
_
_
_
_
_
____
__
_
_
_
__
_
___
_
_
_
_
_
_
___
__
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
___
_
____
____
__
_
______
__
__
_
_
_
___
_
_
_
_
______
_
_
_____
_
_
__
_
_
____
_
_
_
_
__
_
_
_____
_
_
_
_
____
_
_
_
_
_
_
___
_
_
_
___
_
___
_
_
___
_
____
____
__
_
______
__
_
_
__
_
_
__
_
_
_
_
_____
_
_
_
_____
_
_
_
_
_
_
______
_
_
___
_
___
_
_
_
_
_
_
_____
_
_
_
_
_
___
_
_
_
____
_
_
_
__
_
__
_
_
_
_
_
_
__
_
__
_
______
_
_
__
__
_
_
__
_
_
_
_
______
_
_
_____
_
_
_
_
_
_
_____
_
_
_
_
_
_
_
__
_
__
_
_
_
_
______
_
_
_
_
_
_
_
_
_
_
____
_
_
_
__
___
_
_
_
__
___
_
_
_
_
______
__
__
_
_
_
_
__
_
_
_
_
______
_
_
_____
_
_
_
_
_
_
______
_
_
_
_
_
_
___
__
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
____
_
__
__
_
__
_
_
_
___
__
_
__
_
_
_
_
___
__
__
_
_
_
___
_
_
_
______
_
_
_
______
_
__
_
_
____
___
_
__
_
_
____
_
_
_
_
_
_
_
____
_
_
_
_
___
_
_
_
_
_
__
_
_
_
__
___
_
_
_
__
___
_
__
_
______
_
_
__
__
____
_
_
_
__
____
_
_
_
_____
_
_
__
_
_
__
_
__
_
_
_
____
_____
_
_
_
_
______
_
_
_
_
__
_
_
_
_
_____
_
_
__
_
_
_
_
_
_
_
_
_
__
_
_
_
_
______
_
_
__
_
_
_
_
__
_
_
_
_
______
_
_
______
_
_
_
_
_
______
_
_
_
_
_
_
___
__
_
_
_
_
____
__
_
_
_
_
_
__
_
_
_
____
_
__
__
_
__
_
_
_
__
_
__
__
_
_
_____
_
__
__
_
_
_
_
__
_
_
_
_
_____
_
_
_
______
_
_
_
_
_
____
_
_
_
_
_
_
_
_
____
_
_
_
_
_
_
_
____
_
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
__
_
_
_
__
_
_____
_
______
_
_
_
_
_
_
_
_
__
_
_
_
_
_____
_
_
_
_____
_
_
_
_
_
_
______
_
_
_
_
_
_
_____
_
_
_
_
____
__
_
_
_
_
_
_
_
_
_
_
____
_
__
__
_
__
_
_
_
___
___
__
_
______
_
_
__
__
_
_
__
_
_
_
_
_____
_
_
_
_____
_
_
_
_
_
_
____
___
_
_
_
_
_
___
_
_
_
_
_
_
____
__
_
_
_
_
___
_
_
_
____
_
_
_
__
_
__
_
_
_
__
_
__
_
__
_
______
__
__
__
_
_
__
_
_
_
_
_____
_
_
_
_____
_
_
_
_
_
_
_______
_
_
_
_
_
____
_
_
_
_
_
____
_
_
_
_
_
_
___
_
_
_
____
_
_
_
__
___
_
_
_
___
___
__
_
______
_
_
__
_
_
_
_
__
_
_
_
_
_
____
_
_
_
_____
_
_
_
_
_
_
__
_
_
__
_
_
_
_
_
_
___
_
_
_
_
_
_
____
_
_
_
_
_
_
___
_
_
_
____
_
__
__
___
_
_
_
_
_
_
____
_
_
______
_
_
__
__
_
_
__
_
_
_
_
_
____
_
_
_
_____
_
_
_
_
_
_
_____
__
_
_
_
_
_
___
_
_
_
_
_
_
____
_
_
_
_
_
_
___
_
_
_
____
_
__
__
_
_
_
_
_
_
___
___
__
_
______
_
_
_
_
_
_
_
_
__
_
_
_
_
_
____
_
_
_
_____
_
_
_
_
_
_
__
_
___
_
_
_
_
_
_
___
_
_
_
_
_
_
___
___
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
_
__
_
_
_
_
__
__
_
_
_
_
______
_
_
__
_
_
_
___
_
_
_
_
_____
_
_
_
_____
_
_
__
_
_
_____
__
_
_
_
_
_
____
_
_
_
_
_
_____
_
_
_
_
_
_
_
_
_
_
_
___
__
__
__
_
__
_
_______
_
__
_
_
_____
_
_
__
__
_
___
_
_
_
__
____
_
_
_
_____
_
_
_
_
_
_
_______
_
_
_
_
_
____
_
_
_
_
_
_____
_
_
_
_
_
___
_
_
_
____
_
__
__
_
_
_
_
____
_
__
__
_
_
_
_____
_
_
_
_
_
_
_
_
__
_
_
_
_
_
____
_
_
_
_____
_
_
_
_
_
_
____
__
_
_
_
__
_
___
__
_
_
_
_
______
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
______
_
_
__
_
_
_
___
_
_
_
_
_____
_
_
_
_____
_
_
__
_
_
_______
_
__
_
_
___
_
_
_
_
_
_
___
_
_
_
_
_
_
_
___
_
_
_
___
_
___
__
_
__
_
_
_
__
_
__
___
_
______
_
_
__
_
_
_
_
__
_
_
_
_
_____
_
_
_
_____
_
_
_
_
_
_
_
_
__
_
__
_
_
__
_
____
_
_
_
_
_
____
_
_
_
_
_
_
_
_
_
_
_
_
___
_
___
_
_
_
__
_
____
_
__
_
_
_
_
______
_
_
__
_
_
_
_
__
_
_
_
______
_
_
_
_____
_
_
_
_
_
_
____
_
_
_
_
_
__
_
___
__
_
_
_
_
______
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
___
_
_
_
_______
_
_
______
_
_
__
__
_
_
__
_
_
_
_
_____
_
__
____
_
_
_
_
_
_
_
__
_
_
__
_
_
_
__
_
____
_
_
_
_
_
____
_
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
_
______
_
_
_
_
_
_
_
_
__
__
_
_
_
_
_
__
_
_
___
_
_
_
_
_
_
_
_
_
_
_
__
___
__
_
_
__
_
_
__
_
_
_
_
_
___
_
_
_
_
_
_
_
___
__
_
__
__
_
_
____
_
_
_
__
_
_
_
___
_
_
___
__
___
__
_
_
__
__
___
__
_
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
_
_
_
_
___
_
_
_
__
_
_
_
_
_
__
__
_
__
_
_
__
__
__
_
__
_
_
_
__
_
__
___
__
_
__
_
_
_
_
_
_
__
__
_
_
_
_
_
__
_
_
___
__
_
_
_
_
_
_
_
__
__
___
_
_
_
_
_
_
_
_
__
_
_
_
_
_
___
_
_
_
_
_
_
_
___
__
_
_
___
_
__
___
_
_
_
__
_
_
_
_
_
_
_
_
_
__
_
_
___
__ _
_
_
_
__
__
_
_
_
_
_
__
_
_
___
_
_
_
_
_
_
_
_
_
_
_
__
___
__
_
_
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
_
_
_
_
___
__
_
_
___
_
_
_
__
_
_
_
_
__
_
_
_
_
__
_
_
___
__
___
__
_
_
__
__
__
___
_
_
__
_
_
_
_
_
_
__
_
_
_
__
_
__
__
_
_
_
_
__
_
_
_
_
_
__
_
_
_
_
_
___
_
__
_
_
_
_
_
_
_
___
_
_
__
_
_
__
_
_
__
_
__
_
_
_
__
_
__
___
_
_
_
__
_
_
_
_
_
_
__
__
_
__
_
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
__
__
___
_
__
_
_
_
_
_
__
_
_
_
_
_
___
_
_
_
_
__
_
___
___
_
_
__
_
_____
_
_
_
__
_
_
_
_
__
_
_
___
_
_
___
__
_
_
__
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
__
_
_
_
_
_
__
_
__
_
_
___
_
_
_
__
_
_
_
_
_
_
__
_
_
__
_
_
__
__
_
__
__
_
_
_
_
__
__
_
__
__
_
__
_
_
_
_
_
_
__
__
_
_
_
_
_
__
_
_
___
_
_
_
_
_
_
_
_
_
__
__
___
_
_
_
_
_
_
_
_
__
_
_
_
_
_
___
_
_
_
_
_
_
_
__
_
__
_
_
_
__
_
__
___
_
_
_
__
_
_
_
_
_
_
_
_
___
_
_
___
__ _
_
_
_
__
__
_
__
_
___
_
_
___
_
_
_
_
_
_
_
_
_
__
__
_
_
_
__
_
_
_
_
_
_
__
_
_
_
_
_
__
_
_
_
_
__
_
_
___
___
_
_
__
_
_
_
___
_
_
_
__
_
_
_
_
_
_
_
_
___
__
___
_
_
_
_
_
_
__
__
_
__
_
_
__
_
_
___
___
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
__
_
_
__
_
___
__
_
___
_
__
_
__
_
_
_
_
__
_
_
___
_
_
_
__
_
_
_
___
_
__
__
__
___
__
_
_
__
__
_
_
_
__
_
_
__
_
_
_
__
_
_
_
_
_
_
_____
_
_
_
_
_
_
__
__
_
_
_
__
_
_
_
_
_
___
_
_
_
_
_
_
_
__
_
__
_
____
_
_
__
__
_
_
_
__
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
___
_
_
_
_
__
_
_
__
_
_
_
_
_
_
_
__
___
_
_
_
__
_
__
_
_
_
_
_
__
_
__
_
_
___
_
_
_
__
_
_
__
_
_
__
_
_
__
_
_
__
_
_
_
__
__
__
_
___
__
_
__
_
_
_
__
_
_
_
_
__
__
__
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
__
__
__
___
_
__
__
_
_
_
__
_
_
_
_
_
___
_
_
_
_
_
_
_
__
_
_
_
_
_
_
__
_
_
__
__
__
_
__
_
_
_
_
_
_
__
_
__
_
_
_
__
_
_
_
_
_
_
__
__
_
__
_
_
_
_
_
_
___
__
__
_
_
_
_
_
_
_
__
___
___
_
_
_
_
_
__
_
_
_
_
_
___
_
_
_
__
_
_
_
__
__
_
_
_
__
_
_____
_
_
_
__
_
_
_
_
_
_
_
_
___
__
___
__
Artificial (1000): FCBF
Figura 7: Dataset Artificial (1000 puntos): distribucion de posiciones quetoma cada variable en el ranking realizado por cada uno de los metodoscomparados.
39
Artificial (100) - Selección
Número de variables
Err
or
5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 1000.00
0.05
0.10
0.15
0.20
0.25
0.30
RFE
SRFE
MRMR
FCBF
Artificial (100) - Selección
Número de variables
Err
or
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 200.00
0.05
0.10
0.15
0.20
0.25
0.30
Figura 8: Dataset Artificial (100 puntos): nivel de error en funcion del nume-ro de variables seleccionadas. El panel superior muestra la figura completamientras que el inferior muestra en detalle el comienzo de la figura.
40
Art
ific
ial 1
00 -
Est
abili
dad
SR
FE
Var
iab
le
Probabilidaddeestarentrelasmejorescuatrovariables
V1V26V76V51V52V28
V2
V3
V4
V5
V6
V7
V8
V9V10V11V12V13V14V15
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
Art
ific
ial 1
00 -
Est
abili
dad
FC
BF
Var
iab
le
Probabilidaddeestarentrelasmejorescuatrovariables
V1V26V49V50V10
0V99V74V73V75V76V98V24V25V28V29V38V71V72
V2
V3
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
Art
ific
ial 1
00 -
Est
abili
dad
RF
E
Var
iab
le
Probabilidaddeestarentrelasmejorescuatrovariables
V18
V6V26V46V11V17V21V49V43V31V10V29V37V47
V4V33V35V40
V7V19
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
Art
ific
ial 1
00 -
Est
abili
dad
MR
MR
Var
iab
le
Probabilidaddeestarentrelasmejorescuatrovariables
V25V50V49V24V48V23V10
0
V1
V2
V3
V4
V5
V6
V7
V8
V9V10V11V12V13
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
Figura 9: Dataset Artificial (100 puntos): estabilidad de las soluciones. Paracada metodo se muestra la probabilidad de cada de variable de estar selec-cionada entre las primeras cuatro.
41
V6
V11
V18
V86
V46
V35
V31
V29
V21
V33
V40
V17
V43 V
1V
47V
26V
41V
23V
37V
49V
60V
88V
25V
78V
12 V7
V52 V
5V
9V
95V
64V
39V
24V
10V
67V
28V
19V
58V
98 V4
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
_
_
__
____
________
___
_
_
_
___
_______
____
_
____
________
_____
_____
_
_
_
__
___
_
______
_
____
______
______________
_ __
_
______
_
__________
__
_
___
_______
__
_____
_
______________________
_
_
_
_
____
___
____
___
___
____________
___
_
_
_
__
_
_
_
_
_
_
_
_
____
_
_
_
__
_
___
_____
_
_
_
__
_
_
___
_
_
_
_____
_
_
_
__
_
_
_
_
_
_
__
_
_
_
_
______
_
_
__
__
_
__
_
_
_
_
_
_
_
_
_
_
___
_
_
__
_
_
_
___
__
_____
_
_
_____
_______
_
_
___
______
____
_
_
____
_
__
_
___
_
_______
_
____
__
___
_
_
_
_
_
_
_
____
__
_
___
____
_
______
_
_
__
_
__
__
___
__
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
___
_
_
__
_
_
_
_
_
___
_
_
_
_
___
___
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
__
_
_
_
_
_
_
_
__
___
__
__
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
___
_
__
_
_
_
_
______
_
__
_
__
__
_
_
_
_
_
_
_
_
_
__
_
__
_
__
_
_
___
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
_
____
_
_
_
__
_
_
_
_
_
_
____
_
__
_
_
_
_
_
__
_
_
_
_
_
__
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
___
_
_
__
__
_
___
__
_
_
____
_
_
____
_
_
_
___
_
_
_
_
_
__
_
_
_
_
_
_
___
_
_
___
__
_
_
__
_
_
_
_
__
_
_
__
_
__
_
__
_
_
_
_
_
_
_
_______
_
_
__
__
__
_
_
__
_
_
_
__
_
_
_
__
_
__
_
__
_
_
_
_
_
__
_
_
_
__
_
_
_
__
__
_
_
_
__
__
_
__
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
___
__
_
_
_
_
_
_
_
_
____
_
_
__
_
_
_
__
_
_
__
_
_
_
_
_
___
_
_
_
___
_
_
_
_
_
_
_
__
__
_
_
_
___
_
_
_
_
__
_
_
_
_
_
_
_
____
_
_
_
__
__
_
___
_
_
_
_
_
__
__
__
_
_
_
____
_
__
__
_
_
_
______
_
_
___
_
_
_
__
_
_
_
_
_
_
__
_
__
_
_
_
_
___
___
_
_
_
______
_
_
_
_
_
_
__
_
_
_
__
_
____
________
_
_
_
_
_
_
_
__
_
_
_
_
_
__
___
_
_
_
_
_
__
_
_
_
_
_
_
_
___
_
_
_
_
__
__
__
__
__
__
_
__
___
__
__
_
_
_
__
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_
__
__
_
_
_
__
_
___
__
___
_
_
__
_
_
_
_
______
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
__
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
_
___
_
___
_
_
_
_
_
__
_
___
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_____
_
__
__
_
_
__
____
___
_
____
_
_
_
_
_
__
_
_
_
_
__
_
_
_
__
_
_________
_
______
_
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
__
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
__
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
__
_
___
_
_
__
_
_
__
_
_
_
_
_
_
_
__
_
_
_
__
__
_
_
_
__
_
_
__
_
__
_
_
_
___
__
__
_
_
_
_
__
_
_
_
_
_
_
_
_
____
_
_
__
_
_
_
_
_
_
_
_
_
_
__
__
_
_
_
___
_
_
_
_
_
_
__
_
___
_
_
__
_
_
_
_
_
_
_
_
_
_
_
___
_
____
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_
_
___
_
_
_
_
_
_
__
_
_
__
_
_
__
_
_
_____
_
_
___
____
__
_
_
___
_
_
_
_
___
__
_
__
_
___
_
_
____
_
_
_
_
_
_
_
_
__
__
_
_
_
_
__
_
_
__
_
_
_
__
__
_
_
_
_
_
_
__
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
__
_
___
_
__
_
_
_
_
_
_
__
_
__
__
__
__
_
_____
_
_
_
___
_
_
____
____
_
_
_
_
_
____
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
_
__
_
___
_
__
_
__
_
__
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
_
__
_
__
_
___
__
_
__
_
_
____
___
_
__
_
_
_
_
__
__
_
_
_
_
_
_
_
__
____
_
_
_
_
_
_
_
___
__
_
_
_
__
_
__
_
_
_
__
_
__
__
_
_
_
__
_
_
_
__
_
_
_
_
_
_
_
_
__
_
_
__
_
_
_
_
_
_
__
__
__
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
__
_
_
_
__
_
__
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
__
_
__
_
_
__
_
_
_
_
__
_____
__
_
__
_
_
_
__
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
___
_
_
_
_
_
_
_____
_
_
_
_
_
_
_
_
_
_
_
_
__
_
___
_
_
_
_
_
__
___
__
_
_
_
_
_
_
__
__
__
_
_
__
_
_
_
_
_
_
_
___
__
_
__
_
_
_
_
_
__
_
_
_
_
_
_
___
__
_
_
_
_
____
_
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_
_
_
_
__
__
__
_
__
___
_
_
__
_
_____
_
_
__
__
_
_
_
__
_
_
_
_
__
_
_
_
_
___
_
__
__
_
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
__
_
_
_
_
_
_
_
_
__
_
__
__
_
_____
_
___
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
__
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
____
_
_
__
_
_
_
_
__
_
_
_
_
__
_
___
_
___
_
__
_
_
__
_
_
_
_
_
__
_
__
_
_
__
_
_
_
_
__
__
_
__
____
_
_
_
_
_
_
_
_
___
____
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
___
_
__
_
_
__
_
__
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
__
_
__
__
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
__
__
_
_
___
_
__
_
_
_
_
_
__
__
_
_
_
_
_
__
_
____
_
_
__
_
_
__
_
_
_
_
__
__
_
_
_
_
_
_
_
_
_
_
_
_
__
__
_
_
__
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
__
__
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
__
_
_
__
___
_
_
_
_
__
_
_
_
__
_
_
_
_
_
__
_
_
__
_
__
_
_
_
_
_
_
_
__
__
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
____
__
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
__
_
_
_
_
___
_
__
_
__
_
___
_
_
_
_
_
_
_
_
_
___
_
__
_
_
____
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
___
__
_
__
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
__
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
__
____
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
____
_
_
_
_
_
__
_
_
_
___
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
__
_
_
__
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
__
_
_
__
_
_
__
__
_
___
_
_
__
_
_
__
__
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
__
____
_
__
_
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
__
_
__
_
__
_
_
_
_
_
_
_
__
___
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
___
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
__
_
_
__
_
_
__
_
__
_
_
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
_
___
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
__
_
__
__
_
_
_
_
__
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
___
_
_
_
_
_
__
_
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
___
_
_
____
__
_
_
_
__
_
__
___
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
__
_
_
_
__
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
__
___
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_____
_
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
__
___
_
_
__
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
__
_
_
_
__
_
_
___
_
_
_
___
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
__
_
_____
_
_
_
__
_
Artificial (100): RFE
V1
V26
V76
V51 V
6V
11V
18V
46V
31V
40V
86V
35V
21V
33V
29V
17V
41V
43V
23V
37V
49V
47V
25V
12 V5
V7
V52
V78
V28 V
9V
88V
60V
95V
39V
10V
24V
19 V4
V14
V44
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
____________________________________________________________________________________________________ ___
_________________________________________________________________________________________________ _________________________
___________________________________________________________________________
_
___________
_
_____________
_
____
_
__________
_
___________
_
_____________________________________________
_
_
________________
_
_
_
_____
___
_
__
_
_______
_____
__
_
_____
_
___
_
__
_
_
_____
_
______
_
____
_
_
___________________
_
_
_
_
________________
___
___
_
___
___
______________________
________
_
_
_
________
__
__________
_
______
_
_____
_
_
_
___
_
_
_
___
_
_
__
__
_
_
__
________
_
_
_
_
___
_
__
_
_
_
_
_____
_
_
_
__
_
_
__
_
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
__
_
___
_
_
_
___
_
_
_
___
_
_
_
__
_
_
__
_
__
_____
__
_
_
_
_
_
_
_
_
___
_
_
_
___
_
__
_
___
_
_
_
_
_
_
_
__
_
__
_
_
_
___
_
_
_
_
_
___
_
__
__
_
_
_
___
___
_
_
_
_
_
_
_
_
_
_
___
_
__
__
___
_
_
__
_
__
__
_
_
_
_
_
_
__
_
__
_
_
_
__
__
_
_
_
_
_
__
_
_
_
___
_
_
_
_
_
_
_
__
_
_
_
__
_
_
_
_
_
_____
__
__
_
__________
_
_
__
___
_
___
__
__
_
_
_
__
_
_
_
_
_
_
_
_______
_
_
_
_
_
_
___
_
_
__
_
____
_______
__
_
_
_
_
_
_
__
_
_
_
_
___
___
__
__
_
__
_
_
_
_
_
_
_
___
_
_
_
_
__
_
_
__
____
__
____
__
__
_
___
___
_
______
_
_
______
______
_
____
_
____
_______
___
_
___
___
_
_
_
______
_
______
_____
__
_
_
___
_
___
_
_
_
_
_
__
_
_
____
_
_
_
_
_
_
_
_
_
__
_
___
_
_
_
_
_
___
_
_
_
___
_
_
_
_
_
_
__
_
_
__
_
_
_
_______
_
___
_
___
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
__
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
____
__
_
_
__
_
_
_
_
_
_
_
_
_
_
__
__
_
_
__
_
__
_
__
_
_
____
_
_
___
_
__
_
_
_
_
__
__
_
__
_____
_
___
_
_
_
_
_
_
_
____
_
__
__
_
_____
_
_
_
_
_
_
___
___
__
____
_
__
_
_
_
_
_
__
_
_
_
__
_
___
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
__
_
__
_
__
_
_
_
_
__
_
___
_
__
__
_
_
_
_
__
__
_
__
_
_
____
_
_
__
_
_
_
__
_____
_
_
__
____
_
_
___
_
_
_
__
_
_
_
_
_
_
__
__
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
__
__
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
__
_
__
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_
_
_
__
___
__
_
_
_
_
__
___
_
_
__
_
_
__
_
_
_
___
_
_
_
__
_
__
_
_
_
_
_
___
__
_
_
___
__
_
_
_
_
_
_
_
___
_
_
__
_
_
_______
___
__
_
_
__
_
_
___
_
_
__
___
__
_
___
__
_
_
___
__
_
_
_
_
__
_
______
_
_
_
___
_
__
_______
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
__
_
_
__
_
__
_
_
_
__
_
_
__
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
__
_
_
_
_
___
____
_
_
_
_
_
__
_
_
__
_
_
_
_
_
_
___
_
_
__
_
_
_
_
_
_
_
__
_
_
_
_
_
_
____
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
__
_
_
_
_
__
_
_
_
_
_
_
_
__
___
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
__
__
_
_____
_
_
_
___
_
_
__
__
___
_
_
_
_
_
_
____
___
_
_
_
_
_____
_
_
_
_
_
_
_
__
___
_
_
_
_
__
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
___
__
_
__
_
_
____
__
_
_
___
_
_
___
__
_
_
_
_
_
_
_
__
_
___
_
_
_
_
_
_
_
___
_
_
_
_
_
__
_
_
_
_
_
_
__
_
__
__
_
_
_
__
_
_
_
__
__
_
_
_
_
_
_
__
_
_
__
_
_
_
_
_
_
__
__
_
__
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
__
_
__
_
__
_
_
_
_
__
__
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
__
_
_
__
_
___
_
_
_
_
_
_
_
_
_
_ _
_
_
_
_
_
_
_
____
_
_
_
_
____
_
_
__
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
__
_
_
___
__
___
_
___
_
_____
_
_
__
____
_
___
_
_
___
_
_
_
_
_
__
_
__
__
_
__
_
_
__
_ __
_
_
_
__
_
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
__
_
_
__
_
_
_
_
_
_
_
_
_
_
__
____
_
___
_
_
_
_
_
_
__
_
_
_
_
__
_
__
_
_
__
_
_
_
_
__
__
_
_
_
_
_
_
__
_
_
__
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
__
___
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
_
__
___
_
_
__
_
__
__
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
____
_
_
_
_
_
_
_
_
___
____
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
___
_
__
_
_
__
_
__
_
_
_
_
__
_
_
___
_
_
_
_
_
_
__
_
_
_
_
__
___
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
___
_
__
_
_
__
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
__
__
_
_
_
_
__
_
_
_
_
__
_
_
__
_
_
__
__
__
_
_
__
_
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
_
____
_
_
_
_
___
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
__
_
___
_
_
__
_
_
_
___
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
__
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
__
__
_
_
_
_
____
__
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
____
_
_
__
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
_
_
_
_
___
_
_
_
_
_
__
_
__
_
_
__
_
_
__
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
__
_
_
__
_
_
_
_
_
__
__
_
_
_
_
_
__
_
_
__
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
__
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
____
_
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
_
__
__
_
_
_
__
_
_
_
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
____
__
_
_
_
___
__
_
_
_
_
_
_
__
_
_
_
____
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
__
__
_
__
_
_
_
_
_
_
_
_
__
_
_
__
_
_
_
__
_
_
_
__
_
__
_
_
__
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
__
____
_
__
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
___
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
__
___
_
__
_
_
_
_
_
_
___
_
_
__
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
__
___
_
_
_
__
_
_
___
_
_
_
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
__
_
_
__
_
_
_
_
___
___
_
_
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
___
_
_
_
__
_
___
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_
___
_
_
__
___
_
_
__
_
_
_
_
__
_
_
__
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
__
_
_
_
__
_
_
___
_
_
_
___
_
__
__
_
_
_
_
__
_
_
_
_
_
_
___
__
_
_
_
_
_
___
_
__
_
_____
_
_
_
_
_
_
__
_
__
__
_
__
_
___
_
__
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
__
_
__
_
_
_
_
_
_
__
__
_
__
_
_
_
_
_
_
_
_
__
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
___
____
_
_
_
__
__
_
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
_
_
_
__
_
___
_
_
_
_
_
_
_
_
___
_
__
_
_
_
_
_
__
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
___
____
_
_
Artificial (100): SRFE
V50
V25
V49
V24
V48
V23
V47
V22
V46
V10
0V
21V
45V
44V
99V
20V
43V
19V
75V
42V
98V
41V
18V
97V
40V
74V
17V
96V
39V
73V
16V
95V
38V
37V
15V
94V
72V
36V
93V
14V
35
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
____________________________________________________________________________________________________ _________________________________________
___________________________________________________________ _________
_______________________________________________________________________
____________________ _____
____________________________________________
___________________________________________________
__________________________________________________________________________
__
________________________ __
___________________________
_________
___________
__________
_____________________
____________________
___
_
_______
________________________________________________
_______
________
__
____
____
________________ __
____
_____
__________________
_
___________________
__________
_____________________
____
________________
____
_______
______________________________________
________
__
_______
_________
_
________
___
_____________
_
___
_
____
_
_
_
_
_
__
_______________________
_
________
___
___
___
_
_______
_
_________
_
_
__________
_
____________
__
___
_
_________________
_
_____
_
__
________________
_
____
_
_____
_
____________________
_
_________
__________
___
_
_
______
____________
______
__________
__________
__
______
_
________
_
_______
_
_
__
______
________________ _
__
_
_
_____
_
____________
_
__
___
__________
___
_______
__
______
_________
_
_______
_
_
________
________________
_
___
_
_
___
_
_
_
_
_
__
_____
__
_
___________
____
_
_
_
______
_
__
__
_
___
_
_
__
____
_
______
___
_
_
____
___
___
_
____________
__
_
__
_
_____
_____________
_____
_
________
___
_______
_
_____
_
__
__
_
______________
_
__
___
_
___
____
_
_
__________
__
_
_
_
_____
_
_
___________
__
____
_
_______
_
_
___
_______
_
_
______
_
________
_
____
___
_
_
________
___
_____________ __
_
_
_
_
_
____
____
_________
__
__
_
_
__
_
________
____
___
__
___
_
_____
_
__
__________
__
_
__
___
_
___
____
__
___
__
_____
__
___
__
__
_
____
_
_
__
_
_
__
__
_
_
_
___
_
_
_
_
_______
_
_
___
___
___
_
_
_
_
_
_
_
_
_
__
___
_
_
_
_
_______
_
___
_
_
_
____
__
_
_
__
___
__
___
_
_
_
_____
_
_
____
__
_____
_
_
____
_
_______
_
_
___
__
_____
__
______
_
_______
_
_
___
_
___
_
_
________
___
_________
___
_
_
___
_
_
___
_
_
_
_
_
_
_
_
______
_
__
__
_
_______
___
_
_
_
_
_____
___
__
_
___
_
___
____
_
_
__
___
__
_
_
_
____
___
___
_
__________
__
_
_
_
_
_
__
___
_
_
___________
_
_
____
_
__
_____
_
_
___
____
__
_
__
______
_
___
____
_
_
___
_
___
_
_
____
___
_
___
__
_____
______
__
_
_
_
_
_
____
____
__
_____
__
__
__
_
_
__
______
_
__
___
____
_
_
_
__
_
_
__
__
_
___________
_
__
_
__
_
__
_
__
_
____
__
___
__
____
_ _
___
_
_
_
__
_
_
_
_
_
_
_
_
___
___
_
________
___
____
_
__
_
__
___
___
_
_
____
_
_
_
_
____
_
_
_
_
__
_
__
_
_
_
___
_
__
_
___
_
_
_
_
_
_____
_
__
_
_
_
_
_
__
___
_
_
____
_______
_
_
_
___
_
__
__
___
_
_
_
__
__
__
___
_
_
__
____
_
___
____
_
_
___
_
___
_
_
____
__
__
___
___
________
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
____
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
______
_
_
_
_
_
_
_
_
____
_
__
_
__
___
__
_ __
_
_
_
_
_
___
_
____
__
_____
__
__
__
_
_
__
_______
__
___
____
_
__
__
_
_
___
_
_
__
_____
_
__
__
__
_
_____
_
___
____
__
_
__
__
____
_ _
_
__
_
_
_
__
_
_
_
_
_
__
_
_
__
_
__
_
________
__
_
____
_
__
_
__
_
__
___
___
_
__
_
_
_
_
__
__
_
_
_
_
_
__
__
_
_
_
___
_
__
_
___
_
_
_
_____
_
_
_
__
_
_
_
_
_
_____
_
_
_
_
__
__
_____
_
_
_
__
__
__
_____
__
_
__
_
___
___
__
__
____
_
_
__
___
_
_
_
___
_
__
_
_
_
__
__
___
_
___
__
_____
____
__ _
__
_
_
_
_
_
_
_
_
____
___
_
_
__
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
__
_
_
_
_
__
_
_
_
_
__
_
_
__
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
____
_
__
_
__
_____
_
__
_
_
_
_
_
____
___
_
__
__
_
___
_
__
___
_
________
_
__
___
_
___
_
__
_
_
_
_
____
_
__
_____
_
_
_
__
__
_
____
_
_
______
_
__
_
_
___
____
_ _
_
_
_
_
_
___
_
_
_
_
_
__
_
_
___
__
_
_______
_
__
_
____
_
__
_
__
___
___
___
_
__
_
_
__
____
_
_
_
_
_
__
__
_
_
_
_
___
_
_
_
___
_
_
_
_____
__
_
_
_
_
_
_
_
_
_____
_
___
_
_
__
_____
_
_
_
__
_
_
_
_
__
_____
_
__
__
_
_
___
__
_
_
___
_
_
_
__
___
_
_
_
___
_
___
_
_
_
_
__
___
_
___
___
_
___
_
__
_
_
_ _
_
_
_
_
_____
_
_
_
_
_
_
__
_____
_
_
_
__
_
_
_
_
__
__
_
__
_
__
__
__
__
_
__
_
_
__
__
_
_
__
__
_
_
_
_
___
_
___
_
_
_
_
__
___
_
___
___
___
_
____
__
__
_
_
_
_
_
__
__
___
_
_
_
__
_
___
_
__
_
__
_
__
______
_
_
_
____
__
_
_
__
_
_
_
_
___
_
_
__
_
_
___
_
__
__
__
_
_____
_
___
____
__
_
_
___
_____
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
_
__
_
__
_
_
_____
_
_
__
_
_
___
_
__
_
__
_
__
___
___
_
__
_
_
__
____
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
__
___
_
_
_
_____
_
_
_
__ _
_
_
___
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
_
__
_
_
_
_
_
__
_
_
__
__
_
_
_
__
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
____
_
__
____
____
_ _
_
_
_
_
_____
_
_
_
_
_
___
_____
_
_
_
__
_
_
_
_
__
__
_
__
_
_
_
__
__
___
__
_
_
__
__
_
_
_
_
__
_
_
_
_
___
_
___
_
_
_
_
__
___
_
___
__
___
_
_
_
__
_
__
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
_
__
_
__
_
_
_
____
_
_
__
_
_
___
_
__
_
__
_
__
___
__
__
__
_
_
__
__
__
_
_
_
_
___
__
_
_
_
_
__
_
_
__
___
_
_
__
_
___
_
_
_
_
_
__
_
_
_
_
_
____
__
_
_
_
_
_
_
_
___
_
__
_
_
_
_
__
______
___
___
_
_
_
_
_
__
_
_
_
_
___
_
_
_
_
__
___
___
_
_
__
_
____
_
_
___
____
__
_
_
_______
_
_
_
_
_
_
_
___
_
_
_
_
_
_
___
_____
_
_
_
__
_
_
_
_
__
___
__
_
__
__
_
_
__
_
__
_
_
____
_
_
__
___
_
_
_
___
_
___
_
_
_
_
__
___
_
___
__
_
__
_
_
_____
_
Artificial (100): SVM−RFE c/MRMR
V1
V26
V75
V10
0V
50V
74V
99V
49V
73V
98V
48V
72V
97V
47V
71V
96V
46V
70V
95V
45V
69V
94V
44V
68V
93V
43V
67V
92V
42V
66V
91V
41V
65V
90V
40V
64V
89V
39V
63V
88
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
_______________________________________
_
______
_
_____________________________________________________ ____
_
__
___
_
_
________
_
__
_
______
_
___
_
_
__
___
___
_____
_
_
__
_
__
____
_________
__
_
____
_____
_
__
___
_______
__
_
_
_
_
_
_
__
__
_
_
_
_
_
_
__
_
_
_
__
_
_
_
_
_
_
_
_
___
_
_
_
___
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
___
___
_
__
_
_
______
_
__
__
___
___
_
_
_
____
_
___
_
_
__
__
_
_
__
_
_
___
_
_
_
_
__
_
__
_
__
_
_
___
_
_
_
_
_
_
__
__
_
_
_
____
__
__
_
_
_
__
_
_
_
_
__
___
___
__
_
_
____
_
__
___
__
____
_
_
____
_
_
_
_
_
_ ____
_
_
_
___
_
_
_
_
______
_
_
_
_
__
_
__
_
_
_
_
_
_
_
__
_
_
_
___
__
_
__
_
_
__
_
__
____
__
___
____
__
_
____
___
_
_
_
_
_
___
__
_
___
_
__
_
_
_
_
_
_
__
__
_
_
_
_
_
_
_
_
_
_
_
__
__
_
_
_
_
_
_
___
_
_
_
___
__
_
__
_
_
_
__
_
____
_
_
_
_
_
_
_
_
___
___
___
_
_
______
_
__
__
___
___
_
_
_
____
_
___
_
_
__
__
_
_
__
_
_
___
_
_
_
_
__
_
__
_
__
_
_
___
_
_
_
_
_
_
__
__
_
_
_
____
__
__
_
_
_
__
_
_
_
_
__
___
___
__
_
_
____
_
__
___
__
____
_
_
____
_
_
_
_
_
_ ____
_
_
_
___
_
_
_
_
______
_
_
_
_
__
_
__
_
_
_
_
_
_
_
__
_
_
_
___
__
_
__
_
_
__
_
__
____
__
___
____
__
_
____
___
_
_
_
_
_
___
__
_
___
_
__
_
_
_
_
_
_
__
__
_
_
_
_
_
_
__
_
_
_
__
_
_
_
_
_
_
_
_
___
_
_
_
___
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
___
___
_
__
_
_
______
_
__
__
___
___
_
_
_
____
_
___
_
_
__
__
_
_
__
_
_
___
_
_
_
_
__
_
__
_
__
_
_
___
_
_
_
_
_
_
__
__
_
_
_
____
__
__
_
_
_
__
_
_
_
_
__
___
___
__
_
_
____
_
__
___
__
____
_
_
____
_
_
_
_
_
_ ____
_
_
_
___
_
_
_
_
______
_
_
_
_
__
_
__
_
_
_
_
_
_
_
__
_
_
_
___
__
_
__
_
_
__
_
__
____
__
___
____
__
_
____
___
_
_
_
_
_
___
__
_
___
_
__
_
_
_
_
_
_
__
__
_
_
_
_
_
_
_
_
_
_
_
__
__
_
_
_
_
_
_
___
_
_
_
___
__
_
__
_
_
_
__
_
____
_
_
_
_
_
_
_
_
___
___
___
_
_
______
_
__
__
___
___
_
_
_
____
_
___
_
_
__
__
_
_
__
_
_
___
_
_
_
_
__
_
__
_
__
_
_
___
_
_
_
_
_
_
__
__
_
_
_
____
__
__
_
_
_
__
_
_
_
_
__
___
___
__
_
_
____
_
__
___
__
____
_
_
____
_
_
_
_
_
_ ____
_
_
_
___
_
_
_
_
______
_
_
_
_
__
_
__
_
_
_
_
_
_
_
__
_
_
_
___
__
_
__
_
_
__
_
__
____
__
___
____
__
_
____
___
_
_
_
_
_
___
__
_
___
_
__
_
_
_
_
_
_
__
__
_
_
_
_
_
_
_
_
_
_
_
__
__
_
_
_
_
_
_
___
_
_
_
___
__
_
__
_
_
_
__
_
____
_
_
_
_
_
_
_
_
___
___
___
_
_
______
_
__
__
___
___
_
_
_
____
_
___
_
_
__
__
_
_
__
_
_
___
_
_
_
_
__
_
__
_
__
_
_
___
_
_
_
_
_
_
__
__
_
_
_
____
__
__
_
_
_
__
_
_
_
_
__
___
___
__
_
_
____
_
__
___
__
____
_
_
____
_
_
_
_
_
_ ____
_
_
_
___
_
_
_
_
______
_
_
_
_
__
_
__
_
_
_
_
_
_
_
__
_
_
_
___
__
_
__
_
_
__
_
__
____
__
___
____
__
_
____
___
_
_
_
_
_
___
__
_
___
_
__
_
_
_
_
_
_
__
__
_
_
_
_
_
_
__
_
_
_
__
_
_
_
_
_
_
_
_
___
_
_
_
___
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
___
___
_
__
_
_
______
_
__
__
___
___
_
_
_
____
_
___
_
_
__
__
_
_
__
_
_
___
_
_
_
_
__
_
__
_
__
_
_
___
_
_
_
_
_
_
__
__
_
_
_
____
__
__
_
_
_
__
_
_
_
_
__
___
___
__
_
_
____
_
__
___
__
____
_
_
____
_
_
_
_
_
_ ____
_
_
_
___
_
_
_
_
______
_
_
_
_
__
_
__
_
_
_
_
_
_
_
__
_
_
_
___
__
_
__
_
_
__
_
__
____
__
___
____
__
_
____
___
_
_
_
_
_
___
__
_
___
_
__
_
_
_
_
_
_
__
__
_
_
_
_
_
_
__
_
_
_
__
_
_
_
_
_
_
_
_
___
_
_
_
___
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
___
___
_
__
_
_
______
_
__
__
___
___
_
_
_
____
_
___
_
_
__
__
_
_
__
_
_
___
_
_
_
_
__
_
__
_
__
_
_
___
_
_
_
_
_
_
__
__
_
_
_
____
__
__
_
_
_
__
_
_
_
_
__
___
___
__
_
_
____
_
__
___
__
____
_
_
____
_
_
_
_
_
_ ____
_
_
_
___
_
_
_
_
______
_
_
_
_
__
_
__
_
_
_
_
_
_
_
__
_
_
_
___
__
_
__
_
_
__
_
__
____
__
___
____
__
_
____
___
_
_
_
_
_
___
__
_
___
_
__
_
_
_
_
_
_
__
__
_
_
_
_
_
_
_
_
_
_
_
__
__
_
_
_
_
_
_
___
_
_
_
___
__
_
__
_
_
_
__
_
____
_
_
_
_
_
_
_
_
___
___
___
_
_
______
_
__
__
___
___
_
_
_
____
_
___
_
_
__
__
_
_
__
_
_
___
_
_
_
_
__
_
__
_
__
_
_
___
_
_
_
_
_
_
__
__
_
_
_
____
__
__
_
_
_
__
_
_
_
_
__
___
___
__
_
_
____
_
__
___
__
____
_
_
____
_
_
_
_
_
_ ____
_
_
_
___
_
_
_
_
______
_
_
_
_
__
_
__
_
_
_
_
_
_
_
__
_
_
_
___
__
_
__
_
_
__
_
__
____
__
___
____
__
_
____
___
_
_
_
_
_
___
__
_
___
_
__
_
_
_
_
_
_
__
__
_
_
_
_
_
_
__
_
_
_
__
_
_
_
_
_
_
_
_
___
_
_
_
___
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
___
___
_
__
_
_
______
_
__
__
___
___
_
_
_
____
_
___
_
_
__
__
_
_
__
_
_
___
_
_
_
_
__
_
__
_
__
_
_
___
_
_
_
_
_
_
__
__
_
_
_
____
__
__
_
_
_
__
_
_
_
_
__
___
___
__
_
_
____
_
__
___
__
____
_
_
____
_
_
_
_
_
_ ____
_
_
_
___
_
_
_
_
______
_
_
_
_
__
_
__
_
_
_
_
_
_
_
__
_
_
_
___
__
_
__
_
_
__
_
__
____
__
___
____
__
_
____
___
_
_
_
_
_
___
__
_
___
_
__
_
_
_
_
_
_
__
__
_
_
_
_
_
_
__
_
_
_
__
_
_
_
_
_
_
_
_
___
_
_
_
___
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
___
___
_
__
_
_
______
_
__
__
___
___
_
_
_
____
_
___
_
_
__
__
_
_
__
_
_
___
_
_
_
_
__
_
__
_
__
_
_
___
_
_
_
_
_
_
__
__
_
_
_
____
__
__
_
_
_
__
_
_
_
_
__
___
___
__
_
_
____
_
__
___
__
____
_
_
____
_
_
_
_
_
_ ____
_
_
_
___
_
_
_
_
______
_
_
_
_
__
_
__
_
_
_
_
_
_
_
__
_
_
_
___
__
_
__
_
_
__
_
__
____
__
___
____
__
_
____
___
_
_
_
_
_
___
__
_
___
_
__
_
_
_
_
_
_
__
__
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
___
_
_
_
___
__
_
_
_
_
_
_
__
_
____
_
_
_
_
_
_
_
_
___
___
_
__
_
_
______
_
__
__
___
___
_
_
_
____
_
___
_
_
__
__
_
_
__
_
_
___
_
_
_
_
__
_
__
_
__
_
_
___
_
_
_
_
_
_
__
__
_
_
_
____
__
__
_
_
_
__
_
_
_
_
__
___
___
__
_
_
____
_
__
___
__
____
_
_
____
_
_
_
_
_
_ ____
_
_
_
___
_
_
_
_
______
_
_
_
_
__
_
__
_
_
_
_
_
_
_
__
_
_
_
___
__
_
__
_
_
__
_
__
____
__
___
____
__
_
____
___
_
_
_
_
_
___
__
_
___
_
__
_
_
_
_
_
_
__
__
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
___
_
_
_
___
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
___
___
_
__
_
_
______
_
__
__
___
___
_
_
_
____
_
___
_
_
__
__
_
_
__
_
_
___
_
_
_
_
__
_
__
_
__
_
_
___
_
_
_
_
_
_
__
__
_
_
_
____
__
__
_
_
_
__
_
_
_
_
__
___
___
__
_
_
____
_
__
___
__
____
_
_
____
_
_
_
_
_
_ ____
_
_
_
___
_
_
_
_
______
_
_
_
_
__
_
__
_
_
_
_
_
_
_
__
_
_
_
___
__
_
__
_
_
__
_
__
____
__
___
____
__
_
____
___
_
_
_
_
_
___
__
_
___
_
__
_
_
_
_
_
_
__
__
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
___
_
_
_
___
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
___
___
_
__
_
_
______
_
__
__
___
___
_
_
_
____
_
___
_
_
__
__
_
_
__
_
_
___
_
_
_
_
__
_
__
_
__
_
_
___
_
_
_
_
_
_
__
__
_
_
_
____
__
__
_
_
_
__
_
_
_
_
__
___
___
__
_
_
____
_
__
___
__
____
_
_
____
_
_
_
_
_
_
Artificial (100): FCBF
Figura 10: Dataset Artificial (100 puntos): distribucion de posiciones quetoma cada variable en el ranking realizado por cada uno de los metodoscomparados.
42
Artificial (25) - Selección
Número de variables
Err
or
5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 1000.00
0.05
0.10
0.15
0.20
0.25
0.30
0.35
0.40
RFE
SRFE
MRMR
FCBF
Artificial (25) - Selección
Número de variables
Err
or
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 200.00
0.05
0.10
0.15
0.20
0.25
0.30
0.35
0.40
Figura 11: Dataset Artificial (25 puntos): nivel de error en funcion del nume-ro de variables seleccionadas. El panel superior muestra la figura completamientras que el inferior muestra en detalle el comienzo de la figura.
43
Art
ific
ial 2
5 -
Est
abili
dad
SR
FE
Var
iab
le
Probabilidaddeestarentrelasmejorescuatrovariables
V1V26V51V76V15V16V37V12V18V98
V2
V3
V4
V5
V6
V7
V8
V9V10V11
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
Art
ific
ial 2
5 -
Est
abili
dad
FC
BF
Var
iab
le
Probabilidaddeestarentrelasmejorescuatrovariables
V51
V1V26V76V75V10
0V74V99V25V24V50V49V73V98V48V23
V2
V3
V4
V5
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
Art
ific
ial 2
5 -
Est
abili
dad
RF
E
Var
iab
le
Probabilidaddeestarentrelasmejorescuatrovariables
V12V15V16V49V18V64V59V25V38V50V43V76V27V37V17V23V66V74V31V33
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
Art
ific
ial 2
5 -
Est
abili
dad
MR
MR
Var
iab
le
Probabilidaddeestarentrelasmejorescuatrovariables
V100
V75V99V74V73V98V72V97V50V49V48V47V25V22V23V24
V1
V2
V3
V4
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
Figura 12: Dataset Artificial (25 puntos): estabilidad de las soluciones. Paracada metodo se muestra la probabilidad de cada de variable de estar selec-cionada entre las primeras cuatro.
44
V12
V15
V49
V16
V18
V38
V24
V39
V17
V43
V25
V59
V23
V50
V30
V37
V69
V11
V14
V40
V22
V32
V27 V
6V
31V
36 V5
V35 V
8V
33V
42V
46V
10 V3
V13
V34
V48 V
2V
7V
57
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
_
_
__
_
__
_
_
_
_
_
____
_
____
_
__
_______
_
_
_
____
____
_
_
____
_
___
_
__
___
____
_
___
____
__
_
_
_
_
_____
_____
_
___
_
___
_
_
__
__
_
_
____
_
_
_
_
_
_
_
_
_
_
_
____
__
_
_
_
__
__
__
_
_______
_
_
__
__
____
_
_
_
__
__
_
_
_
__
_
_
_
_
__
_
___
__
_
_
___
_
_
_
_
___
__
_
_
_
___
__
__
_
_
_
_
_
_
__
_
_
___
_
_
_
__
_
__
_
____
___
_
__
_
______
_
_
_
_
___
_
_
__
_
_
_
_
_
__
__
__
_
______
____
__
_
_
__
___
_
_
_
_
_____
__
_
___
__
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
__
_
__
_
_
__
_
_
_
_
_
_
___
_
_
_
_
_
_
__
_
_
_
_
_
_
__
_
_
__
_
_
_
_
__
_
_
___
_
_
__
_
_
__
__
_
__
_
_
__
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
__
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
___
_
_
__
_
__
___
_
_
_
_
_
_
_
__
_
_
_
_
__
_
__
__
_
_
_
_
_
_
_
__
_
_
_
_
___
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
___
__
_____
_
_
_
_
_
___
__
_
___
_
_
_
_
_
_
___
_
_______
___
_
_
___
_
__
__
__
_
_
_
_
_
__
__
_
__
_
__
____
__
__
_
_
_
_
_
_
_
__
_
___
_
__
_
_
_
_
_
_
___
_
_
_
__
___
___
_
_
_
_
_
_
____
_
___
__
_
_
__
_
__
_
__
_
___
__
_
_
_
___
_
_
_
_
_
_
_
_
_
__
_
_
____
__
__
_
__
_
_
_
__
_
__
_
_
_
__
_
___
_
_
_
__
_
_
_
_
_
_
_
___
__
_
_
__
_
_
_
__
_
_
__
__
_
_
_
_
__
__
_
_
_
____
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
__
_
_
___
_
__
_
__
_
__
__
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
__
__
_
_
_
_
_
_
_
_
_
___
__
_
__
_
_
_
__
_
_
_
_
_
_
_____
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
___
_
_
_
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
__
_
__
__
_
__
___
_
_
___
_
__
_
_
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
__
_
___
_
_
___
___
_
__
_
_
_
_
__
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
_
___
__
_
_
_
_
_
_
_
_
_
__
_
_
____
_
_
__
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
__
_
_
__
_
__
_
_
_
_
_
_
_
_
___
_
_
_
_
_
__
_
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
__
_
___
_
_
_
_
_
_
_
_
_
___
_
__
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
__
_
_
_
__
__
_
_
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
__
_
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
__
_
__
_
___
_
_
_
_
_
___
_
_
__
_
_
__
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
___
_
_
__
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
__
_
_
___
_
_
_
_
_
_
_
_
__
__
_
__
_
_
__
_
_
__
_
_
_
__
_
_
_
_
_
_
_
_
__
_
_
__
_
_
__
_
_
_
__
_
_
_
__
_
_
_
_
__
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
__
_
_
_
__
_
___
_
_
_
_
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
____
_
_
__
__
_
_
_
_
_
__
_
_
_
__
_
_
_
__
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
___
_
_
_
__
_
_
_
_
_
_
_
__
_
___
_
__
__
_
_
___
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
___
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
__
_
_
_
_
_
_
_
_
_
__
_
__
__
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
_
_
_
__
__
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
__
_
_
__
_
_
_
_
_
_
_
_
__
_
__
_
__
_
_
_
_
_
_
_
__
__
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
___
_
__
_
_
_
__
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
__
_
___
____
_
_
_
_
_
_
__
___
_
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_
_
__
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
__
__
_
_
_
___
_
___
_
____
_
__
_
_
_
_
_
__
_
_
__
_
_
_
_
_
_
__
_
___
___
_
_
_
_
__
_
_
_
_
_
_
_
__
__
_
__
__
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
_
__
_
_
_
_
__
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
__
_
_
_
_
___
___
_
_
_
_
_
_
_
___
_
_
__
__
_
___
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
_
____
__
_
_
_
_
_
__
_
___
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
__
___
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
__
__
_
_
_
_
_
_
_
___
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
__
_
_
_
_
_
_
_
_
_
__
_
_
___
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
__
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
__
_
_
_
_
_
__
__
_
_
_
__
__
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
__
_
_
_
___
_
_
_
_
__
_
__
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
__
_
_
_
_
_
_
___
___
_
_
_
__
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
___
_
_
__
_
_
_
_
__
__
_
__
_
_
_
_
_
___
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
_
__
____
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
_
_
_
_
____
_
___
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
__
_
_
_
___
_
_
_
_
_
_
__
_
_
_
_
_
__
__
_
_
_
_
_
_
_
_
___
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
__
_
_
_
_
_
___
__
_
__
__
_
___
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
_
___
____
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
__
___
__
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
___
_
_
_
___
_
_
_
_
__
_
__
_
__
__
_
_
__
_
_
_
_
_
_
__
__
__
_
_
_
__
_
_
__
_
_
__
_
_
__
_
_
__
_
_
_
_
__
_
_
_
_
_
___
_
_
__
_
_
_
__
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
__
__
_
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
__
_
_
_
_
_
_
_
__
_
_
_
_
_
___
_
_
_
_
_
__
_
_
_
_
_
__
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
___
_
____
_
_
_
_
_
__
__
_
_
_
_
_
_
___
_
_
_
_
_
__
_
___
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
__
_
_
_
_
_
_
_
_
_
_
__
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
__
_
_
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
_
_
__
_
_
__
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_
_
_
_
___
_
_
_
_
_
_
_
__
__
__
_
__
_
_
_
_
__
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
__
_
_
_
__
_
_
_
_
_
__
_
_
_
_
_
___
_
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
___
_
_
___
__
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
__
_
_
_
_
_
_
_
___
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
_
_
_
___
_
_
_
_
_
_
_
_
___
_
_
_
__
_
_
_
_
_
_
_
_
_
___
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
__
__
_
___
_
____
_
_
_
_
_
__
_
_
__
___
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
__
__
__
_
_
_
_
__
_
_
_
_
_
_
__
__
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
__
_
___
_
_
_
_
_
_
_
_
__
_
__
___
_
_
_
_
_
__
___
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_ _
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
__
__
_
_
_
_
____
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
__
__
__
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
___
_
_
_
_
__
_
_
_
_
_
__
_
__
_
_
__
__
_
_
_
__
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
__
_
_
__
_
_
_
_
_
_
_
_
__
_
_
__
_
_
__
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
__
__
_
_
_
_
_
_
Artificial (25): RFE
V1
V26
V51
V76
V12
V15
V16
V49
V18
V24
V38
V43
V17
V39
V25
V23
V59
V50
V37
V30
V11
V40
V14
V36
V22
V31 V
8V
6V
32V
69V
27 V5
V42
V10 V
3V
33V
35V
46V
13V
48
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
____________________________________________________________________________________________________
____________________________________________________________________________________________________ _
_______________________________________________________________________________________
______
_
_____ _________
_________
_
______________
_
____________________________________________________
_
_____________
_
_
__
_
___
_
__
_
____
_
_____
_
_
___
_
___
_
_
_
________
_
_
_____
_
__
__________
_
_______
_
_
_
_
_
_
_
____
___
______
_
_
_
_
_
_
__
__
_
_
_
____
_
_
_
_
_
__
_
_
_
____
__
_
_
_
__
__
__
_
__
___
__
_
_
_
___
____
_
_
___
__
_
___
_
_
_
_
_
___
___
_
_
_
_
_
__
_
_
_
_
__
___
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
__
_
__
_
__
_
__
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
__
__
_
_
_
__
__
___
_
_
__
_
_
__
__
_
__
_
_
__
_
_
_
__
__
_
_
_
__
_
_
_
_
_
_
__
__
_
_
_
_
_
_
_
____
_
_
__
__
__
_
____
__
_
___
_
___
___
_
_
_
_
___
_
_
__
_
_
_
_
_
______
_
_______
_
__
___
_
___
__
_
_
_
___
___
__
_
__
_
__
_
_
__
_
_
_
_
_
_
__
_
__
_
__
_
_
__
__
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
___
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
__
_
__
_
_
_
__
_
_
_
__
_
_
_
_
_
_
_
__
_
__
_
_
_
__
_
___
_
_
_
_
____
___
__
__
_
_
_
__
_
_
__
_
_
_
__
_
_
_
__
_
__
_
___
_
_
_
_
_
_
_
_
__
_
_
_
_
_
__
__
_
_
__
__
__
__
_
__
_
_
_
____
_
_
_
_
_
_
_
___
_
_
__
_
_
_
_
_
__
____
__
_
_
_
_
___
_
_
_
_
__
__
_
_
_
_
_
__
___
_
____
____
_
___
_
_
_
__
__
_
_
_
_
_
___
_
_
__
_
_
_
___
_
__
__
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
___
_
_
__
___
_
_
___
_
__
_
_
_
_
__
_
__
_
_
__
_
_
__
_
_
_
__
_
__
_
_
_
_
_
_
___
__
_
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
___
__
_
_
_
_
_
_
_
____
__
_
__
_
_
_
_
_
_
_
__
_
_
___
_
_
_
_
_
_
__
_
_
_
___
_
_
_
_
_
_
___
_
_
_
_
_
_
_
_
__
___
_
_
_
_
_
__
_
__
_
_
_
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
__
___
__
_
_
_
_
___
_
_
__
____
_
_
_
_
__
_
_
_
__
__
__
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
__
_
__
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
_
_
_
__
___
_
_
_
_
_
_
__
___
_
_
____
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
__
_
_
__
_
__
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
__
_
_
___
_
_
_
_
_
_
_
__
_
__
_
_
_
__
_
_
_
_
_
__
_
__
_
_
_
_
_
_
___
_
___
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
_ _
_
__
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
____
_
_
_
_
_
__
_
_
_
_
__
_
_
_
___
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
__
__
_
_
_
_
_
_
_
__
_
_
_
__
__
_
_
_
_
__
_
__
__
_
__
_
_
__
_
_
_
_
_
_
_
_
__
_
_
___
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
___
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
__
_
_
__
_
_
__
_
__
__
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
__
__
__
__
_
_
_
__
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
__
_
_
_
__
_
__
__
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
_
____
_
_
____
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
__
___
__
_
_
_
____
_
_
__
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
_
__
_
__
_
_
_
_
_
_
_
_
___
_
__
_
_
__
__
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_
_
_
_
_
___
_
___
_
_
_
_
_
_
_
__
_
__
_
_
_
_
__
_
__
__
__
_
_
_
___
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
_
__
_
_
__
___
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
__
___
___
____
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
___
_
__
_
_
__
_
_
_
__
_
__
_
_
_
__
_
_
_
_
_
__
_
_
___
_
____
_
_
_
_
_
___
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
___
____
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
___
_
____
_
_
_
_
_
__
__
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
_
_
_
_
___
___
_
_
_
_
_
_
_
___
_
_
___
_
_
__
_
_
_
_
_
_
_
__
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
_
_
___
__
_
_
_
_
_
_
_
_
___
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
__
_
_
_
_
_
_
___
_
___
_
___
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
__
_
_
_
_
__
__
_
__
_
_
_
__
_
_
_
_
_
_
_
_
_
_
__
_
___
_
_
_
___
__
_
__
_
_
_
_
_
__
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
___
_
_
__
_
_
__
_
_
__
_
_
_
_
_
_
_
__
_
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
__
__
_
_
_
_
_
__
___
_
_
_
___
_
_
_
_
_
__
_
_
_
_
___
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
__
_
_
_
__
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
_
__
_
_
_
__
_
_
_
___
____
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
__
__
__
_
__
_
__
_
_
_
_
_
_
_
____
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
__
_
__
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
__
_
_
__
_
_
_
_
_
_
_
_
_
_
__
_
_
___
_
_
_
_
_
___
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
__
__
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
__
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
__
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
__
_
___
_
__
_
_
____
_
_
_
_
_
__
_
_
_
_
_
_
___
__
_
_
_
__
_
_
_
_
_
_
_
_
___
_____
_
_
_
_
_
__
_
_
_
_
_
_
_
___
_
_
_
_
_
_
__
___
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
__
_
___
_
_
__
_
_
_
_
_
__
_
_
_
__
__
_
_
_
_
_
_
_
__
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
_
_
__
_
_
_
_
_
_
_
_
__
_
_
_
__
__
_
_
_
_
_
_
_
__
__
_
__
_
_
__
_____
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
_
_
_
__
_
__
_
_
__
_
_
_
_
__
_
_
_
_
_
_
__
_
_
__
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
__
__
_
___
_
__
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
__
__
_
_
_
___
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
_
_
_
___
_
__
_
_
__
_
_
_
___
_
_
_
_
_
____
_
_
_
_
____
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
___
_
_
_
__
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
__
____
_
_
_
_
_
_
_
_
__
__
_
__
_
_
_
__
__
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
__
_
_
_
_
__
__
_
__
_
_
_
__
_
_
_
__
__
_
___
_
_
_
_
_
__
___
_
_
_
_
_
_
_
__
_
_
_
__
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
__
___
_
_
___
_
_
__
_
__
_
_
___
___
_
__
__
__
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
__
_
_
_
___
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
__
__
_
_
_
_
___
_
_
_
_
_
_
_
_
__
_
__
_
_
_
___
_
_
_
_
_
_
_
___
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
Artificial (25): SRFE
V10
0V
99V
75V
98V
97V
74V
73V
96V
95V
94V
72V
93V
92V
71V
91V
70V
90V
89V
69V
50V
88V
68V
49V
87V
48V
67V
86V
66V
85V
47V
84V
65V
83V
64V
82V
46V
63V
81V
62V
61
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
_____
_
_
_____
_
_
_
__
_
__
_____
_
_
__
__
___
___
_
_
_
__
_
__
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
_
_
_
_____
_
_
_
_____
_
________
_
_ ______
_
_____
_
_
_
__
_
__
_____
_
_
_
___
___
___
_
_
_
_
_
_
__
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
___
_
_
_
_____
_
_
_
____
_
_
________
_
_
_
_
_
__
_
_
_
___
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
___
_
___
_
_
_
___
_
_
__
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
___
____
_
__
_
_
_
__
_
_
_
_
_
_
_
_
_
____
______
_
_
____
_
_
_
_
_
_
_
_
_
____
_
_
___
_
___
_
_
_
_
__
_
_
_
__
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
____
_
_
_
_
____
_
_
______
__
_
_ ______
_
_
____
_
_
_
_
_
_
_
_
_
____
_
_
_
__
_
___
_
_
_
_
__
_
_
_
__
_
_
_
__
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
____
_
_
_
_
____
_
_
______
__
_
_
_
_
_
_
_
_
_
_
___
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
___
_
___
_
_
_
___
_
_
__
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
___
_
__
_
__
__
_
_
__
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
___
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
___
_
___
_
_
_
___
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
___
_
__
_
_
_
__
_
_
__
_
_
_
_
_
___
_
_____
_
_
_
____
_
_
_
_
_
_
_
_
_
_
___
_
_
___
_
___
_
_
_
_
__
_
_
_
__
_
_
_
__
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
____
_
_
_
_
____
_
_
______
__
_
_ _____
_
_
_
____
_
_
_
_
_
_
_
_
_
__
__
_
_
_
__
_
___
_
_
_
_
__
_
_
_
__
_
_
_
__
__
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
____
_
_
_
_
_
___
_
_
______
__
_
_ _____
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
__
_
___
_
_
_
_
__
_
_
_
__
_
_
_
__
__
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
____
_
_
_
_
_
___
_
_
______
__
_
_
_
_
_
_
_
_
_
_
___
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
___
_
___
_
_
_
___
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
___
_
__
_
__
__
_
_
__
_
_
_
_
_
___
_
_____
_
_
_
___
_
_
_
_
_
_
_
_
_
_
_
___
_
_
___
_
__
_
_
_
_
_
__
_
_
_
__
_
_
_
__
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
____
_
_
_
_
_
__
_
_
_
_
_____
__
_
______
_
_
_
___
_
_
_
_
_
_
_
_
_
_
_
___
_
_
___
_
__
_
_
_
_
_
__
_
_
_
__
_
_
_
__
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
____
__
_
_
_
__
_
_
_
______
__
_
_
_
_
_
_
_
_
_
_
___
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
___
_
___
_
_
_
___
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
___
_
__
_
__
__
_
_
__
_
_
_
_
_
___
_
_____
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
___
_
_
___
_
__
_
_
_
_
_
__
_
_
_
__
_
_
_
__
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
___
_
__
_
_
_
__
_
_
_
___
___
__
_
_
_
_
_
_
_
_
_
_
___
_
_
_
__
_
_
_
_
_
_
__
_
_
_
___
_
___
_
_
_
___
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
___
_
__
_
__
__
_
_
__
_
_
_
_
_
___
_
_____
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
___
_
_
___
_
__
_
_
_
_
___
_
_
_
__
_
__
__
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
___
_
__
_
_
_
__
_
_
_
_
_____
__
_
______
_
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
__
_
__
_
_
_
_
___
_
_
_
__
_
__
__
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
___
_
__
_
_
_
__
_
_
_
_____
_
__
_
_
_
_
_
__
_
_
_
___
_
_
_
__
_
_
_
_
_
_
__
_
_
_
___
_
___
_
_
_
___
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
___
_
_
__
_
__
__
_
_
__
_
_
_
_
_
__
_
_
_
_
_
__
_
_
__
_
_
__
_
_
_
_
_
_
__
_
_
_
_
__
__
_
__
_
_
_
_
_
_
_
_
____
_
__
_
_
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
___
_____
_____
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
__
__
_
_
_
__
_
__
_
_
_
_
__
_
_
_
_
__
_
_
__
_
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
___
_
__
_
_
_
__
_
_
_
___
__
_
__
_
_
_
_
_
_
_
_
_
_
___
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
___
_
___
_
_
_
___
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
__
_
_
___
____
_
__
_
__
__
_
_
_
_
_
__
_
_
__
_
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
____
_
__
_
_
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
___
_____
_____
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
__
_
_
_
__
_
__
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
__
_
_
__
_
_
_
__
_
_
_
_
____
_
__
_
_
_
_
_
__
_
_
_
_
_
_
__
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_
_
_
_
_
_
_
_
_
__
_____
_
_
_
_
_
_
_
_
___
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
___
_
___
_
_
_
___
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
__
_
_
___
___
_
_
__
_
__
_
_
_
_
_
_
_
__
_
_
__
_
_
_____
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
__
_
_
___
_
__
_
_
_
_
__
_
_
_
_
__
_
_
_
__
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
__
_
_
__
_
_
_
__
_
_
_
_
__
__
_
__
_
_
_
_
_
_
_
_
_
_
___
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
___
_
___
_
_
_
___
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
__
_
_
___
___
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
__
_
_
_____
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
___
_
__
_
_
_
_
__
_
_
_
_
__
_
___
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
__
_
_
_
_
__
__
_
__
_
_
_
_
_
__
_
_
_
_
_
_
__
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
__
_
_
__
_
_
_
_
_
_
_
_
_
__
_____
_____
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
___
_
__
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
_
_
__
__
_
__
_
_
_
_
_
_
_
_
_
_
___
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
___
_
___
_
_
_
___
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
__
_
_
___
___
_
_
__
_
__
_
_
_
_
_
_
_
__
_
_
__
_
_
_____
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
___
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
__
_
_
_
_
__
__
_
__
_
_
_
_
_
_
_
_
_
_
___
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
___
_
___
_
__
___
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
__
_
_
___
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_
_
_____
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
___
_
__
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
__
_
_
_
_
__
__
_
__
_
_
_
_
_
__
_
_
__
_
_
__
__
_
_
_
_
__
_
_
_
___
__
_
_
_
_
_
_
_
_
__
_
__
_
_
_
__
_
_
_
_
_
_
_
___
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
__
_
_
__
_
_
_
_
_
_
_
_
_
__
_____
_
_
_
_
_
_
_
_
____
_
_
__
_
_
_
_
_
_
_
_
_
_
_
___
_
___
_
_
_
___
_
_
__
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
__
_
_
___
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_
_
_____
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
__
_
_
_
_
__
__
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
___
_
___
_
__
___
_
_
__
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
__
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_
_ _
_
_
_
_
_
_
_
_
_
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
___
_
___
_
__
_
__
_
_
__
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
__
_
_
___
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_
_
Artificial (25): SVM−RFE c/MRMR
V1
V51
V26
V76
V10
0V
99V
98V
97V
96V
95V
94V
93V
92V
91V
90V
89V
88V
87V
86V
85V
84V
83V
82V
81V
80V
79V
78V
77V
25V
50V
75V
24V
49V
74V
23V
48V
73V
22V
47V
72
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
_
_
__
____
_
_
_
_
_
______
_
_
_
_
_
_
_
____
_
__
_
______
__
_
_
_
_
___
____
_
__
_
_
_
_
__
_
__
__
___
_
__
_
__
____
_
_
_
__
_
_
_
__
_
_
_
___
____ _
_
__
_
_
_
______
_
__
_
_
_
_
_
___
_
_____
_
___
__
_
___
___
____
_
_
_
__
__
__
_
___
_
_
_
_
_
_
_
_
_
_
________
_
_
__
_
_
___
_
_
_
_
_
___
_____
_
__
_
_
_
_
__
_
_
_
__
_
_
_
_
___
_
__
_
___
_
_
_
_
__
_
__
__
_____
__
_
_
_
_
__
___
_
______
_
__
_
_
__
_
_
_
_
___
_
_
_
_
____
_
_
_
_
____
_
_
_
_
_
__
_
_____
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_____
__
_
_
_
_____
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
__
__
_
_
_
___
_
_
_
___
_
_
_
_
__
_
__
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
_
_
___
_
__
_
_
_____
__
_
_
__
__
_
__
_
__
_
_
_
_
__
_
_
_
_
_
__
__
__
_
_
_
__
___
_
__
_
_
___
_
_
_
_
__
_
_
_
_
__
_ __
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
_
_
___
_
__
_
_
_____
__
_
_
__
__
_
__
_
__
_
_
_
_
__
_
_
_
_
_
__
__
__
_
_
_
__
___
_
__
_
_
___
_
_
_
_
__
_
_
_
_
__
_ __
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
_
_
___
_
__
_
_
_____
__
_
_
__
__
_
__
_
__
_
_
_
_
__
_
_
_
_
_
__
__
__
_
_
_
__
___
_
__
_
_
___
_
_
_
_
__
_
_
_
_
__
_ __
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
_
_
___
_
__
_
_
_____
__
_
_
__
__
_
__
_
__
_
_
_
_
__
_
_
_
_
_
__
__
__
_
_
_
__
___
_
__
_
_
___
_
_
_
_
__
_
_
_
_
__
_ __
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
_
_
___
_
__
_
_
_____
__
_
_
__
__
_
__
_
__
_
_
_
_
__
_
_
_
_
_
__
__
__
_
_
_
__
___
_
__
_
_
___
_
_
_
_
__
_
_
_
_
__
_ __
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
_
_
___
_
__
_
_
_____
__
_
_
__
__
_
__
_
__
_
_
_
_
__
_
_
_
_
_
__
__
__
_
_
_
__
___
_
__
_
_
___
_
_
_
_
__
_
_
_
_
__
_ __
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
_
_
___
_
__
_
_
_____
__
_
_
__
__
_
__
_
__
_
_
_
_
__
_
_
_
_
_
__
__
__
_
_
_
__
___
_
__
_
_
___
_
_
_
_
__
_
_
_
_
__
_ __
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
_
_
___
_
__
_
_
_____
__
_
_
__
__
_
__
_
__
_
_
_
_
__
_
_
_
_
_
__
__
__
_
_
_
__
___
_
__
_
_
___
_
_
_
_
__
_
_
_
_
__
_ __
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
_
_
___
_
__
_
_
_____
__
_
_
__
__
_
__
_
__
_
_
_
_
__
_
_
_
_
_
__
__
__
_
_
_
__
___
_
__
_
_
___
_
_
_
_
__
_
_
_
_
__
___
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
_
_
___
_
__
_
_
_____
__
_
_
__
__
_
__
_
__
_
_
_
_
__
_
_
_
_
_
__
__
__
_
_
_
__
___
_
__
_
_
___
_
_
_
_
__
_
_
_
_
__
_ __
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
_
_
___
_
__
_
_
_____
__
_
_
__
__
_
__
_
__
_
_
_
_
__
_
_
_
_
_
__
__
__
_
_
_
__
___
_
__
_
_
___
_
_
_
_
__
_
_
_
_
__
_ __
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
_
_
___
_
__
_
_
_____
__
_
_
__
__
_
__
_
__
_
_
_
_
__
_
_
_
_
_
__
__
__
_
_
_
__
___
_
__
_
_
___
_
_
_
_
__
_
_
_
_
__
_ __
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
_
_
___
_
__
_
_
_____
__
_
_
__
__
_
__
_
__
_
_
_
_
__
_
_
_
_
_
__
__
__
_
_
_
__
___
_
__
_
_
___
_
_
_
_
__
_
_
_
_
__
_ __
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
_
_
___
_
__
_
_
_____
__
_
_
__
__
_
__
_
__
_
_
_
_
__
_
_
_
_
_
__
__
__
_
_
_
__
___
_
__
_
_
___
_
_
_
_
__
_
_
_
_
__
_ __
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
_
_
___
_
__
_
_
_____
__
_
_
__
__
_
__
_
__
_
_
_
_
__
_
_
_
_
_
__
__
__
_
_
_
__
___
_
__
_
_
___
_
_
_
_
__
_
_
_
_
__
_ __
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
_
_
___
_
__
_
_
_____
__
_
_
__
__
_
__
_
__
_
_
_
_
__
_
_
_
_
_
__
__
__
_
_
_
__
___
_
__
_
_
___
_
_
_
_
__
_
_
_
_
__
___
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
_
_
___
_
__
_
_
_____
__
_
_
__
__
_
__
_
__
_
_
_
_
__
_
_
_
_
_
__
__
__
_
_
_
__
___
_
__
_
_
___
_
_
_
_
__
_
_
_
_
__
_ __
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
_
_
___
_
__
_
_
_____
__
_
_
__
__
_
__
_
__
_
_
_
_
__
_
_
_
_
_
__
__
__
_
_
_
__
___
_
__
_
_
___
_
_
_
_
__
_
_
_
_
__
_ __
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
_
_
___
_
__
_
_
_____
__
_
_
__
__
_
__
_
__
_
_
_
_
__
_
_
_
_
_
__
__
__
_
_
_
__
___
_
__
_
_
___
_
_
_
_
__
_
_
_
_
__
_ __
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
_
_
___
_
__
_
_
_____
__
_
_
__
__
_
__
_
__
_
_
_
_
__
_
_
_
_
_
__
__
__
_
_
_
__
___
_
__
_
_
___
_
_
_
_
__
_
_
_
_
__
_ __
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
_
_
___
_
__
_
_
_____
__
_
_
__
__
_
__
_
__
_
_
_
_
__
_
_
_
_
_
__
__
__
_
_
_
__
___
_
__
_
_
___
_
_
_
_
__
_
_
_
_
__
_ __
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
_
_
___
_
__
_
_
_____
__
_
_
__
__
_
__
_
__
_
_
_
_
__
_
_
_
_
_
__
__
__
_
_
_
__
___
_
__
_
_
___
_
_
_
_
__
_
_
_
_
__
_ __
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
_
_
___
_
__
_
_
_____
__
_
_
__
__
_
__
_
__
_
_
_
_
__
_
_
_
_
_
__
__
__
_
_
_
__
___
_
__
_
_
___
_
_
_
_
__
_
_
_
_
__
___
__
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
_
_
_
_
_
___
_
__
_
_
_____
__
_
_
__
__
_
__
_
__
_
_
_
_
__
_
_
_
_
_
__
__
__
_
_
_
__
___
_
__
_
_
___
_
_
_
_
__
_
_
_
_
__
_ _
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
___
_
___
_
_
_
_
___
_
_
_
__
__
_
_
__
__
_
__
__
__
__
_
_
_
___
_
__
_
_
_
_
_
_
_
_
__
_
_
_
____
_
__ _
_
_
_
_
_
_
__
_
_
_
__
_
_
_
_
__
_
_
_
_
_
___
_
_
_
__
_
_
_
_
__
_
____
__
_
_
__
__
__
_
_
____
_
_
_
_
_
_
_
__
_
_
_
_
___
_
__
_
_
_
__
_
_
_
_
___
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
__
___
_
_
__
_
_
_
__
__
__
_
___
_
_
_
_
_
_
_
__
_
_
_
_
___
__
_
__
_
_
_
___
_
_
_
_
_
___
__
_
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
___
_
___
_
_
_
_
___
_
_
_
__
__
_
_
__
__
_
__
__
__
__
_
_
_
___
_
__
_
_
_
_
_
_
_
_
__
_
_
_
____
_
__ _
_
_
_
_
_
_
__
_
_
_
__
_
_
_
_
__
_
_
_
_
_
___
_
_
_
__
_
_
_
_
__
_
____
__
_
_
__
__
__
_
_
____
_
_
_
_
_
_
_
__
_
_
_
_
___
_
__
_
_
_
__
_
_
_
_
___
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
__
___
_
_
__
_
_
_
__
__
__
_
___
_
_
_
_
_
_
_
__
_
_
_
_
___
__
_
__
_
_
_
___
_
_
_
_
_
___
__
_
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
___
_
___
_
_
_
_
___
_
_
_
__
__
_
_
__
__
_
__
__
__
__
_
_
_
___
_
__
_
_
_
_
_
_
_
_
__
_
_
_
____
_
__ _
_
_
_
_
_
_
__
_
_
_
__
_
_
_
_
__
_
_
_
_
_
___
_
_
_
__
_
_
_
_
__
_
____
__
_
_
__
__
__
_
_
____
_
_
_
_
_
_
_
__
_
_
_
_
___
_
__
_
_
_
__
_
_
_
_
___
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
__
___
_
_
__
_
_
_
__
__
__
_
___
_
_
_
_
_
_
_
__
_
_
_
_
___
__
_
__
_
_
_
___
_
_
_
_
_
___
__
_
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
___
_
___
_
_
_
_
___
_
_
_
__
__
_
_
__
__
_
__
__
__
__
_
_
_
___
_
__
_
_
_
_
_
_
_
_
__
_
_
_
____
_
__ _
_
_
_
_
_
_
__
_
_
_
__
_
_
_
_
__
_
_
_
_
_
___
_
_
_
__
_
_
_
_
__
_
____
__
_
_
__
__
__
_
_
____
_
_
_
_
_
_
_
__
_
_
_
_
___
_
__
_
_
_
__
_
_
_
_
___
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
__
___
_
_
__
_
_
_
__
__
__
_
___
_
_
_
_
_
_
_
__
_
_
_
_
___
__
_
__
_
_
_
___
_
_
_
_
_
___
__
_
__
Artificial (25): FCBF
Figura 13: Dataset Artificial (25 puntos): distribucion de posiciones que tomacada variable en el ranking realizado por cada uno de los metodos compara-dos.
45
4.2. Datos reales
Los siguientes datasets corresponden a mediciones sobre problemas del
mundo real. En particular, se tratan problemas de espectrometrıa por su
cantidad de variables y problemas de colorimetrıa por sus altos niveles de
correlacion.
4.2.1. Espectrometrıa
Mele
Este dataset contiene mediciones sobre muestras de distintas especies de
manzanas realizadas con un espectrometro de masa de reaccion de trans-
ferencia de proton (PTR-MS) acoplado con un detector de tipo tiempo de
vuelo (TOF). El espectrometro mide la composicion del aire alrededor de la
manzana (el “olor”) y da como respuesta la proporcion de compuestos para
cada masa atomica desde 1 hasta 250 AMU, aproximadamente.
En este caso particular se analizaron 150 muestras de tres variedades dis-
tintas de manzanas. Se descartaron las masas con lectura cero y las masas
correspondientes al agua e isotopos, quedando un total de 714 variables en
el dataset. El objetivo fue discriminar las variedades de manzana en base al
perfil quımico de su olor. La Figura 14 muestra el heatmap de correlacio-
nes para una parte de las variables, donde se observa la tıpica correlacion
en espectrometrıa de masa entre pequenos grupos de variables, en general
isotopos o fracciones de un mismo compuesto.
Los resultados de este experimento muestran un subconjunto final optimo
de unas tres variables encontrado por RFE y SRFE, seguido de cerca por
FCBF y por ultimo por MRMR, que finaliza con un poco mas de nivel de
error (Figura 15).
46
Siendo un verdadero problema ancho, y si bien los niveles de error son
siempre bajos, ninguno de los metodos utilizados presenta una gran estabili-
dad en la seleccion salvo el metodo MRMR (Figuras 16 y 17). Este metodo,
sin embargo, produce casi el doble de error que RFE y SRFE con pocas
variables. Se puede ver tambien como el unico metodo que no penaliza las
redundancias (RFE) presenta un par de variables con alta correlacion entre
las seleccionadas (26.01 y 42.01).
47
X10
9.10
1795
2X
110.
1050
599
X20
5.19
6637
1X
206.
1970
201
X82
.073
7958
6X
135.
1173
75X
81.0
7045
229
X32
.997
2236
X29
.013
2097
1X
76.0
4771
476
X75
.043
6852
X71
.085
3028
X72
.089
1622
5X
90.0
6344
783
X89
.059
6474
1X
85.0
6644
812
X10
4.07
8930
9X
103.
0750
578
X11
8.09
5084
6X
117.
0911
35X
26.0
1541
424
X42
.010
3474
2X
86.1
0460
322
X85
.100
8120
6X
30.0
4214
362
X29
.038
3258
9X
42.0
4225
474
X41
.038
3293
9X
43.0
5348
098
X44
.057
3701
1X
27.0
2303
349
X40
.026
7227
X33
.993
6176
7X
31.9
8850
371
X57
.069
0355
3X
58.0
7343
86X
44.0
2166
X43
.017
0007
6X
63.0
3264
47X
62.0
3200
527
X62.03200527X63.0326447X43.01700076X44.02166X58.0734386X57.06903553X31.98850371X33.99361767X40.0267227X27.02303349X44.05737011X43.05348098X41.03832939X42.04225474X29.03832589X30.04214362X85.10081206X86.10460322X42.01034742X26.01541424X117.091135X118.0950846X103.0750578X104.0789309X85.06644812X89.05964741X90.06344783X72.08916225X71.0853028X75.0436852X76.04771476X29.01320971X32.9972236X81.07045229X135.117375X82.07379586X206.1970201X205.1966371X110.1050599X109.1017952
Mele
Figura 14: Mele: mapa de calor que muestra la correlacion entre las variablesdel dataset (solo un subconjunto del total). Se pueden distinguir varios gruposde dos variables, generalmente isotopos del mismo compuesto, y un par degrupos de mayor tamano.
48
Mele - Selección
Número de variables
Err
or
1 2 4 8 16 32 64 128 256 5120.00
0.02
0.04
0.06
0.08
0.10
0.12
0.14
0.16
0.18
RFE
SRFE
MRMR
FCBF
Mele - Selección
Número de variables
Err
or
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 200.00
0.02
0.04
0.06
0.08
0.10
0.12
0.14
0.16
0.18
Figura 15: Mele: nivel de error en funcion del numero de variables seleccio-nadas. El panel superior muestra la figura completa mientras que el inferiormuestra en detalle el comienzo de la figura.
49
Mel
e -
Est
abili
dad
SR
FE
Var
iab
le
Probabilidaddeestarentrelasmejorestresvariables X39
.033
1839
1
X71.0
8530
28
X47.0
1397
466
X38.9
6461
921
X59.0
2900
062
X45.9
9330
972
X94.0
9566
434
X85.0
2988
2
X101.
0952
975
X26.0
1541
424
X122.
0654
772
X29.0
7911
148
X72.0
8916
225
X83.0
8561
579
X220.
1901
913
X42.0
1034
742
X60.0
5226
773
X93.0
1356
9
X115.
1002
952
X28.0
3035
498
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
Mel
e -
Est
abili
dad
FC
BF
Var
iab
le
Probabilidaddeestarentrelasmejorestresvariables X47
.013
9746
6
X204.
1821
824
X79.0
4054
327
X83.0
8561
579
X38.9
6461
921
X45.9
9330
972
X122.
0654
772
X101.
0952
975
X203.
1776
201
X51.0
4468
807
X64.0
3584
281
X151.
1114
83
X72.0
8916
225
X73.0
6495
189
X115.
1002
952
X219.
1748
426
X13.0
0711
241
X13.0
0879
234
X14.0
1522
87
X15.0
0759
572
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
Mel
e -
Est
abili
dad
RF
E
Var
iab
le
Probabilidaddeestarentrelasmejorestresvariables X39
.033
1839
1
X101.
0952
975
X42.0
1034
742
X63.0
3264
47
X79.0
4054
327
X71.0
8530
28
X26.0
1541
424
X85.0
2988
2
X219.
1748
426
X83.0
8561
579
X72.0
8916
225
X122.
0654
772
X135.
1556
832
X74.0
6115
146
X47.0
1397
466
X64.0
3584
281
X151.
1114
83
X220.
1901
913
X88.0
7660
006
X221.
1813
915
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
Mel
e -
Est
abili
dad
MR
MR
Var
iab
le
Probabilidaddeestarentrelasmejorestresvariables X21
9.17
4842
6
X204.
1821
824
X279.
1581
698
X247.
2360
129
X220.
1901
913
X221.
1813
915
X245.
2253
197
X150.
0996
791
X203.
1776
201
X151.
1114
83
X203.
2287
93
X13.0
0711
241
X13.0
0879
234
X14.0
1522
87
X15.0
0759
572
X15.0
1396
584
X15.0
2293
466
X15.9
8635
394
X15.9
9471
241
X16.0
1886
427
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
Figura 16: Mele: estabilidad de las soluciones. Para cada metodo se muestrala probabilidad de cada de variable de estar seleccionada entre las primerastres.
50
X10
1.09
5X
39.0
331
X79
.040
5X
42.0
103
X85
.029
8X
74.0
611
X71
.085
3X
93.0
381
X63
.032
6X
26.0
154
X14
8.08
9X
122.
065
X64
.035
8X
55.0
393
X88
.076
6X
136.
022
X72
.089
1X
93.0
135
X43
.097
3X
83.0
856
X10
6.03
2X
59.0
290
X46
.065
3X
29.0
791
X47
.013
9X
57.0
690
X18
7.17
0X
32.0
573
X28
.030
3X
38.9
646
X58
.073
4X
121.
065
X94
.095
6X
77.0
053
X43
.017
0X
113.
096
X21
9.17
4X
44.9
971
X62
.032
0X
95.0
184
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
_
_
__
_
__
_____
__
__
_______
_____
_
________
___
______
_
__
_______________
____
____
____
_________
______
_
_
____
___ _____
_______________________________________________________________________________________________ ____
____________________________
___________
_
_________
_
______________________________________________ ____
____________
_
____________________________________________________________________________
_______ ________
________________
________
_
_
______
______________________________________________
____________
__ _____
_______________________________________________________________________
___________________
_
____ _
___________________________________
_
_
_
_____
_
___
__________________
_
_____________________________
_
___ __________
__________________________________________________________________________________________ ___
____
________
_______________________
______________
_
_
_
_
____
_____
_
__________________________________ ___
____________________________________________________________________
_____________________________
_
_
_____________________
_
___________
___________________________________
_
_______________
_
___
_
_________ __________________________________
______
_
_______________
_
____
________________________________
_
______ _
____
__
__
_
_
_
__
____
____
_
__
_
________
__
___
___
_
______
__________
_
_
_
_________
_
_
_
____
___
___
_________
___
_
___
_
_
__
_
_______________________________________________________________________________________________ _
_________
_________________
_
________
_________________
_
_
_
_____________________
_
________________
__
____ ____________________________________________________________________________________________________ _
___
_
______________
__
____
____
__
_______
_
__
_______
_
___
_
_________
_
______
_
_______________________
___
____ _
_
__
___________
______
_
_
___
__
_
___________
____________
_____
____
____
_
_____
_____________________________
_______
_
____________
_
____
_
_
___
_
___
_
_
__
_
__
_
____
_
______
___________
__
_____________
___________________
_
_______
_
____
_
_
_
_
_
__
___
_
____
_
_
_
_
______
_
_
__
_
__
___
_____
_____
__
_
___
_
_
____
_____
_
_
___
_
__
_
_
___
_
___
_
_
_
___
____
_________
_
_____________
____
______________
_
___________
_
_
_
________
___________________________
_____
____
_
__
___
_
__
_____
____
_
__
_
_________
_
____
_
_
_________
_
_____________
______
_
_
_
_____
__
__________
_
____
_
_______
__
__________________
_
____________________
_
_____________
_
______________________
_
____________
_
________ _
______________
_
____
_______
_
_____
__
___
_
___
_
_____________________
_
_______________
__
_
____________
_
_
___
________
______
________________
_____________
___________
___________
_____
_
___
____________
__________
____ __
_
_____
_________
_
_____
_
___
_
______
_
____________
_
___
_
_
____________________
_
___
___
___________
____
_____ _
_
_____
_
_
_
_____
__
_
____
_
____
_____
_____
___________
_
________
_
___
_____
__
_______
__
______
_______________
_
_ ____________________________________________________________________
________________________________ ___
_______
__
_____
_________
__
___
_
_______________________
__
__
__
_
___
_
________________
_
_________________ ____
__
_
_
____
__
__________
__
_
__
_____
________
_
____
__
_
_
_________
_______
_
_
___
____
_
______
____
_____________ ____
______________________________________________
___
_____________
__________
___
_____________________
__
_
_____
_
_
____________
_
___
_
__
__
_
__
_______
_
__
__
_
_________
_
_______
_
_
_________________
____
___
____
_
_____
____
_
__
___
_________
_
_____
____
__
____
_
__
_
_
____
____
_
__
_____
_
_
_
_____________
_________
__
_________________ _
______________
_
________
__
_
_____________
________
____
_
________
___________
______________________
______ _
_
__
_
___
____
___
_
__________
_
_____
________
_______
_
___
________
_______
_________
______
_______
_________
___ _
__
_
___
_
_
_
__
__
__
__
_
____
____
_
______
_
_____________
__
_
_
____
_____
_____
_______
_
__
______
__
_
________
_
__
__
_
_ ___
_
_
__
__
_
__
__
__
__
_
_____
_
__
____
_
_
_
_
______
__________________
______
___
_
_
__
______
_____
__
__
_
___
_
____
___
_
_
__
__
___
_
_
_
_
_
______
_
__
_
____
___
_
_
__
_
__
_
______
___
__
_
_
_
_
______
_
___
_
_
__
___
_
_
_
_
_
___
_
__
_
_
__
_
_
_
_
__
______
___
_______
___
_________________________
__
_
_______________
_
___________
___________________________
________
_________
_
_
_______
_____
_____
___________________
_
_______
_
___________________
_
________________________
Mele: RFE
X39
.033
1X
71.0
853
X85
.029
8X
59.0
290
X94
.095
6X
122.
065
X93
.038
1X
29.0
791
X13
6.02
2X
74.0
611
X26
.015
4X
106.
032
X79
.018
1X
28.0
303
X93
.013
5X
187.
058
X79
.040
5X
32.0
573
X84
.089
4X
77.0
053
X10
1.09
5X
16.0
261
X11
5.10
0X
187.
170
X46
.065
3X
64.0
358
X11
3.09
6X
73.0
649
X89
.941
7X
85.1
008
X13
8.01
5X
95.0
184
X35
5.12
9X
94.0
409
X34
.004
1X
121.
065
X14
8.08
9X
90.9
487
X17
3.17
0X
73.0
278
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
__________________________________
_
_________________________________________________________________
_
_________________
_
___________________________
_
____________
_
_
_
___
_
___
_
_______________
__
_
_
___________
____
__
_
_
________________
______
_
_____________________________
_
_______
_
_______________________________ ___
_______________________________________________
__________________________________
_
_______________ _____
_
_
_
____
_
____
____
_
_______
_
______________
__
__
_
_
_
_
______
_
_________________
_
_
__
_
_
___
____
_
______
_
_
_
_
_
__
_________________
_______
_
_____
_
______________
_
__
_
__
______________________
_________________
_
______ ____________________________________________________________________________________________________
_________________________________________________________________________
_
___
_
_________________
_____ ____
________________________________________________________________________________________________
_________
_
___________
_
__
______
_
__________
_
___________
_
__
____________________
___
__
_____________
_
_____ _
_
__
_
___
_
____
_
___
____
________
__
_
___
_
_
_
_
_
_
____
_
_____
_
___
___
___
__
_________
_
__
__
__
_____
_
_
___
_
__
_
__
_
___
_
_______________________
____
_
_____________________________________________________
___________________ _
______
____________________________________________________________
____________________________
_
__
__
_
_________
__
___
____
__
_
_____
_
_
__
___________
____
_
_____________________
_
__
_
_
___
________
_
_
_
_
_
_
_
___
_
__
__
_ ____________________________
_
______
_
__________________________________
_
_______
______________________
_
_
____
__________________
____________
_
_____
_
____________________________
_
____________
__
_
________
_
________
________
_____
_
______
_
___
_
__
_
___
___
___
_
____________________
_
____
____
________
_____
_
_
_
__
___
_
_______ _
_____________
__
___________________________
_
_
______________________________
__
____
_
__________________
____
_
_
_____
_
_____
_
__
_
_
__
___
_
_
_
_
_
__
_
__________
_
_______
_
__
__
__
_
_
_
___________
______
__
_
__
_
_
_
_
__
____
_
_
___
___________________________________
_________________
____________
______________________
_____
_
________
__
__
____
__
_
_
_
__
______
_
________________
_
_______________
_
__________
_
___________________________
______
_ ___
_
__
_
______
_
___
_
____
____
__
_____________
________
_
__________
_
_________
_
_
_
__
_
_____
_
_
_
____________
____ _
__
__
__
_
_
_________
____
___
_
_
_
____
_
_
______________
___
_
__
__
_
_
_
_
_
__
___
___
_
_
_
_
_
____
_
______
_
_____________
_
_____________
_
_
_
_
______________
_____
_
____________
_
_
___________________
___
____
_
____
____
________
______
___
___
_
________
__
___
___
_
_______________
_
_____________
_
_
_
__________
_______
_
__
__
____
_
__
_
_
_____________ __
__
_
_
_____
_
____
____
___
__
________
__
__________
________
__________
_
_
_______
_________
_
__
_
___
___
___
__
__
__ __
___
______
__
______
____
__
_
_
_
_
_____
_
____
____
_____
_
__
_
___
____________
_
_________
__
_
_
__
_
______
_____
_____
_______
_____
_
__
_
___
____
_
________
_
___
_
_____
_
__
___
_
_
_
__
_
______
__
_
__
_
_
_
__
__
__
_
_
_________
_______
_
_
_
__
___ _
__
__
___
_
______
_
__
_
_
_
______
___
___
___
_________
___
_
________
__________
_________
_
____
____
_
_
____
_
________
_
___
_
_
____
_____
_____
_
_
__
_
___
_
_
_
_
_
____________________
_
_
_
__
_____
__
_
_
___
_
__
_
_
_
__
_
_
_
_
__
_
_
_
______
__
_
_
___
__________________
_
______________________
_
___
______________
_______________
__
_________________
_____
_
_ ______
____
__
____
____
____________
_________
_
____
_____
_______________
___
_
_
_________________
____
__
__
_
_
__ _
_
__________
__
__
__
_____
_
__
_
_______
_
_
___
___
_
_________
_
___
_____
__
_____
_
__
_
____________
_
______
_
___
_
_
_
___
_
_______
______
_
__
_
_
______
________
__
__
____
_
____
_______
_________________
_
_____
__
_
____
_
_
_
__
___________ ___
___
_
_________
__
_
___
_
____
___
____
_
_______________
_
_____
____
_
__
_____
_
_
___________
_
_
_
_
___
_
_
_
_________
__
___
_______
__
____
__
_
_
____
_
_
__
_
__
________
_
___
__
_
_
_
_
_
__
__
_
__
_
___
___
_____
__
_____
_
_
___
_
__
__
_
_
_
___
__
_
___
_
_
___
_
_
___
_
_____
_______
_
________
_
_
_
_
__
____
_
__
__
____
__
_
___
_
______
___
_
_
_
_
_
____
_
_
__
_____
_
_
_
_
_
_
______
___ _
_
_______
_
_____
_
__
_
_______
___
__
_
_
________
_
_
__
___
_
_
_____
__
_
_______
__
___
_
__________
_
______
_
__
________
_ _
_
_
_
_
_
_
__
__
_
_____
_
_
_
_
_
______
_
__
__
____
_
_
_
____
_
_____
_
__
_
__
_
__
_
_____
______
_
_
_
______
_
______
_
_
_
__
__
_
_
____ __
_
_
_____
__
_
_
___
_
_
__
___
_
__
_
__
_
_
_
_
_
_
_
_
_
_
_______
_
_
_
___
__
_
_
_
_
_
_
____
_
_
_
_
__
_
__
_
_
_
_
_____
______
______
_
_
_
_
_
_
Mele: SRFE
X21
9.17
4X
204.
182
X22
1.18
1X
220.
190
X24
5.22
5X
279.
158
X15
0.09
9X
247.
236
X20
3.22
8X
203.
177
X20
6.19
7X
205.
196
X26
1.25
4X
148.
089
X25
9.24
1X
205.
254
X27
5.26
8X
201.
168
X20
6.24
5X
211.
208
X18
7.17
0X
246.
227
X20
2.18
2X
355.
064
X28
0.16
2X
201.
204
X15
1.11
1X
207.
200
X13
6.02
2X
149.
098
X17
0.09
6X
231.
207
X35
6.06
5X
187.
207
X18
4.08
4X
371.
098
X17
1.13
6X
219.
145
X19
9.14
5X
232.
214
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
____________________________________________________________________________________________________ ____________________________________________________________________________________________________ _____________
_______________________________________________________________________________________ _________________
___________________________________________________________________________________ ____________________
________________________________________________________________________________ ___________
_________________________________________________________________________________________ ___
_________________________________________________________________________________________________ _
___________________________________________________________________________________________________ _____________
_______________________________________________________________________________________ ____________
________________________________________________________________________________________ _______________
_____________________________________________________________________________________ _______________
_____________________________________________________________________________________ ________
____________________________________________________________________________________________ ___
________________
__
_
__________
_
________
__________________________
_________________________________ ____________________________
________________________________________________________________________ __
__________________________________________________________________________________________________ ____
________________________________________________________________________________________________ _
___________________________________________________________________________________________________ __
__________________________________________________________________________________________________ ________
____________________________________________________________________________________________ __
______________________________________________________________________
____________________________
____________________________________________________________________
_
_______________________________ ____________
________________________________________________________________________________________
_______________________________________________________
_____________________________________________
____________________________________________________________________________________________________ ___
_________________________________________________________________________________________________ __
__________________________________________________________________________________________________ _
_____
______________________________________________________________________________________________
______________________________________________________________________________________
_
_____________
____________________________________________________________________________________________________ ___
_________________________________________________________________________________________________ _
___________________________________________________________________________________________________
_
___________
__
___________________
_________________________________________________
_
_
_
_______________ ____
________________________________________________________________________________________________ ____
________________________________________________________________________________________________
___________________________________________
______________________________
___________________________ __
_____
_____________________________________________________________________________________________
____________________________________________________
_
_______________
_
_______________________________
________________________________________________
______________
___
_
_____________________________
_
____
___________________________________________________________
______________________________
__________
_
Mele: SVM−RFE c/MRMR
X47
.013
9X
204.
182
X79
.040
5X
83.0
856
X10
1.09
5X
122.
065
X15
1.11
1X
51.0
446
X73
.064
9X
115.
100
X21
9.17
4X
72.0
891
X13
7.16
4X
74.0
611
X11
4.09
2X
60.0
522
X13
4.10
3X
39.0
331
X59
.029
0X
245.
225
X28
.030
3X
170.
096
X11
5.07
4X
93.0
135
X73
.080
5X
85.0
298
X15
0.09
9X
29.0
791
X94
.095
6X
121.
065
X11
3.09
6X
106.
032
X14
8.08
9X
134.
071
X18
7.20
7X
44.9
971
X14
9.09
8X
279.
158
X26
.015
4X
42.0
103
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
___
_
___
_
_
_
________
__
___
_
_
_
_
__
__
_
__
_
____________
__
_______
_
_
_
_
_
_____
_
_
_
_
_
__________
_
____
_
___
_
_________ __
_
______
_
_____
_
_________
_
_
_____
_
__________
_
_________
_
_
__
_
___
_
__
_
__
_
_______
_
_
_
__
_
__
_
____
_
___________
____
_________
_
___
___
_
____
____
_
_
____
___
_
___
___
_________
___
__
__
_
_
_____
__
_
____
_
_
_____
_
_____
__
__
_
_______ __
_
______
_
________
_
______
__
_
_
___
_
______
_
___
_
______
_
______
_
___
_
_____
_
_______________
_
_____
_
__
_
_______________
_
_
_
_
___
_
__
___
__
________
_
__
_
_______
_
___
____
____
_
_
_
___
_
_
_
_
_
_
__
_
___
_
_
_
___
_
__
__
_
__
__
_
__
_
_____
___
____________________________________________________________________________________________________
__
__
_
_
_
_
_
__
_________
_
_
_
_
_
_
_
_
__
_
___
_
______
__
___
__
___
_
_______
__
___
_
__
__
_
________
_
_
_
_____
_
_
_
__
_
__
_
___
_
_ _____
__
__
_
__
_
___________
_
_
_
__________
_
_____________
_
____________
_
_______
________
_
___
_
__
_
______
_
__
_
_
_
_________________________________
_
______________________________________________
_
__
_
________________ ____________________________________________________________________________________________________ ____
_
_
___
_
_
________
_
____
__
_
____
_
_
_
____
___
___
_
__
_
_
_
___
_
_
_
_
__
_
_
__
_
__
_
_______
_
__
_
__
_
__
__
______
_
__
_
___
_
_ ____
______
_
_
___
_
______
_
___
__
___
_
_________
___
____
_
_____
__
__
_
____
_
__
__
__
___________
__
_
____
___
__
_
____
_
_ __
_
______
_
___________________________________________
_
_______
_
__________________________
_
___________ _
_
__
_
____
__
_
_
__
___
__
__
__
_
_
___
_
_
__
_
__
___________
__
__
_
____
_
__
__
_
___________
___
_
_
__
_
_
_
__
__
_
________
__
__ ________
_
______
_
_________________________________
_
___
_
__________________
_
___________________________ _
_
____
_
_
_
________________
_
____
_
__
_
_
_
_________
___
______
_
___________________
____
________________
___
_
_
_
_______________________________________
_
____________________________________________________________ __
________________________________
_
_______________________
________
_
______________
_
______
_
___________ ____________________________________________________________________________________________________
____
_
_
__
_
_
__
_
__
_
_
_
_
_
_
___
_
____
_
_
_
_
_____
_
_
_
_
_
_
____
_
_
_
_
___
_
___
_____
_
_
___
_
_
_
_
__
__
______
_
__
___
_
__
_
_
__
_
___ _
__________
_
_______
_
_
__
_
______
_
___
_
________________
_
________
_
___
_
_
_
______
_______
_
_
_
_
_____
_
_______
_
__ ___________________
_
_____________
_
________________
_
_
_
______
_
____________
_
___
_
_
_
____
_
___
________
_____
_
______
___
_
_________
__
_____________
______________
_
_
__
_
_
_
______
_
__
_______
_
_
_
___
_
_
__________
____
_
_
____ ________________________________________________________________________
_
_______________________
_
___
_
___
_
___
_
__
__
_
_
_
__
__
_
_
___
_________
____
__
_________
_
___
__
_
_
_
____
____
_
__
_
_
_
__
__________
_
_____
_
________
_
__
_
_____
_
__
___
_
_
_
___
_
__
_
_
___
_
_
_
__
_
____
_
_
_
_
__
__
_
_
_
________
_
_
__
__
_
_
_
_
_
__
_____
_
___
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
___
_
________________________________________________
_
__________
_
______________________
_________________ _______
__________________
_____________________________________________________
______________________ ________
_____
_______
________________________________________________________________________________
____________________________
__
__
______________________
_
____________
___________________
_
__________
_
___
_
_
_
____
______
_
__
____
________
_
_
__
______
_________
__
_
_
__
_
_
_
__
___
_
_______
__
____
__
_
__
_
______
_
__
_
_
______
_ _____
__
________
__
__
_
_______
_
______
_
__
_
_
____
_
__
_
___
_
_
_
_____
_
_
_
_
__
__
_
____
_
___
_
___
_
_
_
__
__
_
_
_
________
_
__ ________________________________
____________________________________________________________________ ______
________________________________________________________________
_
_____________________________ __
____
_
__
_
__________
_
____
_
____
_
____
_
_____
_
______________
_
_
______
_
__
_________
_
__
_
_
_
__
_
___
__
_
___
__
_
_
__
_
_
__
_
___
__
_
__
_
__
_
_________
_
__
_
_
___
_
_
__
_
_
_
_____
_
__
_
_
__
_
_
_
___
__
_
_
_
____
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
__
____
__
__
_
____
_
_
_
_
_____
_
______
_
______________________________________________________________________
______________ _
__
_
_
_______
_
___
____
_
_
_
__
_
_
_
___
___
__
____
_
_____
_
_
_
__
_
__
_
_____
_
_______
_
___
_
___
_
_____
_
_____
_
____
_
_
_
_
___________
_
_
_
___
__
____
_
__
_
_
_
_
_
_
_
_
___
_
_
____
__
___
_
_____
_
_
____
_
___
_
_
___
__
__
_
____
_
__
_
_
__
_____
_
_
_
_____
_
_
_
_
_
_______
_
_
_
_
_
_
_
_
_
_
___
_
____
_
_
_
_
________
___
__
____
_
___
_
__
__
__
_
_____
___
__
__
_
____
_
_
__
_
__
______
_
_
_
_
_
_
_
_
_
_
_
_
Mele: FCBF
Figura 17: Mele: distribucion de posiciones que toma cada variable en elranking realizado por cada uno de los metodos comparados.
51
Fragola
Como en Mele, se midieron variedades de frutillas utilizando el PTR-
MS, en este caso con un detector de tipo cuadrupolo de menor resolucion.
El dataset contiene 231 registros de nueve clases de frutillas medidos sobre
233 variables. El heatmap correspondiente, Figura 18, muestra nuevamente
la tıpica correlacion en espectrometrıa entre pequenos grupos de variables.
Los resultados de este experimento muestran a SRFE y a FCBF como
los mejores modeladores con seis y siete variables respectivamente y un error
promedio del 10 %, como se muestra en la Figura 19.
En cuestion de estabilidad, lo ancho del problema hace que el resultado
no sea tan definitivo como en los casos artificiales y de colorimetrıa (que se
muestran a continuacion). Aun ası, se destaca que SRFE y MRMR lideran,
seguidos por RFE y finalmente FCBF (Figura 20).
El analisis de correlacion en las selecciones, considerando los resultados
de las Figuras 18 y 20, muestra que tanto RFE como MRMR eligen variables
identicas (isotopos) como las masas 103-104, y 131-132; mientras que SRFE
y FCBF reconocen y eliminan dichas redundancias. SRFE logra, en este caso,
el mejor rendimiento ya que obtuvo variables independientes.
52
M13
1M
132
M10
5M
104
M10
3M
76M
75M
84M
83M
61M
62M
50M
49M
60M
59M
35M
34M
33M
90M
89M
146
M14
5M
72M
71M
118
M11
7M
37M
38M
30M
20M
21M
44M
43M
78M
77M
66M
65M
52M
51M
42M
41
M41M42M51M52M65M66M77M78M43M44M21M20M30M38M37M117M118M71M72M145M146M89M90M33M34M35M59M60M49M50M62M61M83M84M75M76M103M104M105M132M131
Fragola
Figura 18: Fragola: mapa de calor que muestra la correlacion entre las varia-bles del dataset (solo un subconjunto del total). Como en Mele, se puedendistinguir varios grupos de dos variables, generalmente isotopos del mismocompuesto, y algunos grupos de mayor tamano.
53
Fragola - Selección
Número de variables
Err
or
1 2 4 8 16 32 640.00
0.05
0.10
0.15
0.20
0.25
0.30
0.35
0.40
0.45
0.50
0.55
0.60
RFE
SRFE
MRMR
FCBF
Fragola - Selección
Número de variables
Err
or
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 200.00
0.05
0.10
0.15
0.20
0.25
0.30
0.35
0.40
0.45
0.50
0.55
0.60
Figura 19: Fragola: nivel de error en funcion del numero de variables seleccio-nadas. El panel superior muestra la figura completa mientras que el inferiormuestra en detalle el comienzo de la figura.
54
Fra
go
la -
Est
abili
dad
SR
FE
Var
iab
le
Probabilidaddeestarentrelasmejoresseisvariables
M10
3M
131
M57
M75
M59
M49
M50
M76
M60
M58
M91
M10
4M
129
M13
2M
20M
21M
22M
23M
24M
25
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
Fra
go
la -
Est
abili
dad
FC
BF
Var
iab
le
Probabilidaddeestarentrelasmejoresseisvariables
M71
M10
3M
50M
131
M57
M59
M75
M60
M13
2M
49M
104
M76
M74
M72
M58
M89
M62
M10
6M
119
M20
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
Fra
go
la -
Est
abili
dad
RF
E
Var
iab
le
Probabilidaddeestarentrelasmejoresseisvariables
M10
3M
104
M49
M76
M13
1M
50M
132
M75
M91
M60
M57
M10
5M
59M
20M
21M
22M
23M
24M
25M
26
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
Fra
go
la -
Est
abili
dad
MR
MR
Var
iab
le
Probabilidaddeestarentrelasmejoresseisvariables
M10
3M
104
M13
1M
76M
132
M49
M50
M75
M91
M10
5M
60M
57M
20M
21M
22M
23M
24M
25M
26M
27
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
Figura 20: Fragola: estabilidad de las soluciones. Para cada metodo se mues-tra la probabilidad de cada de variable de estar seleccionada entre las prime-ras seis.
55
M10
3M
49M
104
M76
M50
M13
1M
132
M57
M75
M60
M10
5M
91M
59M
72M
58M
92M
56M
106
M71
M14
3M
61M
85M
30M
129
M48
M74
M41
M62
M70
M10
2M
33M
45M
99M
43M
87M
89M
83M
73M
138
M14
4
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
____________________________________________________________________________________________________ ____
________________________________________________________________________________________________ ___
_________________________________________________________________________________________________ ______________________
______________________________________________________________________________
____________________________________________________________________________________________________ _
___________________________________________________________________________________________________
____________________________________________________________________________________________________
____________________________________________________________________________________________________ ______
______________________________________________________________________________________________ ______
________________________________________________________
______________________________________ _____
_______________________________________________________________________________________________ ______
___________________
___________________________________________________________________________ ______
__________________________________________________________________________________
____________ ___
___
______________________________________________________________________________________________
____________________________________________________________________________________________________ _
_______________________________________
______
______________________________
________________________
____________________________________________________________________________________________________
____________________________________________________________________________________________________ ____
_
________
_________________________
______________________________________________________________
_______________________________________________________________________________________________
____
_______________
_
_______________
____________________________________________________
__________________ __
__________________________
_______________________
_________________________
_
___________________
_
___
_______________________
______
___________
_
________________________________________
_
_______
________
___
_________________
______________________________________
____________________
_________________________
___________________________
__________
________
_
_______________
_
____
______
_
________________
_
__________ __________
_________________
_
_________________
______
__________
_________________
______________________ __
_____
_
______________________
_
_________
_
______________________________
____________________________
___
_______________________________________________________________________________
_________
__________
________
_
_____________________________
_
__
_
__________
________
________________
_
_______________________ __
_____________________________________
___________________
__________________________________________
_
___
_
_
____
__
_
_
_
___
_
_
_
_______
_
_
__
__
_
___
_
_
_
_
_
__
_
___
_
__
_
_
_
__
__
___
_____
_____________
__
__
_
__
_
_
__
_
_
_
_
__
___
_
_
______
___
_
_
_______
_
__
_
__
_
_________
_
_
_
__
_
___
_______
_
_
________
________________
_
_
______
__
_
___
_
_
_
_____ _
__
__
_
_____
___________________
___
_
_____________
_
________________
_
____
___
_
_
_______
__________
_________ _
_______
__
___
_
______
_
_____
____
_
__
__
_____
_
_
__
_
_______________________
____________
_
____________
_
______
_____
_
_
_
_____
_
_____
________
_
________
__________
_
_____
_
___
__________
___
______________
_
_
_
_____________
_
_
______
_
_____
_
_______
_
____
____
_
__
_______
_____
________
_
____
_
_
______________
_
__
___
__
_
_
_
_____
_
_
_
_
_____
_
___
__
_
___
_
____
_
__
_
_
_
_
__
__
_
____
__
__
__
_
__
_
___
__
_
__
___
_
_______
_
_
__
_
_____
_
___
_
__
_
_
_
_
___
_
______
________
_
____
___
____
___
_
_
_
_
__
_
__
__
_
___
_
___
_
_
________
__
_
__
_
_
__
__
_
_
________
__
_
_
______
_
____
_____
_
_
_
____
_
______
___ _
__
_______
_
_
____
_
_
__
_________
_
___________
_
_
_________
_______________
_
_________
_
____________
__
________
_
_
_
_________________________
________
___
_
__
__
_
_
______
__
_
_
____
__
_
________
_______
_
__________
_____
_
_____
Fragola: RFE
M10
3M
49M
57M
59M
75M
131
M91
M10
6M
71M
143
M12
9M
50M
58M
105
M60
M56
M70
M76
M48
M33
M85
M13
2M
61M
92M
45M
30M
102
M74
M10
4M
87M
99M
114
M13
8M
41M
43M
84M
67M
111
M15
1M
89
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
__________
_
_________________________________________________________________________________________ ___
_
_
___
_
_
_
____
__
_____
_
__
_____
______
_
______
___
_____
__
_
___
_
____
__
__
__
____
____
______
_
_____
_
_
_
______
_
_
_
____________________________________________________________________________________________________
_____
_
___
__________
_
_____
_
______________________________________
_
___________________
_
____________
__
____
__
__
_
_____________
_
________
_
_______________________
_
_
_____
_
______________________________________ __
_____________________________________________________________
_____________________________________ _____________
_____
_
_______________
__________________
__________________________________
_____
_
________ ___
_________________________________________________________________________________________________ _
_
_
_
_______
______________________________________________________________________
___________________
_
_
___
_
__
__
___
_
_
_
________
__
_
_
______
_
_
_
_
_
_
__
_
_____
__
_________
_
_
__
__
_
__
_
__
__
__
_
_
_
_
_
____
_
_
____
_
______
_
_
_
_
_
__
__
_
_
___
_
_
_
_
____
__
__
____
_
____
_
_
_
_
___
_
_
__
____
______
___
__
__
___
_
___
__________
_
___
_
___
_
__
__
_
__
_
_
_
__
_
_ ____
_
_
__
_
_
_
_
_
__
__
_
____
_
___
____
__
_
__
_
____
___
_______
_
______
_
______
__
__
___
_
______
____
_
_____
_
_
_
______
_
_
_
______________
_
__________
________________________
___
_
___________
___________________________________
_
______
______________________________________________________________________________________________ ___
________________
_
_____
_
____
____
___________
_
________________
__
___________________
_
_
________
___
_
___
____________
_
_____
_
___________
_
_
_____
_
________
__
___________
_
_
_
_
_
_
____
_
____
_
____________________
_
_______
_
____
_
__
_
_____
_
______
__
_
_
__
___
_
_
___
___
____
_
___
__
_
____
__
_
______
_
__
_____
_
_
_
_______
_
_
_
_
_
_
_
_
___
__
____
___
__
__
_
_______
_
____
_
_________
_
______________________
__
_
_____
_
______________________________
________ ___
_
___
_
__
_________
________
_
__________
_
______
_
_
_
____
_______
_
____________
_
_______
_
____
_
_
__
_
_
_______
_
_
__
_
__
_
_
_
_
_
_
_
_
__
_
_
_
__
_
_______
__
_
_
__
___
_
_
__
_
_
_
__
_
__
_
__
_
_
_
_
______
_
__
_
__
____
___
_
_
____
_
_
_
_
_
_
_
_
_
__
_
_
_
_____
_____
_
_
_
_________
_
_
_______
_____
_
___
_
_____________
____
_
________________
_____
_
_
_
_____
__
_
____
_
___
__
___
_
____
__________________________________________________________
_
________________________
_____________
___
___
___
_
_
__
__
__
__
_
_____
_
__
___
_
_
___
_
_
_
______
___
_
__
_
_
____
___
_
_
___
_
_
__
_
_
_
_
__
_____
__
___
___
___
__
_
_
_
_
_
_
_ ____________
___________
_
______
__________
___
___________________
_
__________
_
__
_
______________
_________
_
_
_________
_
______
_
_
____
_
_______________
_
___
____
_____
_
_____
_
__
__
_
__
_
______________
_
_____
_
_
_
_
__
_
_
_
_
__
_
_
_
_____
_______
_
__
__________
_
__________
___
______
_
________
__________
___
_
_____
__
_
___
__
___
_
__
_
___
_____
_____
______
__
_________
____
____
__
_
___________
__________
_
____
________________________
___
_
_
_
____________ __
__
_
______________________
____
_______________________________
______________________
________
_
_
_
_
____
____
_____
_
_
_____________________________
_
_______________________
__________________________________
_
_
_
____
___
______
_
_
_
_
_________
_
_
_
_
___
____
_
_
______
_
___________
_
_______
_
_
_
_____
_
_
__
__
_
__
__
_
___
_
_
____
_
____ __
_
__
_
_____
__
_
_
______
_
__
________
_
_______
_
____
__
__
______
__
_
___
____
_
___
_
______
_
___
_
____
_
_
_
_
__
_
____
_
___ _____
_______________________
_
___________________________
______
_
____________________________
_______
_
_ _
__
_
___
_
___
_
__
______
_____
_
__
_
___
_
___
_
_
__
_
_
_______
_
__
_
__
______
_______
___
______
_
___
_
___
_
_
___
____
_
____
_
___
_____
_
_
__
_
____
_
__
___
_
__
_
_
_
_
_
_
__
_
___
_
_
_
____
_
____
_
_
_____
_
_
___
__
____
____
________________
___
__
____
_
__ ___
_______
_
__
_
______________
_
_
_
_
__
_______
_
__
_
__
_
__
__________________
_
_
_______
_
_
_________
__
__
__
_
____
_ ___
__
_
_
_
_
_
_____
_
__
_
____
_
_
_
_
_
_
_
___
__
_
_
__
__
___
_
__
_
__
_
_
_
_
__
_
_
__
___
__
_
__
_
_
__
__
____
___
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
__
_
__
_
_
__
_
_
_
_
____
_
_
__
_
_
______
_
__
_
_
___
_
_
_
___
_
___
_
_
_
_
__
_
_
_____
_
_
_
__
___
_
_
_
__
_____
_
__
_
_____
_
_
_
_
_
___
_
__
_
_
_
____
_
_
_
__
__
_
_
____
_
_
_
____
__
_____
_
_
_
_
_
_
__
_
___
_
_
_
_
_
____
_
____
_
___
_
___
_
_
____
_
_
__
_
_
_
_________
_
_
_
___
_
___
_
_
_
__
__
___
_
_
_
__
_
___
___
_
_____
__
_
_
__
___
_
__
_
_
__________
_
______
__
__
_
___
__
_
__
__
____
__
_
__
_
__
_
_
_
__
_
_
____
_
__
___
_
_____________
_
_
__
_________
_
_
__
______
_
_
_____
__
____
____
_
___
_
_
___
_
__
_
_
_
_
___
___
__
__
_
__
_
_______
_
_
__
_
_
_
___
Fragola: SRFE
M10
3M
104
M49
M76
M13
1M
132
M75
M50
M57
M91
M10
5M
60M
59M
72M
58M
106
M92
M14
3M
71M
56M
85M
61M
129
M30
M10
2M
74M
48M
70M
62M
41M
89M
144
M99
M13
3M
138
M11
4M
43M
83M
87M
119
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
____________________________________________________________________________________________________ ___
_________________________________________________________________________________________________ _
___________________________________________________________________________________________________ ______________
______________________________________________________________________________________ ________
____________________________________________________________________________________________ ___
_________________________________________________________________________________________________ _____
_______________________________________________________________________________________________ __
________________
_
___________________________
_____________________
__________________
_______________ _________
___________________________________________________________________________________________ ____
_____________________
___________________________________________________________________________ ____________
________________________________________________________________________________________ _______
_____________________________________________________________________________________________ ______
______________________________________________________________________________________________ __
_______
___________
________________________________________________________________________________ ________
____________________________________________________________________________________________ ________
____________________________________________________________________________________________
_____________
__________
________________
_____________________________________
_
_______________________ _____________
_______________________________________________________________________________________ __
__________
_________
______________________________________
_________________________________________ ___
____________________________________________________________
_
__________
__________________________ _______
____________
_________________________________________________________
_
___
________________
_
_________________
_
_______________
______________________________________________________________________
____________________________________________________________________________________________________
_
____________________________
___________
_
______
_
_________________________________
_
__
_
____
_
_______
__
_ ________________________________
______
__________
__________________________________
__________________
___________
________________
___________________________________________________
_
_______________
_
_____
_____
_______________________
_________
________
_
________________
__
__
______
_
________________
_
____
______ _
___
____
_
__________________
_
__________
_
_____________________
________________________________________ _
_
_
_
_______
______________________
_
__
________________
_______
____
__________________
___________________ ___
_____
____
____
__________
_
___
________
_
_
_
__________________
_________
______
___
_
_
___
__
________________
_
_
______
_____
________
_________
__
______
_______________
_
____
_________
________
_
____
_
_________
__
_
_______
__
_
_____________________________________
____________
___
___
__
___
________
__________________
___________
_
__________
_____________
_____
____
_
___________________
_
__________
_
________
______
_
___________
_________
_________
_
________
____________
_
______
_
_____________________
__
______
_
__
_
___________
_
_____
_
______
___
__
______________
___
_
________________________
__________
__________
____________________________
__________ ___
_______
_
________
__
_______________
_
________
_____________
__
___
_
_______
_________
__________
________
_
______________
_
_
____
_
__________
_
_
________
_
__
_
___________
______
______________
__
__
___
_
_________________
_
__
_
_
_
__
_
_
____
_
__
_
_
_
__
_
_
__
____
__
___
__
_
_
_
_
_
__
_
_
__
___
_
____
_
___
_
__
______
__
___
_
__
_
_
__
_
_
_
_
___
__
____
_
___
__
___
_
_
_
__
_
_
____
__
__
_
__________
___
_
_
__
___
_
_
_
____
_
_
___
__
___
__
__
_
_
_
_
__
_
__
__________
___
_
_
_
_
_
_
_______
_
___
_
_____
________
____
_
___________
__________
___________________________
___
_______________________________
Fragola: SVM−RFE c/MRMR
M10
3M
131
M50
M71
M57
M59
M75
M62
M76
M60
M61
M63
M79
M58
M85
M64
M72
M48
M93
M49
M92
M91
M14
4M
70M
143
M95
M69
M11
9M
129
M17
6M
120
M13
2M
38M
133
M15
5M
99M
35M
24M
180
M18
2
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
_
__
_
_
_
____
_
____________
_
___________
_
_
_
__
____
__
_
______
_
__
_
________
_
_________
_
_____
_
__
_
_
_
_
_
_____
_
_____ ___
__
_
__
_________
_
__
_
_
______
_
_
_
_
_
_
_
_
_
_
_
__
_
___
_
__
_
__________
_
_
__
___
__
_
_
____
_
________
_
______
_
_____
_
___ _
_
__
_
_
__
___
_
_____
_
______
_
__
__
_________________
___
_____
_
_
_
__
_
_
___
_
_
__
_
_____
_
________
_
_
_
_
_
______
_
_
_
___ _
_
_
_
__
_
_
_
__
_
_
_
_____
_
_______
_
________________
_
__
___
_
___________
_
_________________
_
_____
__
________
_
___ ________________________
_
_
_
_________________________
_
___________________
_
_______
_
_________________
_
___
_
__
_
_
__
_
_
________
_
_
__
_
__
_____
_
_
______
_
_
_
_
__
_
__
___
_
_
_
__
_
_
_
___
__
_
___
_
_
____
__
___
____
_
_
_
_
_____________ _
_
___
_____
_
___
_____
_
_
_
________
_
____
_
_______________
___
_
_
____
______
__________________
_
_
_
__
__
_______
__
_____________
_
_________
_
____________
_
__________
_____
________
_
________
___________
_
___________________
_
_
___
_
____
_
_
_
_
___
___
_
_
___
__________
_
_
_________
________
_
_
____
__
_
_
__
___
_
_______
_
_
____
__
_
__
_
_
__
_
_
_____
_ _
__
__
_
______
_
__
__
__
__
_
____
___
_
_
_
_
______
_
_
_
_
__
_
_
__
__
_
_
_
__
_
_
____
__
____
_
_
________
_
_______
_
______
_______
_
________
_
___________
_
_
_
_
_
_________
___
_
_
___________
_
_
____
_
_
__________
_
_
_
______
_
_
_
________
_
__
_
_
_
___
_
_ _
__
_
_
___
_
_______
_
______
_
_________
_
____
_
_
__________________
_
_
_
__
__
_
__
_
__
_
_
_
_
_
___
_
___
_____________
___
_
_
__
_
_
____
_
______
_
__
__
_
_
__
__
___
____
_
_
___
____
_
_
_
_
___
____
__
__
__
__
_
____
_
__
_
_
_
_
_
__
__
_
__
_
_
__
_
_
__
____
_
_
_
_
__
_______________________
_
_
_
__________________________
________
_
_
__
_
________
__
_____
_
_____________
____
_
_
_
_____
_
__________
_
_____
_
_____
_
____
______
___
_____________
_
_______________________
_
_
_
__
_
_
_________
_
___
_____
_
_
__
_
__
_
______
__
_
____
_
___
_
_
__
_
__
___
_
_____
___
_
__
_
______
_____
_
_
__
__
______
____
_
_
__
_
___________
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
__
_
___
____
_
__
_
__
_
_____
________
___
__
__
_
__
_
_______
_
_
_
_
_____________
_
_
_____
__
_______
_
_
___
__
_
_
_____
__
___
___
_
___
_
_
_____
_
___
__
_
____
__
_
____
_________
_
_
__
_
_
___
_
___
_
_
_____
_
_
__
__
___
__
____
__
__
__
_
_
_
_
_
_
_
___
_
__
_
__
__
_
_
___
_
_
_
_
__
_
_
_
__
___
_
_
_
_
__
___
_
_
__
_
_
___
_
_
_
_
_
_
__
___
_
_
_
__
__
__
_
_
_
_____
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_____
_ _
_
_
_
_
_
__
___
_
_
____
_
____
__
_
__
__
___
_
____________
_
___
_____
_
_
_
__
__
___
__
__
_
_____
_
_____
___
_
_
_
_
_
______
_
_
_
___
__
_
_
_________
___
_
___
_
__
_
________
_
_________
_
___________
_
_____
_
____
_
_
________
__
___
_
___
__
_
__
_
________
_
_____
_________
_
_______
_
_
_________
______________________
______
_
____
_
______________
_
___
_____________
___
____
__
_
_
_
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
___
__
_______
_
_
__
_
____
_
_
_
_
_
_
_
_
__
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
____
_
_
_
_
_
_
__
_
__
_
_
_
_
_
___
_
_
__
__
_
_
_
__
_
_
_
_
_
__
_
_
_
_
_
_
_
____
__
__
_
_
_
____
_
__
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
_
___
_
_
__
_
_
_
__
_
__
_
_
_
__
_
_
_
_
_
_
___
_
_
_
____
_
__
__
_
__
_
_
_
_
__
___
_
_
_
_
_
_
_
_
__
__
_
_
_
_____
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
__
_
___
_
_
_
__
_
_
_
__
_
_
_
___
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_____
__
_
_
_
_
_
_
__
_______
_
_
__
__
_
__
_
_
__
_
__
_
_
_
_
__
_
_
_
___
__
_
_
_
_
_____
_
__
__
____
__
__
__
_
_____
_
_
_
_
_
___
_
_
_
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
____
_
__
_
_
__
_
_
_
_
_
_
__
_
_
_
__
__
_
_
_
______
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
_
___
_
_
__
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
___
_
_____
_
_
_
_
_
_
__
_
__
_
__
_
__
_
_
_
_
_
___
_
___
_
_
_
____
_
__
__
___
__
_
_
_
_
_
_
_
__
_
___
_
_
_
_
_
__
_
_
_
__
_
_
____
______
__
_
_
_
_
___
_
_
__
_
___
__
__
_
_
___
_
_
_
_
_
_
_____
_
___
_
_
_
_
_
_
___
_
_
_
__
__
___
_
_
_
_
_
___
_
__
______
_
_
_
__
__
_
_
__
_
_
_
____
_
__
_
_
__
__
__
_
_
__
_
__
__
_
_
____
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
__
_
__
_
_
_
_
________
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
__
__
_
_
_
_
__
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
____
_
_
_
___
__
_
_
_
__
_
__
_
_
_
_
_
_
____
_
_
____
_
_
____
___
_
_
_
_
__
_
_
_____
_
_
_
_
_
_
_
__
__
__
___
_
_
_
_
_
__
_
_
__
_
_
_
_
__
__
_
_
_
_
_
_
_
_
_
_
__
_
__
_____
_
_
__
_
_
_
__
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_
__
_
________
__
_
_
__
___
__
_
_
___
_
_
_____
___
_
_
_____
_
_____
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
___
__
_
_
___
__
__
_
_
_
_
_
_
_
__
_
_
_
__
_
_
____
_
__
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
__
_
_
_
_
_
_________
_
_
_
_
__
_
_
_
_
_
_
___
_
____
_
_
_
___
_
____
_
___
_
_
_
_
_
______
_
_
_
_
_____
_______
_
____
_
_
____
_
___
_
__
_
__
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
__
_
___
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
______
_
_
_
_
_
_
_
_
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
__
___
_
__
__
_
___
_
__
_
_
_
_
_
__
_
_
__
_
_
__
__
___
__
_
_
___
_
_
____
_
_
_
__
_
_
__
_____
_
_
_____
_
_
_
_
___
_
_____
__
_
_
_
_
__
___
_
_
_
__
___
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
__
_
___
_
_
____
_
_
_
_
_
__
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
_
______
__
_
_
__
_
_
___
__
___
_
_
_
_
_
___
__
__
____
_
___
__
__
_
_
____
_
_
_
_
__
_
____
__
_
_
_
_
_
_
_
__
____
_
_
__
_
_
___
_
__
_
_
____
__
_
_
_
___
_
_
___
_
__
_
_
___
_
_
____
_
_ ___
_
__
___
____
_
_
__
__
_
_
___
_
_
_
___
___
__
__
__
__
__
__
_
_
_
___
__
__
_
_
___
_
_
___
_
_
__
____
_
__
__
__
____
_
_
___
_
___
_
__
_
_
_
_ ____
_
_
___
_
_
_
_
_
_
___
_
__
_
_
_
_
__
_
_
____
_
___
____
_
_
_
__
_
_
___
_
_
__
_
_
___
_
__
___
___
_
_
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
___
_
__
_
_
__
Fragola: FCBF
Figura 21: Fragola: distribucion de posiciones que toma cada variable en elranking realizado por cada uno de los metodos comparados.
56
4.2.2. Colorimetrıa
Estos datasets contienen mediciones realizadas en tiras reactivas para
analisis de orina en laboratorios clınicos. Las variables corresponden a dis-
tintas mediciones que caracterizan el color del patch reactivo bajo analisis,
incluyendo distintas iluminaciones y sistemas de color para la lectura. Si
bien no son problemas anchos, se sabe de antemano que contienen nume-
rosas variables correlacionadas y pueden aportar a las conclusiones sobre la
efectividad del metodo SRFE.
BIL
Este dataset corresponde a mediciones de bilirrubina en 460 muestras de
orina, discriminadas en cuatro clases, con 36 variables medidas. La Figura
22 muestra el heatmap correspondiente, donde se aprecian varios grupos de
variables con una alta correlacion.
Los resultados muestran que SRFE es el metodo que genera el mejor
modelo de datos con una cantidad optima de cuatro variables frente a cinco y
siete de MRMR y RFE, respectivamente, con menor error en general (Figura
23). FCBF falla en la obtencion de un modelo util sobre estos datos.
En cuestion de estabilidad (Figuras 24 y 25), SRFE y RFE obtienen las
soluciones mas estables seguidos muy de cerca por MRMR y, en ultimo lu-
gar, por FCBF. El analisis de correlacion de las variables muestra como las
selecciones de RFE y MRMR son altamente redundantes y, en consecuencia,
de peor calidad que las del metodo SRFE. Si bien las variables de tipo “blan-
co” tienen un cierto nivel de correlacion, esto es debido a que la luz blanca
contiene a todos los colores y, es por ende, un resultado normal (de hecho,
el resultado optimo elegido en la experiencia real en los laboratorios). De
todas maneras, la redundancia es notablemente menor que en las selecciones
de “rojo” de los otros dos metodos, donde las variables son identicas.57
azul
.Raz
ul.s
azul
.rro
jo.A
rojo
.sro
jo.R
azul
.Ave
rde.
Rve
rde.
rve
rde.
sbl
anco
.gbl
anco
.Rbl
anco
.hro
jo.i
rojo
.Iro
jo.r
rojo
.Vro
jo.h
rojo
.gbl
anco
.Vbl
anco
.ibl
anco
.Ive
rde.
Ave
rde.
Vve
rde.
ive
rde.
Ive
rde.
gve
rde.
hbl
anco
.sbl
anco
.rbl
anco
.Aaz
ul.i
azul
.Iaz
ul.h
azul
.gaz
ul.V
azul.Vazul.gazul.hazul.Iazul.iblanco.Ablanco.rblanco.sverde.hverde.gverde.Iverde.iverde.Vverde.Ablanco.Iblanco.iblanco.Vrojo.grojo.hrojo.Vrojo.rrojo.Irojo.iblanco.hblanco.Rblanco.gverde.sverde.rverde.Razul.Arojo.Rrojo.srojo.Aazul.razul.sazul.R
BIL
Figura 22: BIL: mapa de calor que muestra la correlacion entre las variablesdel dataset. Se pueden distinguir varios grupos de distinto tamano con unaalta correlacion interna.
58
BIL - Selección
Número de variables
Err
or
3 6 9 12 15 18 21 24 27 30 33 360.14
0.15
0.16
0.17
0.18
0.19
0.20
0.21
0.22RFE
SRFE
MRMR
FCBF
BIL - Selección
Número de variables
Err
or
1 2 3 4 5 6 7 8 9 10 11 12 13 14 150.14
0.15
0.16
0.17
0.18
0.19
0.20
0.21
0.22
Figura 23: BIL: nivel de error en funcion del numero de variables seleccio-nadas. El panel superior muestra la figura completa mientras que el inferiormuestra en detalle el comienzo de la figura.
59
BIL
- E
stab
ilid
ad S
RF
E
Var
iab
le
Probabilidaddeestarentrelasmejorescuatrovariables
blanco
.R
blanco
.g
blanco
.V
rojo
.V
rojo
.i
verd
e.V
blanco
.A
rojo
.R
rojo
.A
verd
e.R
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
BIL
- E
stab
ilid
ad F
CB
F
Var
iab
le
Probabilidaddeestarentrelasmejorescuatrovariables
rojo
.A
azul.R
rojo
.i
azul.s
azul.r
rojo
.r
rojo
.V
rojo
.h
rojo
.g
blanco
.R
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
BIL
- E
stab
ilid
ad R
FE
Var
iab
le
Probabilidaddeestarentrelasmejorescuatrovariables
rojo
.h
rojo
.r
rojo
.g
rojo
.V
blanco
.g
blanco
.R
blanco
.V
blanco
.A
rojo
.R
rojo
.A
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
BIL
- E
stab
ilid
ad M
RM
R
Var
iab
le
Probabilidaddeestarentrelasmejorescuatrovariables
rojo
.h
rojo
.r
rojo
.g
blanco
.g
rojo
.V
verd
e.I
blanco
.R
blanco
.V
blanco
.A
rojo
.R
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
Figura 24: BIL: estabilidad de las soluciones. Para cada metodo se muestrala probabilidad de cada de variable de estar seleccionada entre las primerascuatro.
60
rojo
.gro
jo.r
rojo
.hro
jo.V
blan
co.g
verd
e.V
blan
co.V
blan
co.R
verd
e.I
verd
e.i
verd
e.A
rojo
.Iro
jo.i
blan
co.s
blan
co.I
verd
e.r
blan
co.i
verd
e.s
blan
co.r
azul
.Abl
anco
.hro
jo.s
blan
co.A
verd
e.g
verd
e.R
verd
e.h
rojo
.Aaz
ul.R
azul
.raz
ul.I
azul
.iaz
ul.s
azul
.Vaz
ul.h
azul
.gro
jo.R
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
____________________________________________________________________________________________________ _____
_______________________________________________________________________________________________
____________________________________________________________________________________________________ ____________________________________________________________________________________________________ ______________
______________________________________________________________________________________
___
_____
_
__________________________________
_
_______________________________________________________
___________
__________________________________________________________________________________________
___
_
____
_
__
_____
__
________
______
_
_____
_
__
_
__
_
___
_
_________________
__
___
_
__________
_
_____
__
__
___
____
_
__________________________
_____________
_
____________________________________________________________
____________________________________________________________________________________________________
_______
_
_
_______
__
__
_
__
_
_
_
_
___
____
_
_
_
__
_______
_____
_
___
___
_
____
_
____
_
__
_
___
__
__
______
_
__
____
_
__
__
_
_
_
_______
_
_
______________
_
_
__
_
______
____________
__
_____
_
___
_______________________
_____
_____________
__ ____
___
_
_
____
_
_
_
_____
_
_
_
_
___
_
__________
_______
__
_____
_
____
______________________
_____
____
_________
__ _
__
_
__
_______
____
__
_
__
_
_
_
_
_
_
_
_
____
_
_
_____
_
____
________
__
_
___
_
__
__
_
_________
_
____
_
_
_
_
_____
_
_
_______
__
_
_
___________
_______________
________________________
_______________
_________
_
_
_
_
____
_________
__
_____
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
__
_
_
__
__
_
_
_
___
__
_
_
_
___
___
_
_
_
_
_
_
_
__
_
_
_
__
_
____
__
_
_
_
_
__
_
_
__
_
_
_
___
__
__
__
_
__
_____
_
_
_
___
_
____________________________
_______________________
_
________________________
___
____________
____
________
_
___
_
_
_
___
_
___
_
_____
__
_
_
_
_
_
_
______
__
_
_
_
_
_
_
___
_
_
_
_
____
_
______
_
_
__
__
_
__
__
_______
_
_
___
___
_
_
__
___
__
__ _
_
___
_
_____
_
___________
_
_
_
__
____
_
______
_
___
_
_
_
__
_
____
__
____
_
__
_
___
_
_
_
_
_
_
_
_____
_
__
_
_
_____
_
_
_
__
____
___
_
_
_
_
_____
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
___
___
___
_
_
__
__
_
_
_
_
___
_
_
_
__
___
_
_
_
_
__
_
_
__
_
__
_
_
__
_
__
_
_
_
_
_
___
_
__
__
_
__
_
_
_
_
_
__
_
_______
_
_
_
___
_
____
_
_
___
____
__
_
___
_
__
__
_
_
_
_
___
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
__
_
_
____
_
_
_
___
_
_
__
_
_
_
__
_
__
_
_
_
_
_
_
__
_
__
_
_
_
__
_
_
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
___
_
_
_
_
_
_
_
_
__
_
____
_
_
_
_
_
__
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
__
___
_
_
_
_
__
_
_
_
____
_
_
_
_____
_
_
_
__
_
_
_
__
_
_
_
_
___
_
_
_
_
__
_
___
___
__
_
_
_
_
_
___
__
_
_
_
_
_
_
__
__
__
_
__
_
_
__
_
__
_
__
_
_
__
_
_
__
_
_
_
_
__
___
_
_
_
_
__
_
_
_
_
_
_
__
__
__
_
__
_
_
_
______
_
_
_
_
_
_____
_
_
_
_
_
_
_
_
_
_
_
____
_
__
_
___
_
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_
___
_
__
___
__
_
___
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
__
_
_
___
___
___
_
_
_
__
_
_
__
_
_
_
_
_
_
_
___
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
____
___
_
_
_
_
__
_
_ ___
_
__
_
_
_
_
_____
_
__
_
_
_
__
__
_
_
_
_
_
_________
_
_
___
_
_
_
____
_
_
___
_
______
_
_
___
_
_
__
___
_
_
___
_
_
_
___
_
_
_
___
___
__
_
_
__
_
_
_
_
_
__
___
_
__
_
__
__
__
__
___
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
___
_
__
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
__
_
__
_
___
__
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
__
___
__
_
_
_
_
_
__
_
_
__
____
__
__
_
_
_
_
__
_
_
__
_
_
___
_
__
_
_
_
__
_
___
_
____
_
_
_
__
_
_
_
_
__
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
___
__
_
_
_
_
___
_
_
_
_
__
_
_
_
_
_
_
___
_
____
__
_
__
_
__
__
__
_
_
__
_
_
__
_
______
____
_
_
_
_
_
_
____
__
__
_____
_
__
_
____
_
_
__
__
_
_
_
_
_
_
_
_
__
__
_
_
_
_
_
__
_
_
____
_
_
__
__
_
____
__
_
_
__
_
_
__
_
_
_
___
_
_
___
_____
_
_
___
_
_
_
_
_
_
__
__
__
__
___
__
_
_
__
____
_
___
__
_
_
__
_
_
____
__
_
___
_
__
_
_
____
_
_
_
_
_
_
_
__
___
_
_
_
__
_
_
__
__
_
_
_
____
_
_
_____
___
_
_
_
__
_
__
_
_
_
_
___
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
__
_
__
_
_
____
_
_
_
_
_____
_
_
_
___
_
___
__
__
_
_
_
__
__
_
_
__
__
_____
___
__
_
___
_
_
____
_
_
_
_____
_
___
_
_
_
_
___
__
___
_
_
_
_
_
___
_________
__
_
_
_
_
_
_____
_
_____
_
_
____
___
_
__
_
_
_
____
_
__
____
_
_
_
__
__
___
__
_
__
_
____
_
_
_
__
_
___
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
________
_
_
_
_
___
_
_
______
_
_
__
_
__
______
_
_
_
__
__
_
__
_
_
__
_____
__
__
__
___
_
____
_
___
_
___
_
__
_
_
_
_
_
_______
__
_
_
_
_
_
_______
_
_
_
_
__
_
_
_
_
_
_
_
___
_
_
_
____________________________________________________________________________________________________
BIL: RFE
rojo
.Vbl
anco
.Vbl
anco
.gbl
anco
.Rve
rde.
sbl
anco
.haz
ul.A
azul
.hbl
anco
.sro
jo.s
verd
e.V
rojo
.rro
jo.h
rojo
.Rro
jo.g
verd
e.A
blan
co.i
verd
e.i
rojo
.ive
rde.
hbl
anco
.rve
rde.
Ibl
anco
.Ave
rde.
Rro
jo.I
blan
co.I
verd
e.g
azul
.sve
rde.
raz
ul.R
rojo
.Aaz
ul.i
azul
.raz
ul.V
azul
.gaz
ul.I
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
____
_
___
_
____________________________________________________
_
_
_
_____________
_
__
_
_
______
_
____
_
_________________________
_
___
_
____________________
_
__
_
____________________________________
_
_______________
____________________________________________________________________________________________________
_______________________________________________________________
_
____________________________________ _
__
____
_
___
_
_
_
_
_
_
___
_____
_
_
_
_
_
_____
_
__
_
_
_
___
_
_
_
_
_
_____
_
__
_
___
_
_
____________
_
_____
_
_
_
_
_
_
_
__
__________
________
___________
_
_______
______
_
___________
_
_
_
____
________
_
_
_
_
______
______________
_
_
_
_
_
_
__
_
_____
_
_
_
__
_
_________
_
_______
____
_
_
__________
__
__
_
_
_
_
__
_
____
_
_
___
__
____
__
_
__
_____
_
____
__
_
_____
__
_
_
_
_
_
_
___
__
_
__
_____
_
___
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
___
__
__
_
__
_
_
__
_
_
__
_
__
_
__
_
_
__
___
____
_
_
_
_
_
___
_
_
_
_
_
____
_
_
_
__
__
__
_
_
_
_
_
__
_
_
_
___
_
_______________
_
_____
_
_
_____
__
____
_
______
__
_
_
____
_______
_
__
__
__
____
_
_
_________
_
___
___
____
__
__
___ __
_
__
_
_
_____
_
_
___
_
_
_
_______
_
_
_
_
_
_
___
_
_
_
__
__
__
____
_
_
__
_
__
_
__
_
__
__
_
_
_
___
_
_
___
_
_
__
_
_
__
_
_
_
__
__
___
_
_
___
__ __
__
_______________
_
_
_
_
_
__
_
______
_
____
_
_____
_
__
_
________
_
_______
____
_
_
_____
__
____
___
_
____
__
__
_____
__
_________
__________________
_______
___
__________
_
________________
_
___
_
__
_________
_
_____
______
_
_____
__
____________________
_____________
_
________________________
_
___________
_
_____________________________ _
__________________
_
__
______________________________________________________________________________
_________
__________________________________________________
_
_____
___________________________________ _____
___________
_______________________
___________________
_
____________________________________
_____ ___
_
_______________
_
__
______
_________________
________________
_
_______________
_______________________
_______
______________________________________
_______________________________________________________ _
___
_
___
_
____________________________________
________________
_
_
_
_____________
_
__
__
___
___
_
____
_
_____
_
_______
_
_____
_
_____
_
_
_
_
_____
_____
_
___
__
_
_
__
__
_____
_
_
__
_____
_
_____
_
_
_
_
_
____
_
______
_
____
__
___
_
______
__
____________
_____
________
_
_____________
_
____
_
___
____________
____________
_____________________
_
______
___
____
______________________
__________________________
____
____
_
__
___
___
_________
_
__
________________
_______
_
___
___
__
__________________
_____________________
______
________
_
______________
_
_____
_
____
_____
__
_
____
____
____
_
_________________
____
___
____
_
___
__
_
_
____
_____
__
_
_
_
___
_
_
________
______
_
_______
_
_
_
____ _
_______
____________________
_____________________________________
_
_____________
_____________________
_
___
__
_________
____
_
_
__
__
_
_
_
_______
_
____
__
______
____________
__
___
_
_
_
__
_
______
__
____
_
________________ __
_
__
___
_
__
__
___
_
___
_______
_
__
___
_
____
____
_
_
_
_
____
__
___
_
_
____
_
___
_
_
_
_
_
_
___
__
_
____
_______
_
____
_
_____
_
_
_
_
_
_
__
_
___
_
_
_
_
____
_
_
__
_
_
__
___
_
___
___
___
_
_
__
_
_
___
_____
_
_
__
__
_
_
_
_
_
__
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
____
_
___
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
_
_
_
_
_
_
__
____
__
_
_
_
_
_
___
__
_
__
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
__
_
___
__
_
_
__
_
__
_
_
_
_
_
_
_
_____
_
______
_
_
_
_
__
_
_
___
_
__
_______
__
_
_
__
__
____
_
___
_
___
_
___
_
_
_
__
_
___
_
_
__
_
_
_______
_
__
_
_
__
__
_
______
__
___
_
___
_
_
__
_
_
_
_
____
____
___
_
__
_
_
_
___
_
__
__
_
_
_
_
_
_
_
_
___
_
_
____
___
_
___
_
_
_
____
_
_
_
____
_
_
___
_
_
_
__
_
___
_____
_
_
_
_
______
_______
_
________
___
____
_
__
__
____
__
_
_
____
__
__
___
_
___________
__
__
_____
__
____
_
__
_
__
__
__
__
______
_
_
_
_
_
__
______
__
_ __
_
__
_
__
___
_
__
_____
__
__
_
_
____
_
_
___
___
___
_
_
___
_
_
_
_
____
_
__
__
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_____
_
_
_
_
____
_
_
_
_
_
_
_
_
_
__
_
__
__
__
_
_______
_
__
__
____
_
__
_
_
_
___
__
__
_
___
_
_
_
_
_
_________
_
__
__
_
______
_
_
_
_
_
_
_
___
_
______
_
__
_
_
__
_
_
_
_
_
__
_
_
_ ____
__
_
____
_
_
____
________
_______
__
__
___
_____
_
__
_
_______
_________
_
____
___
_
__
_
________
___
_
_________
___
____________________________
_
______________________________________________
_
________________________
BIL: SRFE
rojo
.gro
jo.r
rojo
.hbl
anco
.gro
jo.V
verd
e.I
verd
e.i
verd
e.V
rojo
.Ibl
anco
.Rbl
anco
.Vro
jo.i
blan
co.I
verd
e.r
verd
e.A
blan
co.s
blan
co.i
verd
e.s
blan
co.r
verd
e.g
blan
co.h
azul
.Iaz
ul.g
azul
.Aro
jo.s
azul
.rve
rde.
haz
ul.i
azul
.hve
rde.
Raz
ul.s
blan
co.A
rojo
.Aaz
ul.R
azul
.Vro
jo.R
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
____________________________________________________________________________________________________
____________________________________________________________________________________________________
________________________________________________________________________________________________________________________________________________________________________________________________________
____________________
___________
________________________
_______
_______________
________
_____
_____
_
_
___ __
______
_
___________
______________
_____
_______________________
_
__
______________________________
_____
____________________________________________________________________________________________________
_________
________
_
_____________
_
______
_
____
_
________________________
____
__________________
__
__
_
_____
________________________
___
________________
_____
__________________________________
__________________
___
_
__
__
_
______
_
__
_____
_
_
_
__
_
_______
__
_
_
___
_
_
___
_
____
____
________
_
__
_
__
_
____
____________
____
__
_
____
_
_
_______
_
____
______________
_
____
___
________
______
___
__________________
_________________________
_____ _
___________________________________________________________________________________________________
_
______________
______
_______________________
____
_
__
_
____________________________
____
_
__________
____
_
_
_
_
_
___
_
___
__
_
_
_
_
___
_
__
__
_
_
_
_
_
_____
_
___
_
__
_
_
_
__
_
_
__
_
_
________
__
_
_
_
_
__
_
_
________
_
__
_
__________
____
__
_
_
________
____
_
____
___
_______
_
__________
___
__
_
___
___
_
_
________
__
_____
_
___
_
___
____
____
_
__
__
__________
_
___
_
____
____________
_____
_
_____________
__
____
__
_
______
__
_________
_
_________
_
____
_
___
_
_____________
__
___
____
_
_________
_
__________
_
______________
_
_____
__
_
_____________
_
_____
_
_______
_
__________
_
__
____
___
__
_
____
_
___
_
_
__
_
________
_
_
__
_
_
___________
_
_
_
_
__
_
_
_
_
_
_
___
_
____
__
_
_
_
__
_
_
__
__
_
_
______
_
___
_
_
_
_
_
__
_
______
_
_
___
_
______
_
__
__
_
_______
_
_
_
__
__
_
______
__
___
_
___
_
____
______
_
_
__
__
_____
_
_
_
_
___
____
_
_
_
____
___
______
___
_
_
_
__
_
__
_
__
_____
__
___
_
_
_
__
_
_
_
_
_
________
___
_
_
_
__
_
__
_
_
_
_
_
______
__
_
_
_
_
_
_
_
__
__
__
____
_
_
_
_____
_
__
_
_____
__
_
______
__
__
__
_
_
__
__
_
_
____
__
_
_
__
__
_
___
_
_
_
_
_
__
___
_
_
__
__
_
__
_
__
_
_
_
__
_
_
_
_
_
_
__
_
__
__
_
_
____
_
_
_
__
_
_
_
__
_______
_
_
_
__
__
______
_
___
__
__
_
_
__
___
_
_
_____
______
_
__
__
_
_______
_______
_
_
___
_
_
_
__
_
_
_
_
__
_
_
_
__
__
_
_
___
_
__
_
_
____
__
_
_
_
_
_
_
_
_____
_
_
_
__
_
_
___
_
_
__
_
_
___
__
__
_
_
_
_
_
_
___
_
_
_
____
_
__
__
_
_
_
_
_
____
_
_
___
_
_
_
_
_
__
_
_
_
___
__
_
__
___
_
_
_
_
_
_
_
_
_
_ __
_
_
_
_
___
_
__
_
_
__
_
_
_
_
_
_
__
_
_
__
_
__
_
___
_
_
__
_
_
_
__
_
__
__
___
______
_
_
_
_
_
_
_
_
_
_____
_
_
_
_
_
_
_
_
_
___
_
__
_
_
_
__
_
__
_
_
_
_
_
___
__
_
__
_
_
__
_
__
_
_
___
_
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
__
_
_
_
_
_
_
_
_
__
_
_
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
____
__
_
_
_
_
_
__
_
_
_
_
_
__
___
_
_
_
_
_
_
_
_
___
__
_
_
_
_
___
__
_
__
_
_
___
_
_
___
_
__
_
_
_
_
__
__
_
_
_
_
_
_
__
_
_
_
_
_
___
_
__
_
__
_
___
_
_
__
_
_
_
__
_
_
_
_
_
_
_
__
_
_
_
_
_
___
_
_
_
_
_
__
__
___
_
______
_
_
_
__
_
_
___
__
_
_
_
_
_
___
____
_
__
_
_
_
______
_
_
__
_
_
_
_____
____
__
_
___
_
_
_
__
_
__
_
_
_
____
_
___
_
_
_
_
__
_
__
____
__
___
_
_
____
__
__
_
_
_
___
___________
_
___
_
___
_
_
__
__
__
__
_____
_____
_
_
__
_
_
_
_
_
_
_
___
___
______
_
____
__
__
__
_
___
_
________
____
__
__
__
_
__
_
___
_
_
_
__
__
___
_____
_
____
____
__
__
_
_
_
___
__
_
___
_
_
_
___________________
_
___
__
_
_
_
_
_
_
____
_
___
_
_
___
____
__
_
___
_
_
_
______
_
_
____
_
_
_
_
___
_
_
_
_
_
_
__
_
____
__
_
_
_
___
____
_
_
___
_
___
_
__
_____
__
_
_
_
_
__
_
_
_
__
___
_
____
_
__
_
______
__
_
_
_
___
_
_
__
_
___
_
_
__
_
___
_
_
_
____
_
_
_
__
___
_
_____
_
___
_
_
_
__
_
_
__
______
_
__
_
___
__
_
__
_
_
_
_____
__
________________
__
_
_____
_
__
___
________
_
_
_____
_
__
_____
_
__
__
__
_
_
_
_
_
____________
___
_
_
_
_
_
____
_
_
_
_________
___
_
__
___
__
__
__
_
_
__
_
_
__
_
_
__
_
_
_
_
__
__
_
_
_
___
_
_
__
_
__
_
____
__
_
___
__
_
_
__
_
________
_
_
__
_____
_
_
___
__
_
_
_
___
__________
_______
___
_______
___
___
_
___
_
___
_
_____
___
_
____
_
_____
______
_
_
___
________________
__
_
__
_
_
_
__
_
_____
_
__
_
____________
________
__
_____
_
____
_
______
__
__
_
____
_________
_
_
_
___________
_____
_
_
_
_
___
__
_
__
____________________________________________________________________________________________________
BIL: SVM−RFE c/MRMR
rojo
.iro
jo.A
azul
.Raz
ul.s
azul
.rro
jo.s
verd
e.R
rojo
.Rve
rde.
sve
rde.
raz
ul.A
blan
co.s
blan
co.g
blan
co.r
blan
co.A
verd
e.g
verd
e.h
azul
.Iaz
ul.i
azul
.Vaz
ul.h
azul
.gbl
anco
.Ibl
anco
.ive
rde.
Abl
anco
.Rbl
anco
.hve
rde.
Ive
rde.
ibl
anco
.Vve
rde.
Vro
jo.V
rojo
.hro
jo.r
rojo
.gro
jo.I
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
__
_
_________
_
_____
_
__
_
__
_
_______
_
_____
_
__
_
___
__
_______
_
___________
_
______
_
__
_
_
_
_______
_
____
__
_
_
________
_
_______________________________
_
__________________________________________________
______________
___
________________________________________________________________
___
_
_____________________________
____
_
_________________________
_______________________________________
_
_
___
______
____________
_
_
______ _
_
_
__
______
__________________
______
_
_______________________________
_
___________________________
____
_
_____________________________________________________________________
______
_
_____________________
_
__
____
_
________________
_
_____
______________________
_____
____________________
_
_____________
____________
_
__
_
____
______
________
_________
_
__________
_______
_
________________
_
__
__
_
____
_
__
_
_____
____
_
_
______
_
__ ____
__________
_
__
___
_
____
_____
_____
__
___________
_
_
____
_
__
_
_
_
__
_______
_____
_
__
__
_
_
____
_
_____
___
___
___ _
___
___
___
_
____
__
______
__
_
__________
___
______
_
_
__
____
_________
_
______
_
______
_
__
_
__
_
_________________
____
__
___
__
___
_
_
__
__
_
__
_____________
_
____
_
____
_
_
_
_
_
______
_
_____
______
__
_
_____
__
_
____
________
__
__
__
_
_
_
_________
_
___________________
__
_
____
__
___
_
__
___
_
__
_
_
_
_____
_
_
_____
_
______
__________
_____
_
____
_
______
_______
____
_
_____
____
_
___
_
_______
_
______
___________
___
__________________________
_
__
________________
_
__________________________________________________
_________________________
__________
_______________
____________________________________________________________________________________________________
___________________
_
____________
________________________
_
__
_
__
_
_______________
_
_____________
_
_
_
_____
__
_
________
__
_
__
___
__
_
_
______
_
____
_
_
_
__
_
_
_
___
____
_
_
_
___
_
__
_
_
__
_
______
_
_
____
__
_
_
__
_
__
_
_
_
___
_
_
_______
_
__
_________
_
_____
_
_
__
______
___
_
_
__
_
_
_
__
_
_
___
_
_____________
_
_
_
_
_
____
_
____
_
_
_
____
________
_____
___
____
___
_______________
_
_
__
__________
_
__
_
_
____
_
___
_
___________
__
_
_
_
_
_
__
__
_
____
_
_
_
___
____
_____
_____
___
____
_
_
_
_____
_
_
_
_
_
_
_
___
_
___
__
____
____
________
_____
______
___
___
_
_
___
___
____
_
_
____
_________
______
____
____
___
_________________
_________
_
_____
_
______
_
_
__
__
_____
_
_______
__
_
___
_
__
__
___
_
_
_
____________
_
__________
_
____________
_
_____
_
___________________________
_
______________
_
_________________________
_
____________
_
___________
_
_________________________________
_______________________________________________________ ________
_____________________________________
_
______________________________________________________
____________________________________________________________________________________________________
_
__
_
__
___
_
__
_
_
___
_
____
____
__
_____________
___
_
_
____
_
_
___
_
__
_
___
___
__
__
_
___
_______________
_
___
_
_
_
___
__
______
_
_
_________
__
______
_
__
_
_____________
_
___
_
_
_
_
_______
__
__________
_
___
_
__
_
______
_
______
__
____
____ _________________
__
___________
_____
__
_
_
__
________
_
_______
__
___
_____
__
_
___
___
___
_
______
_
_
_
_
___
_
______
______
_________
_
_
__
___
________
____
_
__
_
___
_________
_____
_
_
__
___
_____
__
_
______
___
_
______
_
_
__
___
_
______
________
_______
_______
_
_
_
__
___
_
_
_
__
__
_
_
__
________
_
_____
_
____
__
_____
_
____
_
__
_
___
_
____
__
_
_
___
_
_
_
___
___ ___
_
___
_
_
_
_____
_
_
_
____
_____
_____
__
_
__
_
_
______
_
___
__________
_
___
_
__
_____
__
_
_____
_
_____
_
_
_____
_
_____
__
_
_____
____
__
_
____
_
_
_____
________
__
__
_________
_
__
___
___
_
_
______________
_
______
_
_
______
__
___
_
_
____
____
__
_
_
_
_____
______________
__
__
___
_
____
__
_
__
_
_
_____
__
_
___________
__
______
_______
_____
_____
_
____
__
_
____
_
__
_
_
_______
____
_
_
_
__
_
_
__
_
_
___
___
_
_
____
________
_
_
_
_
__
_
_
_
____
__
_
____
_
_
_
____
_
_
_
_
_
__
___
___
_
_
_
_
____
___
__
_ ________
________
_
_
_
__________
_
_
________
__
_
___________
___
_
__
_
_____
__
_
_
___
_
__
_
__
_
___
____
_
____
_
_
_
_
____
___________________
_
______________
________
_
____________________________________
_
_______
_
_____
_
_______
BIL: FCBF
Figura 25: BIL: distribucion de posiciones que toma cada variable en el ran-king realizado por cada uno de los metodos comparados.
61
Ph
Este dataset corresponde a determinaciones del Ph de la orina en tiras
reactivas. Hay 440 muestras de 36 variables y seis clases. La Figura 26 muestra
las altas correlaciones entre las variables.
Los resultados de este experimento, Figura 27, muestran modelos optimos
para los wrappers del mismo nivel de error, si bien SRFE lo logra con dos
variables menos (tres en lugar de cinco). FCBF falla en la obtencion de un
modelo de datos comparable con resto.
En cuestion de estabilidad, la seleccion es clara y estable para los wrap-
pers, pero el analisis de correlacion revela gran redundancia en los modelos
de RFE y, en particular, de MRMR (Figuras 28 y 29).
62
azul
.Raz
ul.s
azul
.rve
rde.
Rve
rde.
rve
rde.
sro
jo.A
rojo
.sbl
anco
.ibl
anco
.Iaz
ul.A
azul
.iaz
ul.I
blan
co.V
blan
co.A
blan
co.s
azul
.Vve
rde.
gve
rde.
haz
ul.h
azul
.gve
rde.
Ave
rde.
Vve
rde.
ive
rde.
Iro
jo.R
blan
co.R
blan
co.r
blan
co.g
blan
co.h
rojo
.iro
jo.I
rojo
.Vro
jo.r
rojo
.gro
jo.h
rojo.hrojo.grojo.rrojo.Vrojo.Irojo.iblanco.hblanco.gblanco.rblanco.Rrojo.Rverde.Iverde.iverde.Vverde.Aazul.gazul.hverde.hverde.gazul.Vblanco.sblanco.Ablanco.Vazul.Iazul.iazul.Ablanco.Iblanco.irojo.srojo.Averde.sverde.rverde.Razul.razul.sazul.R
Ph
Figura 26: Ph: mapa de calor que muestra la correlacion entre las variablesdel dataset. Se pueden distinguir varios grupos de distinto tamano con unaalta correlacion interna.
63
Ph - Selección
Número de variables
Err
or
3 6 9 12 15 18 21 24 27 30 33 360.15
0.20
0.25
0.30
0.35
RFE
SRFE
MRMR
FCBF
Ph - Selección
Número de variables
Err
or
1 2 3 4 5 6 7 8 9 10 11 12 13 14 150.15
0.20
0.25
0.30
0.35
Figura 27: Ph: nivel de error en funcion del numero de variables seleccionadas.El panel superior muestra la figura completa mientras que el inferior muestraen detalle el comienzo de la figura.
64
Ph
- E
stab
ilid
ad S
RF
E
Var
iab
le
Probabilidaddeestarentrelasmejorestresvariables
rojo
.V
rojo
.R
verd
e.V
blanco
.R
blanco
.V
blanco
.s
blanco
.A
rojo
.A
verd
e.R
verd
e.A
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
Ph
- E
stab
ilid
ad F
CB
F
Var
iab
le
Probabilidaddeestarentrelasmejorestresvariables
blanco
.s
azul.R
rojo
.i
rojo
.V
blanco
.h
verd
e.g
azul.s
verd
e.R
azul.r
verd
e.h
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
Ph
- E
stab
ilid
ad R
FE
Var
iab
le
Probabilidaddeestarentrelasmejorestresvariables
rojo
.i
rojo
.I
rojo
.R
rojo
.V
rojo
.g
blanco
.R
blanco
.V
blanco
.A
rojo
.A
verd
e.R
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
Ph
- E
stab
ilid
ad M
RM
R
Var
iab
le
Probabilidaddeestarentrelasmejorestresvariables
rojo
.i
rojo
.I
rojo
.g
blanco
.r
blanco
.R
blanco
.V
blanco
.A
rojo
.R
rojo
.V
rojo
.A
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
Figura 28: Ph: estabilidad de las soluciones. Para cada metodo se muestrala probabilidad de cada de variable de estar seleccionada entre las primerastres.
65
rojo
.Rro
jo.I
rojo
.ive
rde.
Vro
jo.V
rojo
.gbl
anco
.Vro
jo.r
blan
co.g
rojo
.hbl
anco
.sbl
anco
.Rbl
anco
.rve
rde.
Ibl
anco
.hve
rde.
ibl
anco
.Ibl
anco
.iaz
ul.g
azul
.Aaz
ul.h
verd
e.A
azul
.Ive
rde.
haz
ul.i
verd
e.R
blan
co.A
rojo
.Ave
rde.
gro
jo.s
verd
e.r
verd
e.s
azul
.Vaz
ul.r
azul
.saz
ul.R
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
___
_
____________________________
_
________
_
__
_
_____
_
_
_______
_
__
_
____________________________
_
________ ____________________________________________________________________________________________________ ___
_________________________________________________________________________________________________
___
_
_
_________
_
___________
_
____
__
___
_
____
__
____
_
__
_
________
__
____
_
_____
___
___________
_
_
_
___
_
_
_
______ ___
__
__________________________
_
_
_
_______
_
________
__
_______________________________
_
_______
_
_
_______
_
_
_
_
_
_
______
__
_________________
___________________
_________
_
___________
_____________
_______
_
________
___
__
_
________
________
____
_
___
_
_____
_____
_
__
__
__
__
_
________
_
______
_____
____
_
__
_____________
_
_
____
_
__
____
__________
_
__________
__
_
_
______
_
__________
_
_______
__
___
_
_
_____
_
__
_
_
________
_
_
__
______
___________
_
___
_
____
____
_
_
__
_
___
_
__
__
_
__
__
_
____
_
_
___
__
____
__
_
_
_
_
______
__
__
_
_
_
___
__
___
___
_____
__
_
_
_
_
_
__
_
_
_
_____
_
_
___
_
______
_____________
___________
_
________
_
_
_
_______
_________
___
_
__
__
__
___
_____
__
____
_
________
_
___ ___
_
__
___
__
_______
_
___
__
________
___
_
___
_______
_
_
____
____
_
__
_
______
_
__
_
_
______
_
___
_
_
_____
_
_____
___
___
____
_
_
______
_
__
_
______________
_
_
__
_
__
_________
_
__
________
______
_____
___________
__
________
__
_
________ __
_
__________
_
____
_
_
__
______
___
_
____________
__
_
___________
_
_____
_
_
____
_
________
__
__________
_
____
____
__
___________________
_
_______
_
___
_____
_____
_
_________
_
____
_
_________________
__
________
_
__
___________
__
________________
_
__
______
____
___________________________
_
_____________
_
___
________________________ __
_
_
_
_______
_
_____
___
_
_______
_
________
_
____
_
_
________
_
________________
_
_______
_
______
_
__
_
_____
_
_____ ___
___________________________
_
__________________________
_______________________________
____________ _
_______
____
_
____
_
_
______
_
___
_
_
__________________________
______
_________
_________
________
__
_________
___
__
___
____
_
___
_
________
___
_
_____
__
__
_______
_
______
_
_
_
__
_
________
__
____
___
___
______
___
_
_______
_
___
______________
________________
____
_
__
_
________________________________________________
_
___
_
___
_
____
__
__
_
_
_
_______
_
___
__
___
_
__
_
_
__
_
_
____
_
_
__
_
____
_
_
_
_____
__
_
_
_
__
_
______
_
__
___
_
___
_
__
_
_
_
__
_
___
_
_
_____
_
_
__
_______
___
_
_
_
____
_
__________________
_
_
_
_
_
__
__________
____
_
___________________
___
_
___
___
_
____________
_
_
__
_____________
_
____
_
_
___________
_
_
______
_____
_
_______
_________
__
_________
_
____
_
_________
_
_
______
_
__
__
______
______
_
_
_____
_
_
_
__
_
__
___
__
__
_
_
___
____
____
__
_
__
_
_
__
_
_
_
____
_
____
__
_
_____
_____
_
_________
_
_
_____
____________________
_
_
_
__________
_
_
_
_____
___
_
_
_
_
_______________
__
__
________
___
_
_
_
________
_
__
_
_
___
_
_
_______
_______
__
___
__
_______
_
__
_______
__
____
_
__
____
______
_
__
_
_
_
_
__
_
_____
__
__
__
_
_
_
____
__________
____
__
_
_
_
______
__
__
__
_______
_
_
___
_
_____
_
_
_
_
_
__
_
_
_
___
_
___
__
_
_
_
__
_
_
_
_
__
__
_
_
_
_
_
_
_
_
_
___
_
___
_
___
___
_
_
__
_
_
_
__
_
_
_
_
_
__
_
_
_
_
_
___
_
__
_
_
__
__
_
_
_
_
_
_
_
__
__
_
_
____
_
_
_
_
_
_
___
_
_
__
_
_
_
_
___
_
_
_
_
__
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
_
__
__
_
_
_
__
__
__
_
__
__
__________
__
_
___
_
___
_
_
__
__
_
__
_
__
_
_
_
_
__
_
____
_
_
__
______
_
_
_________
_
_
__
_
_
__________
_
__
_
__
____
___
_
_
_____
___
_
____
_
_
_
_
_
__
_
__
__
_
__
_
_
__
_
_
_
_
____
_
_
_
_
__
_
_
__
__
_
______
__
_
_
_
_
_
_
_
_
_
_
__
_
__
_
_
__
_
_
___
_
_
_
_
_
_
______
__
_
_
___
_
_
_
_________
__
__________
__
__________________
_________________
_
_
___
_________
___
_
_
_
__________________
______________
___
____________________________
________________
__________________
_
___________________
___
____
___
_
______________________________________
______
______
____________
_____
___
_
__
_
___
__
_
_
___________
__
_
_
___
_
_
___
___________
_
____
_
_
____________
_
________
_
_
_
____
_
____
__
_
_____
____
_
__
__
____
___
_____________
_____________
_
____
_
_______
_______
______________
_______
__
_
__
_____
_
__
__
_______________
________
________ _
_______
_
___________________
_____
_
___
__
____________________
_
______
_
_________________________________
Ph: RFE
rojo
.Rro
jo.V
verd
e.V
blan
co.s
blan
co.V
blan
co.i
verd
e.A
verd
e.h
azul
.haz
ul.i
blan
co.A
rojo
.sve
rde.
Raz
ul.V
blan
co.R
azul
.rbl
anco
.hbl
anco
.rbl
anco
.gro
jo.i
verd
e.i
rojo
.rve
rde.
gaz
ul.A
rojo
.haz
ul.g
rojo
.gro
jo.I
rojo
.Ave
rde.
sbl
anco
.Ive
rde.
Iaz
ul.R
verd
e.r
azul
.saz
ul.I
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
__________________________________________________________________________________
_
_____________________________________________________________________________________________________________________ ___
______________________________
___________________________________________________________________ ___
________________________________________________________
_
________________________________________ ______
__________________________
_
_____________
_
___________________________________
_
___
_
__________
_
__ ____
___
_
____________________
_
________
_
_
__
___________
_
______
___
_
_______________________________
_
_____ __
__
______
_
_______
_______
______
_
_______
_
____
_______
_
_
_____
______
_
___________
___
_
___
_______
_______
_
__
_
__
_____
_
_
__
__
____
_
__
___
_
____________
_
_
_
_____
___
_
_
__
__
__
__
_
_
_
___
_
___
________
__
___
_
___
__
_
__
_
__
_
_
___
___
_
___________
__
______
_______
_
__________
__
______
_
______
_
_
___
_
_
___________________________
____________
____
_
_
___
_
________
_
___
__
__
_
_
_
__
__
_
___
_
_
__
_____
_
__
_
__
_
__________
_
__
_
_
_______
____
__
_
______
_
__
_
_
_
_
__
_
_
_
_
_
__
__
_
______
__
_______
________________
_
_______
_
_____
_
_
__
__
___
__
_
____
_____
_
___
_
_______
______________
_
_______________________
_
_______
_
__
_______
__
_
_________
__
_____
___
_____
______________
___
__
____________
_
___
_
_
___
___
__
_____
_
_
__
_
_____
______
_
__
__
___
_
_
_
_
_
__
_
__
____
_
_
___
_
_
_
__
__
___
_
______
___
_
_
__
_
_
__
_
_
_
____
_
___
___
____________________________________________________________
_____________________________________
___
_
_
_
_
_
_
____
__________
_
__
_
_
_
__
_
_____
_
_
__
__
_
___
____
_
_
__
____
_
__
_
____
_
__________________________
_
____
_
__
__
_
_
_
__
_
__
__
___
___
_
___
__
_
__
_
__
__
_______
__
_
_
_
_
____
_
___
____
__
__
_
_
_
_
__
_
_
_
__________
_
___
_
_____
_
_
_
_
__
__
_________
________________________
______
_____________
_
_________________________________
_
_____________ _
______________________________________________________________
_____________________________________
____________________
_
____________
___________________________________________________________________ _
____
____
_
_____
___
_
__
_
___________
_______
___
____
_________
_
_________
____
_
_______________
_
____
______
___
__
_
________________
____
____
________
___
_
_____
____________________________________
__________________
__ __
_________
_________
____
_
_
__
_
_______
_
_________________________
__
__
__________
_____
_
___________
_
_____
____
_
_
____
_
___
__
______
_
___
_
_______
__
___
_
________
_
____
_
_________
_
_____________________
_
_
_
_____________
__
___
_
___
_
________
_
___
_______
_
________________
___
_
__
_
_____________
_
______________
_
______
_
__
__
_
_
___
_
_ __
___________________________
_
__________________________
_
___________________________________________
_
_
_
______
_
___
__
_______________
_________
__
______
_
_______
_
____
_
_____________________________________
__ _
__________
_______
____________________________
___
_
________________
_________________________________
_ ____________________________________________________________________________________________________
_
_____
_____
______
_______________________
_
_______
_
______
_
_______________________
_____________
_
_
_
_____ _
__
_
_
______
__
______
_
_
_
_
_____
__
_
___
_
__
__
___
_
__
_
_
__
_
__
_
___
_
_
___
_
_
_
__
__
___
_
______
___
_
_
___
_
__
_
_
_
____
___
_
___________
______________________________________________
_
__________________________________________
______________________________________
____________________
______________________________________
____
____
_
____
_
______
_
___
__
_
_
_________________
_
_
___
_
______________
____
_
___
_
_____
_
________
____________
_
________________________
_
________
_
___________
_
_________
_
________
_
____________________
_
________________
_
__
__
__
_
___
__
__
__
_
____
_
__
__
_
__
_
__
__
________
_
_
_
______
_
___
____
__
_
_
_
_
_
_
__
_
_
_
__________
_
___
_
_____
_
_
_
_
_
_
______________________________________________________________________________________________________
Ph: SRFE
rojo
.Iro
jo.i
rojo
.gro
jo.r
verd
e.I
blan
co.r
blan
co.g
rojo
.hro
jo.R
blan
co.s
rojo
.Vve
rde.
ibl
anco
.hbl
anco
.Iaz
ul.g
blan
co.R
verd
e.V
blan
co.i
azul
.Ibl
anco
.Vaz
ul.h
verd
e.g
azul
.Ave
rde.
Aaz
ul.i
verd
e.r
verd
e.h
rojo
.sve
rde.
sbl
anco
.Aro
jo.A
verd
e.R
azul
.raz
ul.V
azul
.saz
ul.R
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
____________________________________________________________________________________________________ ________________________________________________________________________________________________________________________________________________________________________________________________________
_______________________________________________________________________
_____________________________
___
_
______
_
________
_
__
__
__
_
___
_
_
_
_____
_
________________________________
_
________________
_________
_
__ _____
____________________
_
_
___________
_
______________
_
_________________
__
___________
_____
___________
___
_______
_
___________
_________
___________
_____________________________
_
________________
____________ _
___________
__________________
______________
_____________
_
____
_
_______
____________
_______
_____
______
__
___
_
_
_____
__
__
____
__
____
___
___
__
_____
____
_
_
_
____
__
_
_
__
_
_
_
__
_
_
_____
_
___
_____
____
_
__
_
_
__
________
__
__ ________________
__
_
_
_
_
___
__
___
__
_____
_______
_
___
_
____
___
__
_
_
_____
__
_
_______
____
__
_
_
_
____
_
___
__
__
__
_
____
__
_________
____
___
____
_
__
_
_
______
_____
__
_
______
_
__
_
___
_
_
___
_
_
___
_
_
_
_
___
__
__
___
______
_
_____
_
____
_
_ __
_____
_
__
_
_
_
___
__
_
_
_
___
___
__
__
_
_
_____
__
___
________
_
_
_
___
_
_
__
_
___
_
__
_
_
___
_
_
___
___
___
____
_
__
_
__
_
__
_
__
__
_
_________
_
___
__
_
___
_____
__
__
_
__
_____
_
___
_
__
______
_
_
___
____
______
_
_
_
_
_
_
_____
__
_
___
__
_
________
_____
___
_
__
_
_
__
_
________
__
_
_____
_
_
_
_
___
___
__
__
__
_
_
_
_
_
_
__
__
___
_
_
_
_
_
_
_
_
__
_
__
_
_
__
_
__
_
_
___
_
_
__
__
____
_
____
_
_
_
_
__
_
_____________
__
_
__
_
__
__
__
_
_
___
_____
__
___
__
____
_
_
__
_
_
__
_
_
_
___
_
_
_
__
__
_
____
___
__
_
_______
_
_____
_
__
_
_
_ ______
____________________________
___
____________________
_
_
___________________
________
_
______
___
__
____
__
_
__
_
__
_
_____
_
__
___
__________
_
_
_
___
_
____
_
_____
_
___
_
_
___
______
____
__
_
_
_
_
____
____
_
___
__
_
_
__
______
_
_______
__
________
_
__
_
_
_
_______
_
__
___
__
__
_______
_
___
___
___
___
__
_____
_
__
_
_
__
___
_
_
__
_
_
_____
__
_____
__
_
_
______
________________
_
_
_
_____
_____
_
_______________________
_
____________
_
___
_
____
_
_
_______
_
_
_______
___
_
_
_
_
_
_
_
_
___
____
_
_
_
_
_
_
_
__
__
_
_
__
_
_
__
_
__
_
_
_______
_
___
_
_
_
_
_
_
___
_
_
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
__
_
__
_
__
_
__
_
___
_
_
_
____
_
____
_
_______
___
___
_
__
__
__
_
_
___
_
_
______
__
_
_________
_
__
___
_
_
__
__
____
_
_
__
__
___
__
_
__
_
_
___
_
____
_
_
_
__
__ __
_____
_
___
_________
_
_
_
_____
_
___
__
____
_
__
__
______________
_
____________
_
_
_
__
____
_
_
__
____
___
____
______
___
_
_
__
_
_
__
_
_
_
______
_
_
_
___
_
__
__
______
__
__
_____
_
_
_
__
____
_
_______
__
____
____
__
___
_
_
_
____
__
__
_
__
_
_
_
____
__
__
_______
_
_
____
__________
__
_
__
_____
_
_
____
_______
______
____________
________
_
__
_
_
__
_______
____
_
__
____ _
_
_______
_
____
______
_
_
_
___
_______
____
_
_
_______
____
_
__
_
_
_
_
_
_
__
__
__
____
_
________
___
___
___
_____
__
_
__
___
_
___
__
___
___
_
__
_____
__
_
___
_
_
____
_
_
____
_
____
_
_____
_
_
__
_
___
___
_
__
__
___
_
__
__
_
___
_
_
_____
_______________
_
_
___
___
_____
___
_
_____
_
__
___
_
____
____
_
_
_
_
__
_
_
__
_
______
__
_____
_
__
__
_____
______
__
__
__
_
_
______
___
_
_
_____
_
_
_________
_____
_______
__________________
____
___
_
______________
_
____
_
___
___
_
_______
__
_
_______
_
_
_____
_________________________________________________________________________________________
_____
_
_
_
___
_
_
______
_
_________
_
_
________
____________
_____
______
_
_______
_
___________
_
_
__
_
_
_
____
______
__
_________
_
_
___
____
_
_
__
___
_
_
______
_________________
_
____
___
_
__
_
__
_
_
__
_
___
___
_
_____
_
_
__
__
_______
__
__
_
___
_
__
_
___
___________
__
_
__
____________
_
_________
______
____
_
____
_____
__
___
____________
____
_
__________________
___
___
_
___
___
__
_____
_
_
____
_
____
_______________
__
___
___
_
______
_
_____
__
____
___
__
_
_____
_
___
__________
__
____
___
_____
___________________________________________
______
____________________
____
___
__
_
_
___________
____________________________________________________________________________________________________ ____________________________________________________________________________________________________
Ph: SVM−RFE c/MRMR
blan
co.s
azul
.Raz
ul.s
azul
.rro
jo.A
azul
.Aro
jo.s
azul
.Ibl
anco
.Aaz
ul.i
verd
e.R
verd
e.s
verd
e.r
azul
.Vve
rde.
gbl
anco
.Ibl
anco
.iaz
ul.h
azul
.gve
rde.
Ave
rde.
Ibl
anco
.Vve
rde.
ive
rde.
hve
rde.
Vro
jo.R
blan
co.g
blan
co.R
blan
co.r
rojo
.rro
jo.g
rojo
.hbl
anco
.hro
jo.V
rojo
.iro
jo.I
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
__
_
__
_
_
___
_
_
_
_
_
_
___
_
_
_
__
_
_
_
__
___
___
_
_
_
___
_
_
__
_______
_
_
_
_
__
_
_
__
_
__
__
___
__
__
____
___
_
_
_
__
_
___
__
________
_
_
__
_
_
_
_
_
_
___
___
__
__
____
_
_
__
_
___
_
_
_
__
__
_
__
_
_
_
_
__
__
_
_
____________
__
__
__
___
_
__
__
_
_
___
______
_
________
_
_ _
_
___
_____
___
_____
__
____
_
_
__
_
___
__
___
__
_
___
_
______
_
_
____
_
_______
_
___
______
_____
_
___
___
____
_
________
_
_
_
___
_
__
_____
_
___
_
_______
_
_
_
_
___
_______
_
_
__
_
_
_____
_
______
__
______
__
_
_
_
__
_
_
____
_
_
_______
___
____
_
_
__
_
_
_
_
___
_
__
_____
_____
__
____
_
_
__
_
___
__
___
__
_
___
_
_
_
____
_
_
_____
________
___
_____
_
____
_
_
___
_______
________
_
_
_
_
___
__
_
_____
___
__
__
____
_
_
_
_
_
___
__
____
_
_
___
__
_
____
_
_
___
_______
__
_______
__
_
____
_
_
_
__
_______
__
______
_
__
_
___
_
__
__
_
__
__
___
__
_
___
_
_
__
_
___
__
___
__
_
___
_
_
_
_
_
___
______
_
_
_____
_
___
_
____
_
_____
_
_
_
_____
_
______
_
_
__
__
_
_
__
_
_
_
_
___
__
_
____
___
_
_
_
_
_
__
_
___
_
_
___
__
_
___
_
_
_
____
_
_
_
_
_
_____
________
_____
_
__
__
__
__
_
_
__
___
_
_________
_
_
_
___
_
_
____
__
_
_
__
_
_
_
_
_
_
__
_
__
_
___
_
_
_
_
__
_
_
______
__
___
_____
_
__
_____
_
_______
__
_
__
__
_
__
___
_
_
______
_____
__ _
_
__
_
__
_
___
__
_
____
__
_
_
_
_
_
_
__
_
___
_
_
___
__
_
___
_
_
_
___
_
_
_
_
_______
______
__
_____
_
_
_
__
__
__
_
___
___
_
______
_
__
_
_
_
___
_
_
__________
___
_
__
_
_
___
_
_
_
__
_
___
_
_
_
_
_
_
_
_
_
__
_
_
_
_
____
_
_
___
_
_
_
_
_
__
_____
_
_____
_
_
_
_____
_
_
_____
_
_
__
_
_
__
___
_
_
_
_
_
___
_____
__
_
_
_
_
_
_
_
_
_
____
_
___
__
_
______
__
___
_
_
____________
___
_____
_
____
_
_
_____
_
_
_
__
_______
_
_
__
_
_
__
_
__
_____
_
_____
_
___
_
_
_
__
_
____
_
__
__
_
_
__
_
_
_
__
_
_
________
_
_
_
___
_
_
___
_
__
__
_
__
_
__
_
__
____
_
_
___
_
_
_
__
____
_
_
_
__
_
______
_
_
_
__
_
___
_
_
__
_
__
_
_
_
_
_____
_
_
_
_
_
_
___
_____
_
_
_
_
_
__
_
_
_
__
_
_
_
_
_
_
_
____
____
_
_
___
_
_
_
_
_
__
__
_
__
_
____
__
_
_
__
_
_
_
_
_
__
_
_
_
_
_
_
__
_
_
_
_
_
___
_
_
_
__
_
_
_
__
__
__
___
_
_
_
_
_
____
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
__
____
_
_
__
_
_____
__
___
_
_
_
__
_
__
_
_
_
_
_
___
_
___
_
_______
___
___
_
_
___
_
_
_
_____
_
__
_
_
_
_
_
_______
_____
_
_
_
_
_
_______
_
__
__
_
_
__
_
__
_
_
__
__
___
___
_
__
__
_
_
_
_
_
___
_
___
_
_______
___
__
_
_
_
___
_
_
_
_____
_
____
__
_
_______
_____
_
_
_
_
_
_______
___
__
_
_
__
_
___
_
_
_
____
____
___
_
____
__
_
__
_
_
_____
__
__
_
__
_
_
_
__
_
___
___
__
_______
_
_
__
_
__
__
_
_
___
__
_
_
_______
_
__
_
_
_
_____
_
___
___
___
__
_
_
__
____
_____
_
__
___
_
_
__
_
___
_
_
_
__
_
_
__
____
_
_
_
_
_
___
_
_____
__
__
___
_
_______
_
_
____
_
______
_
__
__
_
_____
_
____
___
_
_
__
_
_
______
_
__
_____
___
__
___
__
_
_
_
_
_
_
_
__
_
_
_
__
_
__
_
__
_
__
_
__
_
__
_
__
_
_____
__
_
___
_______
___
_
_
_
___
_
_____
______
_
____
______
____
_
_
_
__
____
_
____
___
_
____
___
_
____
________
_____
_
___
_
_
_____
__
__
____
__
___
_______
_____
_
__
___
_____
__
_
_
_
_
_
______
_
_
_
_
__
___
_
__
___
__
_
_
__
_
_____
__
___
_
_
_
_
___
_
_
_
______
_
___
_
__
_
_____
__
_
_
___
_
_
_______
__
_
__
_
__
__
______
____
_
_
_
______
_
____
_
__
_
____
____
____
________
_____
_
____
_
___
__
__
___________
____________
_
__
___
_____
_____
_
_______
______
_
_
_
_
___
_
_____
_
____
_
_
__
_
__
_
_
_
___
_
_____
_
__
_
____
__
__
_
_
_
_
_
_
___
_
_
_
_
_
_
_
__
___
_
__________ ___
___
_______
_
__
_
_______
_
_
____________________________________________________________________
______
________________
_
______________________________________________________
__
____
_
______________________ __
_______________________
___________________________________________________________________________
____________________________________________________________________________________________________
_____
_
_______
_
___________
_
______________________________________________________
_
___________________
_
___
_
_
____
___
_
_
_
___
_
__
_
__
_
_
__
_
__
_
___
_
_____
__
__
_
_
_
_
____
___
______
_
_
_
_______
__
__
___
_
_____
__
_
_
_____
_
_
_
_
_
_____
_
_
_
________________
__
_
______
_
_
__
__
___
_
____
___
____
_____
_
__
_
_
_
_______
_
________
__
____
___
___
_
______
_
____
_
_
_
_____
___
______
_
______
_
____
___
_
____
_
________
_____
____
_
_
_
__
_
_
_____
_
____
___
_
__
______
_
___
_
____
__ _
__
___
_
_
_
___
_
_
__
_
__
__
__
_
_
__
_
_
_
_
_
_
__
_
_
_
_
_
___
_
___
_
_
__
_
_
___
_
_
_
__
_
__
__
_
_
___
__
____
_
_
_
_
__
____
___
_
_
_
_
_
_
____
__
___
__
___
_
______
__
__
_
___________
__
___
_
__
_
_
__
__
_
_
___
_
_
_
_
_
_
__
__
_
_
_
__
_
_
_
________
__
__
_
___
__
_
__
_
__
_
_
_
_
_
_
__
___
_
_
_
_
_
_
__
_
__
______
__
_
__
_
_
_
_
_
_
____
_
__
_
___
_
____
__
______
_
__
__
_
__
_
__
_
_
_
_
_
____
____
_
_
___
__
_
____
_
__
_
___ __
___
_
_
_________
__________________________
_
______
_________
__
___
__
_
______
_
____
____
_
_
__________
_
__
_
_
__
Ph: FCBF
Figura 29: Ph: distribucion de posiciones que toma cada variable en el rankingrealizado por cada uno de los metodos comparados.
66
SG
Este dataset corresponde a determinaciones de la densidad (SG viene
de Specific Gravity) de la orina en tiras reactivas. Hay 521 muestras de 36
variables y siete clases. Las altas correlaciones, esperables en este tipo de
datos, se muestran en la Figura 30.
Este experimento tiene un resultado particular. Si bien es cierto que el
metodo de MRMR, seguido por RFE, puede generar un modelo de datos con
un error menor (Figura 31), se requiere un tercio de las variables originales
para una mejora del 4 % en un resultado del orden del 30 % de error. Dada
la naturaleza de la solucion2, y siendo estos experimentos originalmente ca-
sos de screening, se decidio utilizar un modelo dado por tres variables, que
corresponde a un mınimo local para dos metodos.
En cuestion de estabilidad, como se muestra en las Figuras 32 y 33, solo el
metodo de filtro muestra una mala seleccion. RFE es muy estable, aunque dos
de las variables seleccionadas, rojo.R y rojo.I, son casi identicas en terminos
de correlacion. SRFE ofrece una solucion de menor error que RFE y MRMR,
aunque la seleccion en este caso esta bien definida pero es menos estable que
la que aporta MRMR.
2Los resultados de SG en las tiras reactivas se encuentran en el intervalo de colorescomprendido entre el azul y el amarillo. Como el amarillo esta formado por las luces rojay verde, se puede precisar el color resultante midiendo cualquiera de los canales disponibles.
67
azul
.Raz
ul.r
azul
.sve
rde.
Rve
rde.
rve
rde.
saz
ul.A
azul
.iaz
ul.I
verd
e.A
blan
co.g
azul
.haz
ul.g
rojo
.Aro
jo.s
verd
e.h
verd
e.g
blan
co.A
azul
.Vve
rde.
Vve
rde.
ive
rde.
Ibl
anco
.Vbl
anco
.ibl
anco
.Ibl
anco
.sbl
anco
.hbl
anco
.rbl
anco
.Rro
jo.r
rojo
.hro
jo.g
rojo
.Vro
jo.R
rojo
.iro
jo.I
rojo.Irojo.irojo.Rrojo.Vrojo.grojo.hrojo.rblanco.Rblanco.rblanco.hblanco.sblanco.Iblanco.iblanco.Vverde.Iverde.iverde.Vazul.Vblanco.Averde.gverde.hrojo.srojo.Aazul.gazul.hblanco.gverde.Aazul.Iazul.iazul.Averde.sverde.rverde.Razul.sazul.razul.R
SG
Figura 30: SG: mapa de calor que muestra la correlacion entre las variablesdel dataset. Se pueden distinguir varios grupos de distinto tamano con unaalta correlacion interna.
68
SG - Selección
Número de variables
Err
or
3 6 9 12 15 18 21 24 27 30 33 360.29
0.30
0.31
0.32
0.33
0.34
0.35
0.36
RFE
SRFE
MRMR
FCBF
SG - Selección
Número de variables
Err
or
1 2 3 4 5 6 7 8 9 10 11 12 13 14 150.29
0.30
0.31
0.32
0.33
0.34
0.35
0.36
Figura 31: SG: nivel de error en funcion del numero de variables seleccionadas.El panel superior muestra la figura completa mientras que el inferior muestraen detalle el comienzo de la figura.
69
SG
- E
stab
ilid
ad S
RF
E
Var
iab
le
Probabilidaddeserlamejorvariable
rojo
.R
blanco
.R
blanco
.V
blanco
.A
rojo
.V
rojo
.A
verd
e.R
verd
e.V
verd
e.A
azul.R
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
SG
- E
stab
ilid
ad F
CB
F
Var
iab
le
Probabilidaddeserlamejorvariable
rojo
.R
rojo
.V
rojo
.i
blanco
.r
blanco
.h
blanco
.R
blanco
.V
blanco
.A
rojo
.A
verd
e.R
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
SG
- E
stab
ilid
ad R
FE
Var
iab
le
Probabilidaddeserlamejorvariable
rojo
.R
blanco
.r
blanco
.R
blanco
.V
blanco
.A
rojo
.V
rojo
.A
verd
e.R
verd
e.V
verd
e.A
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
SG
- E
stab
ilid
ad M
RM
R
Var
iab
le
Probabilidaddeserlamejorvariable
rojo
.I
blanco
.r
blanco
.R
blanco
.V
blanco
.A
rojo
.R
rojo
.V
rojo
.A
verd
e.R
verd
e.V
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
Figura 32: SG: estabilidad de las soluciones. Para cada metodo se muestrala probabilidad de cada de variable de estar seleccionada entre las primerastres.
70
rojo
.Rbl
anco
.rro
jo.I
blan
co.R
blan
co.s
rojo
.iro
jo.h
rojo
.gaz
ul.A
rojo
.Vro
jo.r
blan
co.V
verd
e.V
azul
.Iaz
ul.i
blan
co.I
verd
e.I
blan
co.A
blan
co.i
verd
e.i
verd
e.h
blan
co.g
azul
.Vbl
anco
.hro
jo.s
azul
.haz
ul.g
rojo
.Ave
rde.
gve
rde.
Ave
rde.
Raz
ul.R
verd
e.s
verd
e.r
azul
.raz
ul.s
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
____________________________________________________________________________________________________
____________________________________________________________________________________________________
_________________________________
_
______________
_
________
______________
_
______________
_
_____________
_
__
________
_
_____
___
____
_
_________
___
__
_________
___
__
_____
__
_
_______
_
_
__
_
_
__
___
_____
__
_
_____________
_________________________________
_________________________
____________________________
______________
_________
__
_____
_
___
_
____
_____
___
_____
_
_
___
_
____
___
_______
_
_
_______
__
_
______
__
_
___
_
_
__
__________
_
__
_
_
_
____________________________
________
_
____________________________
_
________________
_
_
_
______
_
_____
_
_
_____
__
_
__
___________
_
_
_
_
_
____
_
______
_______
_
____
_
__
___
___
_
__________
_
__
__
_
______
______
_
_
__
________
___
_
__
_
_
_
____
_________
_
_______________
_
_
______
_____________
_
______
__
____
_
_____________
___
_____
_
__
_
__
_
________________
_
____
_________
_
_______________
____
__
____
_
________
_
___
_
____
______
_
__
________
_
_______
_________________________________
__________________________
________
_
________________________________
_
_
____
_
_
__
____
_
__
______________
______
____________
_____________
_
_
____
_____
_
_
_________
__________
_
__
___
__________
_
___
__
____
_
__
_
_________
_
______
__
______
_
_____
_____
_
__
_
_
____
_________
__
_
____
___
_
_
__
___
_
__
___
___
_
__
_
_______________
_
_______________
_
_
_____
_
____________________
__
____
_
_________
____________
_
__
_
__
___
_
____
_
_____________
_
_
_______
___
____
_
______
_
_
_
_________
_
___
_____
__
_
_
___
____
_
______
_
__
_
______
_
__
_
__
_
_
_
_
__
__
_
_____
_
_____
________
___
__
_
___________
_
_______________
_
_
_
_
__
_______
____________________
_
_____ __
_
_
____
_
___
___
_
____
_
__
_
_____
_
___
_
___
_
_
_
_
_
_
_
_
_
_
_
_
__
__
_
__
__
___
_
_
_
___
__
__
__
___
___
_
__
_
_
_
__
_
__
__
_
_
_
_
__
_
_ __
_
_
__
_
_
_
_____
_
__
_
_
__
__
_
___
_
_
____
_
___
__
__
_
_
_
_
_
_
_
_____
_
__
_
_
___
_
_
_
_
_
_
___
_
__
_
________
_
________
_
_
__
_
__
__
___
_
___
_
_
__
____
___
_
____
____
__
_
___
_
___
____
_
___
___
_
_____
__
_
_
__
_
__
_
_
__
____
__
_______
__
_
____
_
____
__
__
__
__
__
____
_
_
_
_____
_
____
__
___
___
_
__
___
_
_______
_
___
_
_
______
_
__
_
_
___
_
_
_
_
_
_
___
____________
______
___
_
__
__
____
_
_
_
_
_
_
__
_
____
_
_
___
_
__
_
_
_
__
_
_
_
__
_
___
_
__
_
___
___
_
____
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
__
_
____
_
___
_
_
_
__
_
___
___
_
_____
__
_
_
____
_
_
_
_
_
__
__
_
_____
_
_
________
_
_
__
___
_
__
__
______
_
__
_
__
________________
_
_
_____
__
____
_
_
_
_
_
__
_
_
_
_
__
_
_
____
_
_
__
___
_
_
_
__
_
_
__
__
__
_____
__
__
_
_
_
__
_
____
_
_
__
__
_
___
_
__
_
__
______
_
__
_
_
_
_
_
____
_
_
____
__
__
_
___
__
_
_
____ _
_
_
_
_
___
__
___
_
___
_
_
_
__
_
__
_
____
___
___
_______
____
_
_
_
__
__
__
_
_
_
__
_
________
__
____
____
__
_
_
__
_
___
_
_
___
_
_
_
__
__
__
_
_
_
_
__
__
_
___
_
_
_
_
__
____
__
_
_
_
_
_
_
_
_
_
_
__
_
__
__
_
____
____
_
__
_
_
_
_
_
_
___
_
_
__
___
__
__
_____
_
_
_
_
_
_____
__
_____
_
___
_
_
___
_
_
_
_
__
_
_
_____
_
__
______
_
_
___
______
___
__
____
_
_
_
_
__
_
_________
_
_
____
_
__________
_
_____
_
_
__
_
_
_
_
__
_
___
_
__
__
_
___
___
_
______
__
_______
___
_
__
__
__
_
__
______
_
_
____
_
____
_
_
___
_
________
_______
_
_
__
__
_
_
_
______
__
_
_
_
__
_
_
_
_
___
__
_
_
_
__
_
_________
_
_
_
_
__
_
_
_
_
__
_
_
________
__
_
__
_
_
_
_
_
_
______
_
_
_
_
_
_
_
_
_
_
____
__
___
_
__
___
_
_
______
_
_
___
_
_______
_
________
_
__
_
_
____
_
__
__
_
_
_
___
___
_
_
___
__________
______
_
__
_
__
_
_
__________
__
_
_
______
_
_____
_______________________
_
_________
_
_
_
_
_______
______
_
_______________
_
_____
_
_________________
______
_
___
______
_
______
_
_____________________
_
_________________________
_____________________
_
_____________
_
___ _____
_
_______________
_
____________________
____________________
_
_____
_
______________________
____
_
_______________
_
_
_
__
_
_
_
_
_____
__
_
____
_
_
____
_
___
_
______
_
_
__
______
_______
_
__
_
_
_____
_
_
__
___
________
______
_____
__
_____
_
____________
___
__________
__
_
________
____
____
_
__________________
_
_____
__
_
_
_
__
_
_
_________
__
_
___
_
___
____
__
___
_
___
___
_
___
_
__
____
___
_____
______
___
_
_______________
_
_______________
_
_______
__
_
_
__
___
_____
_
__
_____
__________
_______
_
____
______
_______________
_
___________
_
__
__
___
__
_
__
_
_
_________________
SG: RFE
rojo
.Rve
rde.
Vbl
anco
.Vaz
ul.A
azul
.hve
rde.
hve
rde.
Aro
jo.s
blan
co.g
verd
e.g
blan
co.A
azul
.Vbl
anco
.Rro
jo.h
verd
e.r
blan
co.s
azul
.Rbl
anco
.rro
jo.V
rojo
.rbl
anco
.hbl
anco
.ive
rde.
iro
jo.g
rojo
.Aro
jo.i
azul
.iro
jo.I
azul
.gve
rde.
Rbl
anco
.Ive
rde.
Iaz
ul.s
azul
.Ive
rde.
saz
ul.r
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
____________________________________________________________________________________________________ _________________________________________________________________________________________
___________ _
_
_
_____
_
_
____
_
_
____
__
__
_
____
_____
_
_
_
__
_
_
__
_
__
__
_______
_____
_
___
__
__
_
_
_
____
__
_
__
__
_
__
_
_
_
_
_
___
_
_____
_
____________________________________________________________________________________________________
___________
__
____________
____
_______
_
_________
________
_
____
_
____
_
___
_
______
_
___
_
___
_
_
_
_____
_
____
_
___
___________
__
__
_
_
_
_
_____
_
____
_
____
_
_
_____________
_____
_
______
___
______________
_
__
_
__________________
___________
___
_
_
_
__
_____
_
___
______
___
_______
__
_
__
______
__
____
_
__
_____
_
_
_
_______
_
__
_
__
___
_
_
__
_
___
____
_
_______
_
_
___
_____
_
_
__
_
_____
__
___
_
__
_
___
___
_____
_
________
_____
_
_____
____
_____
_
__
_
___
_
_
__
____
____
_
___
___
_______
_
______
_
_
___
_
_
_
_
____
_
___
__
_
_
___
__
_
__
_
________
__
_
_
_
___
_
_
_
______
______
_
___
______
___
____
_____
_
_
_
_______
____
_
_
______
__
_
_
____
_____
_
_
___
_
__
_
__
_
_
___
_
__
_
_
__
_
_
__
_
_
____
__
_
__
_
___
_
_____
_
__
_______
_
_
_____
_
_
__
______
_
_
_
_
_
_
____
_
___
_
______
______
_
_
_________
__
__
____
_
_
________
_
______
_
_
__
_
__
__
________
_
__
__
_
_
__
_ ________
_
_
__
__
_
______
___
_
_____
_____
_
_
___
______
_
________
___
_
_____
__
_
__
_
_
_______
__
__
___
_
_
_
_____
__
_
____
_
_
_
_____
_
_
____
_
_
____
__
__
_
____
_____
___
__
_
_
__
_
__
__
__
_
______
_
_
__
_
_
_
__
__
_
_
__
_
_
_
___
__
__
_
_
_
_
__
_
_
_
__
_
___
__
_ _
_
_____________
_______________
__
_____
_
_____
_
__
_
_
__
__
__
_
____
___
_
________
__
_
___
_
_____
_
__
__
__
______
_
___
__
_
__
_
_
_______
_
_
_
___
_
_
_____
_
_
__
_
__
_
_____
__
_
_
_
__
_
_
__
___
______
____
_
___
_
_
___
__
_
_
_
___
_
__
_
____
__
_
__
_
_
_
_
__
__
__________
_
____
_______
_
_____
________
______________
__
__
_
___
_
__
_
______
_
________________
_
_________
_____
__
__
_
_
__
___
_
__
_
_
_
_
_
_
_
___
_
_
____
_
_
__
__
__
_
_
_
__
_
__
_
_
___
_
_
_
____
__
_
__
_
_
_
_
__
_
__
_
_
___
_
___
_
_
_
_
_
__
_
_
__
__
__
__
__
_______________________
__________
___________
_
________________________
_______
______________________ __
____________________________
_________________
_____________________________________________________ __
____
___________
_
_____
__
_______________________
________
_
________________
_
__________________________ _
_
_______________
_
_
_
___
__
_____
_
___
_
__
_
_
_
______
_
_
_
_______
__
_____
_
___________
_
___________
_
______
_____
_
______
________
_
__________________________________________________________
_
__________________________
____________________________________________________________________________________________________
____
_____________________
_____________________
________________________
_
_____________________
________ _
_
__________________
_______
__
________
________
_
______
_
_
____
_
_
_
________
_
_
_
_____________________
_
_____
_____
_
_________________________________________
______________________
__________________
______________ _______________
______________
______________________________________________________________________
_
____________________________________________________________________________________________________
___________
_
_
____________
____
_____
_
_
_
_________________
_
____
_
____
_
___
_
______
_
___
_
___
_
_
_
_____
_
____
_
_____
_______
_
___
_
__
____
__
________________
________
____
_____
________
_
______
_______
__
__
___
__
_
___
___
_
__
_
_________
_____
_____________
_____________
_______________________________________
________________________
__________
_
_____
______
_
_____________
_
_
________________
________________
_
___________________
__________
_
_
_
_
_
____
_
_
_
___
_
_
_
_
__
_____
_
___
__
_____
_
__
__
_
_
_
_
__
__
_
_
_
_
__
_
_
_
_
_
__
_
_
_
_
_
_
___
_
__
_
__
_
_
_
_
_
_
_
_
__
___
_
___
_____
______________________________________________________
________
________
_
____________________________
_
__
_
__
_
_
_______
_
_____
_
_
_____
_
_
__
_
__
_
_____
__
_
_
_
__
_
_
__
___
______
___
_
_
___
_
_
_____
_
_
_
___
_
___
____
___
__
_
_
_
_
__ ____
_
__
_
_
_
_
_
_
_
_
___
_
__
__
_
__
_
_
____
_
_
__
_
___
_
_
_
_
_
_
__
_
_
_
_
__
_
__
_
_
_
_
_
_
_
_
____
_
_
_
_
__
____
_
__
_
___
_
_
___
_
___
_
_
_
__
SG: SRFE
rojo
.Ibl
anco
.rro
jo.g
rojo
.ibl
anco
.sro
jo.r
rojo
.Rro
jo.h
azul
.Ibl
anco
.Rve
rde.
Iro
jo.V
azul
.ibl
anco
.Ive
rde.
iaz
ul.A
verd
e.V
blan
co.i
blan
co.g
verd
e.g
azul
.gbl
anco
.Vve
rde.
hbl
anco
.Abl
anco
.hro
jo.s
azul
.Vaz
ul.h
rojo
.Ave
rde.
Ave
rde.
raz
ul.r
verd
e.R
azul
.Rve
rde.
saz
ul.s
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
____________________________________________________________________________________________________ _____________
_______________________________________________________________________________________
____________________________________________________________________________________________________
______________________________________________________________________________________
______________
____________________________________________________________________________________________________ _____
_______________________________________________________
_____________________________
___________
_________________________________
________________________________________________________
___________ _
_______
_
__
__
___
_
_
_
_
__
______
________
__
__
_
__
__
____
_
______
_
______
___
_
_
_
_
_
__
_
______
_________
_
__
_____
___ ____
____
_
____________
___
________________
_______________________________________________________
_____
__
_
_
__
_
_
_
___
__
_
_
_
_
_
_
__
___
_
_
_
__
_
_
__
_
_
_
_
__
_
_
_
__
___
_
____
____
_
__
_
__
_______
_
__
_
____
__
___
_
__
_
_
___
__
_
_
_
__
__ _
_
_
___
_
_
__
_
___
__
____
__
_
__
_______
_
__
_
____
__
_____
_
__
_
_________
__
_
________________________
_
_
_
_
_
_
_
_
___
_
_______
_
___
_______________________________________________________________
_
__________________________
________
_
___
______________________
_
__________
_
__________________________________________
_
___________
___
____
_
_
__
_
______
_
_
__
___
_
_
_
____
__
_
_
_____
_
___
_
_______
_
_
__
_
__
_
__
________
___
_____
_
___
_
__
_
______
_
_
_
____ ___________
_____________
_____________________
_
_____
_____
_
__
_
___________
________________
_
_
___________ _
_______
_
___
_
_______
_
_
__
___
_
__
___
_
_
_
__
_
_
____
__
_
_
______________
_
_____
__
__
_
_
_
_
___
_
__
_
_
__
___
__
_____
___
____
_
______
__
___
_
_
___
_
_
_
_
_
___
_
_
_
_
________
_
_
_________
__
___
_
__
__
_
_____
_____
____
_
_
______
__
_
_
_
_
_
_
____
_
_
__
____
_
_______
____
_
____
_
_
_
___
_
_
__
______
____
_
_______
_
____
______________
____
__
__
________
__
_______
___
____
__
_
_
_
_
__
_
_
_
_
_
_
___
_
____
_____
_
_
___
_
_
_
_
_
_
_
__
__
______
_
_
_
___________
__
_
____
_
__
_
_
_
__
_
__
_
_____
_
_
___
_
_
__
_
_
_
_
_
_
__
_
_
_
_
_
__
_
__
_
_
_
___
__
_
_
_
_
_
__
___
_
__
_
_
___
_
__
_
_
_
__
_
___
_
_
_
_
_
____
_
_
_
_
__
__
___
_
__
_
___
___
_
_
__
_
_
__
_
_
_
_
_
_
__
_
_
__
_
_
_
_
_
_
_
__
_______
__
_
_
__
_
_____
_
__
_
_
_
___
__
_
_
_
__
_
_
_
__
_
_
_
__
_
_
__
______
_
_
_
__
_
_______
_
___
_
_
_
__
_
_
_
_
_
__
_
_
__
_
_
_
__
_______
__
__
_
__
_____
_
___
__
______
_____
_______
__
__
___
____________
__
__
__
_
___________
_____
___
_
__
_
____ __
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
___
_
_
__
_
_
_
_
____
_
__
_
__
_
_
_
__
_
_
__
_
_
_
_
_
_
__
_
_
_
_
___
_
___
__
_
_
_
__
_
___
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
__
___
___
_
___
_
__
__
_
_
__
____
__
_
__
_
__
_
_
__
_
__
_
_
_
__
_
_
_
__
_
_
___
_
_
___
_
_
_
__
___
_
_
_
_
_
__
_
_
__
___
_
_
____
__
_
_
_
__
___
_____________
_
__
___
_
_____
____
_
__
_
____
______
_
_
_
__
________
___
_
__
_
__________________
_
_
____
__
__
_
__
_
__
_
____
_
_
_
_
_
_
_
_
__
_
___
___
_
___
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
___
_
_
_
_
_
_
_
_
__
_
__
__
_
_
_
_
_
_
_
_
______
_
_
___
_
_
___
_
_
_
_
_
__
____
__
__
_
_
_
_
_
_
____
_
___
_
_
___
_
__
____
_
_
_
___
_
________
_
_____
__
_
_
___
__
_
__
__
____
_____
_
_
_
_
__
___
_
_
_
__
_
_
_
_
_
___
_
__
_
_
_
___
_
_________________
____
_
_
__
_
__________
_
_
_____
____
_
___________
______________
_
_
______
_
__
______
_
____________
________________________
_
___
_
___________________________________________________________ __
________________________________
__________________________________________________________________
_
__
___________
_
___________________________________
_
_______________
_
________________
_
_____
_______
_
_
__
______________
_
___
_
_
_
__
__
___
__
_____
_
_____
___
_______
_
_
________
_____
_
_
__________
__________
______
_
_____
_
_
__
____
_
_
__
_
_
_
__
____
_
_
_
____
__
__
_
_
__
__
___
___
______
_
_
___
_
_
_
_
__
_
_
_
__
_
_____
_____
_____
___
____
____
_
_
__
_
_
_ _____
_
_____
_
__
__
_
____
_
_
__
_
_
_
_____
_
_
_
_
_
_
___
____
__
_
_
_
______
_____
____
_
_
_
_______
__
_____
__
_
_
_
_
_
_
____
_
____ _
_______
____
_
_
__
__
_
_
___
_
_________
_
___
_
____
______
_
_
___
___
______
___
_
_
_
__
_
_____
_______
______
_
_
_
____
___
_ ___________________________________
_______________
_
__
__
_________
____
_
____
____
_
_
__
________________
__
_
SG: SVM−RFE c/MRMR
rojo
.Raz
ul.s
azul
.rve
rde.
Raz
ul.R
verd
e.s
verd
e.r
azul
.Vro
jo.A
blan
co.A
verd
e.A
verd
e.h
verd
e.g
azul
.Iaz
ul.i
blan
co.g
azul
.Aro
jo.s
azul
.haz
ul.g
blan
co.I
blan
co.i
verd
e.I
verd
e.i
verd
e.V
blan
co.V
blan
co.s
blan
co.R
rojo
.rro
jo.g
rojo
.hbl
anco
.hbl
anco
.rro
jo.V
rojo
.Iro
jo.i
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
_
__
___
___
_
_
_
_
_
_________
_
_
_
_
_
__
_
_____
_
__
___
_
___
_
_
_
___
__
_
_
__
_
__
_
__
_
_
___
___
_
___
_
_
_
________
_
___
_
_
_
__
__
__
_
____
_____
_______
____
___
__
_
_
_
_____
___
___
____
_
___
__
_
___
_
________
___
_
_
_
______
_
__
__
___
___
_____
__
_
_
_____
_________
____
______
_
____
____
____
______
_
_
______
__
__
_
_
_______
_
__
_
_
_
_____
__
_
_________
_
__
__
_________
_
___
___
___
_
_
_
____
_______
_
_
__
_
__
_
_
____
___
_
____
__
_
__
__
__
_
_
__
_
_
_
_
______
_
_____
_
___
_
_
_________
_
___
__
__
___
_
___
__
__
__
__
__
__
____
_
_
______
_
__
_
___
_
_
_
_______
_
_
_
___
_____
_
_
_
_
_________
_
______
_________
__
_
_
_______
_
__
_
__
__ ______
_________
_________
_
________
_
_________
_
_
__
_
__
_
_
________________
_
_______________
_
_
____
____
_
__
_
___
___
_
__
_________________
_
_
_
_____________
_
_________
__________
___
__
_____________________________
______
________
________________
_
_______________________
__
_
_
_________________________________________
_
______
_
_
__________
__
_
_
________
_
____
__________
____________
_
__
_
_
__
_______________________
_
_____
_
______
_
_____
_
_
________
___
_
_
_
_
____
__
_
_
_
_
_
____
__
_
___
_
_
_____
_
_
_
_
_
_
_
___
_
__
_
__
____
_
_____
__
____________
_
__________
_
__
__
________
_____
_
_
_
_____
_
____
_
___
_
_____
___
________
___
__
___
_
___
_
______________
_
_
____
______
_
___
_
_
___
_
__
___________
__
_
__
_________
_
___
___
___
__
_____
__
_______
_
__
__________
______________
__
______
___
_
_
_
___
_____
_
_
_
_______
_
______
_____
_
_
_
_
___
_______
__
_
___
_
___
_
_
____
_
__
_
_
_
___
_
_____
______
_
__
______
_
____
_
__
_
___
_
_____
_
________________________
_
_______________________
__
_
_
____________________________
_
____
_
_
_________
_
___ ________________________
_
_______________________
__
_
_
____________________________
_
____
_
_
______
_
______ _
__
_______
_
_____
_
__________________
_
_______
_______________________________
_
_
_
___
_
___
__
_
__
________
___ _______
_
__
__
____________
_
____________
__
__
_____
____
_________
_
________
__
_
_______________
____
___
_
_____
_ ___
___________
_
________
_____
__________________
_
___
___
___
___________
_
____________
_
_____
_
_________
_
___
____________________________________________________________________________________________________ _
___________________________________________________________________________________________________
_______________
_
________
____
__
___
_
_____________________
_
_____
_
____________
__
_
_______________________ _______________
________
_
______
_________________________
_
_____
_
___________
_
__
_
_______________________ ________________
_______
_
____
__
____________________________________________
__
_
_______________________ _______________
_
_______
_
______
___
_
______________________
_____
_
___________
_
__
_
_______________________ ____________________________________________________________________________________________________
____________________________________________________________________________________________________
____________________________________________________________________________________________________ _
______________________________
_________________________________________________________________
____ _________
___________________________________________________________________________________________
____________________________________________________________________________________________________ ________
_________________________
_
_
_________________________________________________________________ ___
______
_
_
___
_
__
_
_________
_____
_
_
___
_
_______________
_
_______
_
___
_
_
_____________
_
___________________ __
_
_
_
_
____
_
__
_
____
_
_______
_
_
_
______
_
_
__
_______
_
_______
__
_
_
___
_
____
__
_
___
_
_____
_
_____
_
_
_
_______
__
_
______
_
_
__
_
____
_
___
_
_
_____
_
___
_
_
___
____
_
__
___
_
___
_
__
_
____
_
_
____
_
___
_
__
_
____
___
_
__
_
____
______
_
_
_
_
_
___
_
__
___
__
______
_
______
_______
_
__
_
________
__
__________
____
__
___
_
__
_
____
___
_________
_______
__
______
_______
_
____
_
_____
_
_____________
_
__
_
_
_
_
_
___
_
__
_________
_
___
_
_____
_
__
_____
__________
_
_
___
____
__
_
____________
SG: FCBF
Figura 33: SG: distribucion de posiciones que toma cada variable en el rankingrealizado por cada uno de los metodos comparados.
71
URO
El ultimo dataset corresponde a determinaciones del urobilinogeno de la
orina en tiras reactivas. Hay 465 muestras de 36 variables y seis clases. Como
siempre en estos datos, las altas correlaciones entre variables se pueden ver
en el heatmap de la Figura 34.
Los resultados de este experimento muestran a SRFE como el unico meto-
do capaz de generar un buen modelo a partir de los datos (Figura 35). Con
una cantidad optima de cuatro variables obtiene un error promedio del 10 %,
mientras que los demas metodos necesitan de al menos quince variables para
acercarse a ese valor.
En cuestion de estabilidad, nuevamente es SRFE el metodo con mayor
estabilidad en la seleccion. RFE y MRMR comienzan a confundir variables
en el cuarto y tercer puesto, respectivamente (Figura 36). Tras el analisis de
correlacion, se observa la independencia de las variables elegidas por SRFE,
mientras que el resto de los metodos elige todas variables del mismo cluster
de tipo “verde”.
72
rojo
.Aro
jo.s
verd
e.R
verd
e.s
verd
e.r
azul
.Raz
ul.s
azul
.rro
jo.R
blan
co.R
azul
.Abl
anco
.gro
jo.i
rojo
.Iro
jo.h
rojo
.gro
jo.r
rojo
.Vbl
anco
.Vbl
anco
.ibl
anco
.Ibl
anco
.Abl
anco
.sbl
anco
.hbl
anco
.raz
ul.i
azul
.Iaz
ul.h
azul
.gaz
ul.V
verd
e.g
verd
e.h
verd
e.A
verd
e.V
verd
e.i
verd
e.I
verde.Iverde.iverde.Vverde.Averde.hverde.gazul.Vazul.gazul.hazul.Iazul.iblanco.rblanco.hblanco.sblanco.Ablanco.Iblanco.iblanco.Vrojo.Vrojo.rrojo.grojo.hrojo.Irojo.iblanco.gazul.Ablanco.Rrojo.Razul.razul.sazul.Rverde.rverde.sverde.Rrojo.srojo.A
URO
Figura 34: URO: mapa de calor que muestra la correlacion entre las variablesdel dataset. Se pueden distinguir varios grupos de distinto tamano con unaalta correlacion interna.
73
URO - Selección
Número de variables
Err
or
3 6 9 12 15 18 21 24 27 30 33 360.09
0.10
0.11
0.12
0.13
0.14
0.15
0.16
0.17
0.18
RFE
SRFE
MRMR
FCBF
URO - Selección
Número de variables
Err
or
1 2 3 4 5 6 7 8 9 10 11 12 13 14 150.09
0.10
0.11
0.12
0.13
0.14
0.15
0.16
0.17
0.18
Figura 35: URO: nivel de error en funcion del numero de variables seleccio-nadas. El panel superior muestra la figura completa mientras que el inferiormuestra en detalle el comienzo de la figura.
74
UR
O -
Est
abili
dad
SR
FE
Var
iab
le
Probabilidaddeestarentrelasmejorescuatrovariables
blanco
.V
verd
e.V
blanco
.g
rojo
.V
rojo
.r
rojo
.i
verd
e.s
blanco
.A
verd
e.r
blanco
.R
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
UR
O -
Est
abili
dad
FC
BF
Var
iab
le
Probabilidaddeestarentrelasmejorescuatrovariables
verd
e.R
azul.s
verd
e.i
rojo
.r
verd
e.V
verd
e.A
rojo
.h
azul.r
azul.R
rojo
.V
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
UR
O -
Est
abili
dad
RF
E
Var
iab
le
Probabilidaddeestarentrelasmejorescuatrovariables
verd
e.V
verd
e.g
verd
e.I
verd
e.i
verd
e.h
blanco
.g
blanco
.R
blanco
.V
blanco
.A
rojo
.R
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
UR
O -
Est
abili
dad
MR
MR
Var
iab
le
Probabilidaddeestarentrelasmejorescuatrovariables
verd
e.g
verd
e.I
verd
e.h
verd
e.i
azul.g
blanco
.g
rojo
.r
blanco
.R
blanco
.V
blanco
.A
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
Figura 36: URO: estabilidad de las soluciones. Para cada metodo se muestrala probabilidad de cada de variable de estar seleccionada entre las primerascuatro.
75
verd
e.g
verd
e.V
verd
e.I
verd
e.i
verd
e.h
blan
co.g
azul
.gve
rde.
Aro
jo.r
blan
co.V
blan
co.r
rojo
.gaz
ul.V
azul
.hro
jo.h
azul
.Iro
jo.V
azul
.ive
rde.
sro
jo.I
rojo
.ibl
anco
.Ive
rde.
rbl
anco
.hbl
anco
.ive
rde.
Raz
ul.r
blan
co.A
blan
co.R
blan
co.s
azul
.sro
jo.R
azul
.Raz
ul.A
rojo
.sro
jo.A
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
____________________________________________________________________________________________________
______________________________________________
______________________________________________________
______________________________
_
_____________________________________________________________________
_
_______________________
_
_____
_
________________________
___
_
_
_________________________________
_______
______
__
___
____
_
______
__
______
_
__
__
_
__
___
_
___
_
__
_
___
________
___
______
_______
_
_
_
____
_
_
_
_
_
_
___
_
_
__
__
__
__
_____________
___
_
__
_
________
_
_
__________
_
__________
_
__
_
_____
__
___
_
_____
____
_
____
_
__________
_______ _
___
___
___
_
_
_____
_
_
___
_____
______
_
__
__
_
___________
_
___
_
_
_
__
_
_____
_
______________
_
__
__
___________
______
__
_
____
_
____
_________________
_
____
______
_
______
____
_
________
__
_
_
_
__
_
__
_____
_
____
_
__________
_
______
_
___
_
___
_
_
______
_
_
_
_
_
____
__
______
_
________
_
_______
_
__
_
_
_
___
__________________
___
__
_
______________
_
__
_
_
____
__
_
____
_
__
_
__
_____
_
_
_
_
__
_
_
__
____
_______
_
_
____
__
___
_____
_
__
_
____
_
_
______
_
_
_
__
_
__
_
_
______
__
_
_
___ _______
____________
_
____
___
__
_
___
_
___
_
__
__
___
_
_
___
__
_
__
_
__
_
_
_
_
____
_____
__
_
__
___
____
_
_____
_
_
__
____
_
__
_
_
_
_
_
___
__
_______
_
_
_
_
____
______
_
_
_
_
_
____
_
_
_
___
_
__
__
_
_
_
_
_
_
___
_______
_
_
_____
___
_
__
_____
_
_____
______
_
_
________
_
______
____
_
______
___
__
__
__
_
____
______
__
_______
_
_
_
__
_
_
_
___
_
_
_
_____
_
___
_______
_
___________
__
_
_______
_
____
_
__
_
___
_
____
__
_______
_
_
___
__
_
_______
___
_
____
_
_
__
_
_
_
___
_
__
_______
__
_____
_
_
_
__
_
__
_
__
___
_
__
____
__
_
___
________
_
_
____
__
______
_
_
__
_
____
_
_
_
_
_
_
_
_____
_
___
___
_
_
_
__
_
_
__
_
____
_
__
_
_____
_
_
_
___
_
__
____
____
_
_
______
_
____
_____
__
_
________
____
_
_
_
__
____________
_
_____
___
_
_
_____
_
___
____
_
_
__
__
____
_
_
_
_
_
____________
_
_
___
________
___
_
_
_
_
___
______
_
___
__
____
___
___
_
__
_
_
___
_
____
_
_
_
___
_
______
___
___
_____
_
_
_
_
__
___
__
_
______ _
___
__
______
_____
__
_
___________
_
_
_
___
_____________
_____
_
___
_
_____
_
___
____
_
_
__
______
_
_
__
_
__
__________
___
__
_
_
_
_
_
_
______
_
_
_
__
_
__
__
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
___
__
___
______
_
_
__
_
__
__
_
_
__
_
_
_
___
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_____
_______
__
_
_
_
_
___
____
___
___
__
_
___
_
_____
_
__
___
__
_
__
_
_
_
_
_
_______
_
________
__
___
_
_
_______
__
_
______
_
__
_
__________
__
_
_
_
_
_
__
____
_____
__
_
____
_
_
____
_
_______
_
__
_
_
___
_________
_____
__
_
___
_
_
_
_____
_
_
_____
____
_
_
_
___
______
_
_
_
_
_
_
_
_
_
______
_
__
_
_
__
_
_
_
_
_
______
_
__
_
_
__
_
__
__
_
_
_____
__
__
_
_
____
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
___
_
__
_
_
_
_
_
_
_
_
_
_
___
_
_
____
_
_
_
_
_
_
__
__
__
_
__
_
_
__
_
_
__
_
_
_
___
____
_
_
_
_
__
_
_
___
_
______
_
____
___
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
__
_
_
_
____
___
_________
_
____
__
_
_
__
_
____
__
_
_
_
_
____
_
_
_
______
__________
___
__
_
_
_
____
_____
_
_
________
_
_
___
_
__
_
__
___
_________
_
_
_
_
_
_
_
_____
_
_
_
__
_
_
_
_
_
_______
_
_
__
__
_
_
_
_
_
__
_
_
_
____
__
___
_
____
____
_
_
__
_
_
__
_
_
__
_
_
__
_
_
__
_
_
___
_
_
_
_
_
___
_
_
__
_
_
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
_
__
_
_
_
_
__
________
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
____
_
_
_
__
_
_
_
___
_
_
___
___
_
__
_
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
___
_
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
___
_
_
_
_
_
_
_
_
_
_
___
__
_
_
_
_______
_
_
_
_
_
_
___
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
___
_
__
___
_____
____
_
___
_
_
_
_
______
______
__
_
__
_
_
_
______
_
___
_
__
_
_
_
_
_
_
_
_
_
_
_
___
__
_
_
_
_
_
_
__
_
_
_
___
_
_
_
___
_
_______
_
__
_
_
_
__
_
__
__
_
_
__
_
___
_
_
___
_
_
_
_
_
__
__
_
_
_
_
_
__
_
_
_
__
_
__
___
_
__
__
_
_
_
_
_
_
_
___
_
___
__
_
_
_
_____
__
___
_
_
_
_
_
_
__
_____
_
__
____
____
__
_
__
_
__
_
_
_
_
_
_
_
__
_
____
_
_
____
_
__
___
___
__
___
_
_
__
_
___
_
___
_
_
_____
___
__
_
___
_
_
_
_
_
_
_
__
_
_
_
_
__
__
__
_
__
_____
_
_
_
__
_
_
_
____
_
_
_
_
____
_
_
_
_
_
__
_
_
___
_
_
_
__
___
__
_
__
_
__
__
_
_
_
_
_
__
_
_
___
__
__
_
_
_
__
_
___
_
________
_
_
_
__
__
_
_
_
___
_
_
_
_
____
__
__
_
__
_
___
_
_
_____
_
___
_
_
_
_
______
_
_____
_
_
__
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
_
___
____
_
_
_
__
_
_
_
_
_
_
_
_
__
_
_
__
__
_
_
__
_
_
_
_
_
___
_
_______
_
_____
_
_
_
_
_
_____
_
_
_
_
_____
_
___
_
_
_
_
_
_
__
_
_
_
_
_
__
_
_
_
__
_
_
_
_
_
__
__
______
_
_
_
___
_
___
_
____
__
__
_
____
_
___
_
__
_
__
_
___
_
____
_
___
_
___
_
_
_
__
_
_
__
_____
_
___ _________
_
__
_
_____________________
__________________
_
_______
__
___________
_
__________________________ _________
________________
_
________
_
_
_____________________________________
_
__________________________
URO: RFE
verd
e.V
blan
co.V
rojo
.Vbl
anco
.gbl
anco
.Ave
rde.
saz
ul.s
azul
.Abl
anco
.Rro
jo.R
rojo
.sve
rde.
hve
rde.
Aaz
ul.V
blan
co.r
blan
co.s
rojo
.ive
rde.
gbl
anco
.hve
rde.
ibl
anco
.iro
jo.r
azul
.hro
jo.h
verd
e.I
azul
.gaz
ul.i
verd
e.r
verd
e.R
rojo
.gaz
ul.r
rojo
.Iaz
ul.I
azul
.Rbl
anco
.Iro
jo.A
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
____________________________________________________________________________________________________ _____________________________________________
_
_____________
__
___________________
__
_
_
_____
_
__________
_
_
_____________
_
______________
___
___
_
_________
_
_
___
_
______
_____
_
______
_
______
_
__
_________________
_
__ _
____________________
____
_____
_
___
_______
_
_______________
___________________________________________ _________
___________
_
_________________________
_
_______________________________
______________________
__________________________
_
______
_
_______________________________________________________
_
___
______
_
__
_
______
_
__
_
____________________________________________
_
___________________
__
_____________________
____________________
_
_______________________________________________________________________________
____________________________________________________________________________________________________
____________________
_
______
_
____________________________________________
_____
_______________________
_____
____________
_
___
____
_____________________________________________________
________________
______ _
__
_
_
_____
_
____________
____
_
___
_
_
_
_
_
_
____
_
_
__
_
____
_
___
________
________
_
___
_
__
_
____
__
________________
_______
_______
____________
_
____
__
_
________
____
_
______________________________
_
____
_
_
_
_______________
____
_
_
______________
_____
_
__________
__________
_
_______
_
_______
____
____
____________
_
____________
_____
____
_
_
__
_____________
____
_________
________
____
____
_
_____
______
___
_
____
____
_
___
_
___
_
_
____________
_
___
_
__
_
_
_
_
_
___
_
_
_
___
_
__
_
_
___
_
_
__
_
_
____
__
_____
___
_
_
_____
__
_
___
_
_
_
___
_
_
_
___
_
___
___
_
___
_
_
______
_
_
__
_
__
__
_
_
_
_________
__
_
_
_
_
_
_
_
_____________
_____________________
_
_______
______
___
_
____
__
_____
_
_
_____
__
_________
______
_
___________
_____
__
__
_______________
_
___
_
_____
______
_
___
____________
____
____________________
__ _
________________________
____________
_________________________
____
____
______________________________ _
________________
_
_________________
_
_______
_
__
_
_______
______
__________________
____________
_
_________
__________
_
_________________________
_
________________
_____
_
___
__
_
__
_________
_
_____
_
_
_______________
_
_
_
____
________
_
_
_
__________________
_
_
______________
_
__
___
______
_
______
_
__
____
_____________
_
_____
_
_
__
__________
_
_____________________
_
______________
____
_______
_
_
_____________________
_______________
__
_
_
_
_____
_______
____
_
_____
____________
__________
___
_
___
_
_
____
_
_
_
_
____
______
__
___
_
_
_
___
__
_
__
__
_
__
_
__
____
_____________
______
_______
_
____
_
_______
_
_
________
_
___
__
_________
___
____
___
_
_____________
____
_
_______
_
____
__
________
__
_
_
_
___
_
___
_
____
__
_
_
_
__
__
______
_
__
_
__
_
_
___
_
___
__
________
____
___
______
____
_
_
_
____
_
_
__
____
____
____
___
________
_
___
____
_
_
__
_
___
_
_
____
_
_
__
_
_
_______________
___
____
_
_
_________
_
_____
__
_
___
____ _
_____
_
__
_______
__
__
___
___
_
_
____
_
_
__
_
___
_
_
_
_
_
__
___
________
_
_
_
_______
_
____
_
_
_
_
__
___
_
_
_
__
__
_
_
_
_____
__
_
_
__
_
___
_
___
_
__
_
_
___
_
_
_
__
____
__
_
_
__
__
_
_
_____
_
_
__
__
_
_
_
_
_
_
_
__
_
_
___
__
_
_
__
_
_
______
_
__
_
_
__
_
_
__
_
_
__
___
___
__
_
___
_____________
_
_____
___
_
__
_
_
____
__________
_
__
_
_______
___
_______________
__
_
_
_____
_
____
__
_
_____
_
_
_
_ _
_
_
__
__
__
_
__
_
_
__
_
_
__
__
_
_
______
_
_
_
_
____
____
__
_
_
_
_
____
_
___
_
_
____
__
__
_
_
_
_
_
_
_
_
___
__
_
____
_
__
_
___
____
_
_
_
__
_
________________
_
_____
_______
_______
_
_______
_
__
_
_______
_
__________
_
______
___
_____
_
_
_______
__
_
__
____
____
_
___________
_
____
__________
_
_
____
_____________
_______________
_
__
__
________________
_
__
_______
_
__
__________
__
_
_________
_
_____
_
__
_
_
_
____________
_
_
____
_
___
_
_______
_
___
_
__________
________
_
_________
___
_
_______
______
____
__
_
______________________________________________________________
_
_____________
____ ______
______________________________________________________
_____________
_
__________________________
URO: SRFE
verd
e.g
verd
e.I
verd
e.i
verd
e.h
azul
.gbl
anco
.gro
jo.r
verd
e.V
rojo
.gbl
anco
.rve
rde.
Aaz
ul.I
azul
.hro
jo.I
verd
e.r
azul
.iro
jo.h
azul
.Vbl
anco
.Vbl
anco
.Iaz
ul.r
rojo
.ive
rde.
sro
jo.V
blan
co.h
blan
co.i
azul
.sve
rde.
Rbl
anco
.sbl
anco
.Rbl
anco
.Aaz
ul.R
rojo
.Raz
ul.A
rojo
.sro
jo.A
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
____________________________________________________________________________________________________ ____________________________________________________________________________________________________
_
______
__
__________
_
_
__
__
_____
_
_
_
____
_
___
_
______
_
_
_
_
_
__
_
_
___
____
_
___
_
______
__
____
____
____
__
_
_
______
_
__________________
_______
_
_______________________
_
_______
_
___
_
___
_
_______
_
______
_
__
_
_____________
__
________________________________________________________
_
_
___________________________________________
__________________
_
__
_________
_________________________
__
____________________
______
_________________
_
__
_________
__
_
___
_
_
_
__
___
____
_
_
_
_
____
_
_
___
_____
__
_
__
___
_
__
_
_
_______
__
____
_
_
_
_
_
_
____
_
_
___
_
__
_
___
_
__
__
_
________________
_
_
____________
__
____________
_________
_
___
_
_________________
_
_
___
__________________ __
_
_________
__
_
___
_
_
_
__
____
____
_
_
_
____
_
_
___
__
__
_
_
_
_
__
_
__
_
_
_
_
__
____
__
__
___
___
_
_
_
_
___
_
_
_
_
__
__
_
_
___
_
__
_ ___
_
_
_
_
____
___
__
_
___
__
_
__
__
_
_
___
_
_
_
_
__
____
_
_______
_
__
_
_
__
__
_
___
_
_
_
_
__
_
_
_
__
_
__
___
__
_
_
_
____
__
__
_
___
__
_
___
_
___
_____
_______
____
_
_
____
_____
____
____
____
__________
__
_
_
_____
__
_
______________
_
_
_
__
_
_____
____
___ _
____
_
_
_
___
_
___
____
_
_______
_
_
_
___
__
______
____
__
_
_
_
_
__
__
_
__
___
_
_
__
_
_
_
_
____
_
___________
_
_
_
____
_
_
_
_____
_
_
__
_
_
__________
__
_
__
__
__
_____
__
__
___
____
___
_
____
__
___
_
_
____
__
___
___
_____
_____
_
___
_
__
__
_
______
_
_
_
_
__
_
___
___
_________
_
_
___
__
_____
_
_
_____
_
_
_____
___
_
__
_
__
__
_
__
_
___
_
_____
_
_
_____
_
___
______
_
_________
___
____
_
__
_
_
_
_
____
___
_
__
_
__
_
_
___
__
__
___
__
_
___
__
_
_
_____
_
_
__
___
__
__
___
_
__
____
_
___
_
_
_
_
_
___
___
_____
_
_
_
__
_
__
_
_
_
_
_
_
__
___
_
___
_
_____
__
_
_
__________
_
_
_
___
_
______
______
_
______________
_
________
_
_________
_
__
_
_
_____
__
_
_
__
_
_
___
_
_
______
_
__
_
_
_
____
____
_
_
_
__
__
_
_
___
_
_
_
___
__
_
_____
_
__
_
_
_
_
_
_
_
_
____
_
_____
__
_
_
__
__
_
_
_
___
_
_
_
____
_____
_____
________
_____
___
__
__
_
______
_
_______
_
_
___
____
__
____
_
____
__
__
______
_
_
_
__
____
___
_
_
_
________
___
____
_
____
__________
_
_
_
__
__
_
__
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
__
_
_
__
_
_
__
___
__
_
_____
_
__
_
_
__
_
_
_
_
__
__
_
_
_
_
_
_
_
_
_
__
_
__
_
_
_
___
_
_
__
___
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
___
_
_
_
_
_
_
_
_
_
___
_
_
__
_
____
_
__
_
_
_
__
_
_
__
_
__
_
___
_
_
_
_
_
_
___
__
_
_
_
_
_
_
___
_
_
__
___
_
_
_
_
_
_
_
_
__
__
____
_
_
_
__
_
_
_
_
__
_
___
_
_
__
_
_
_
_
_
___
_
__
_
___
_
_
_
__
_
__
_
_____
__
_
__
_
_
_
_
_
__
_
_
_
_____
_
__
__
_
_
_
_
_
_
_
__
_
__
_
_
_
_
_
_
____________
__
_
_
_
____
____
_
__
____
_
_
_____
_
___
_
__
_
___
__
__
____
__
_
_
___
_
_____
____
__
_
__
_
_
_____
__
_____
____
____
__
___
__
_
_
____
_
_
_
_
__
___
_
_
_
_
__
__
_
___
_
_
_
_
____
_
__
_
_
___
____
_
_
_
_
__
__
_
_
_
____
_
_
_
__
_
_
__
_
_
_
_
_
__
_
_
__
__
_
_
_
__
_
_
__
_
_
__
_
_____
__
_
_
_
__
_
_
_______
_____
_
_________
_
_
_
___
_
_
_
__
_
_
_
_
____
_
________
____
__
_
_
_
_
_
_
__
_
__
_
_
____
____
___________
__
_______
_
__
__
__
____
_
____
__
__
_
_
____
_
______
__
___
_______
_____
_
_
_
__________
__
_
______
_
_
______
_
__
___
_
_______
__
_
_
_
_
________
_
_
_
_
__
_
_
_
____
____
_
__
_______
__
__
_
____
____
__
____
___
_____
_
___
_
__
_
__
___
_
__
_
_
_
_
_
__
__
__
__
_
_____
_
__
__
___
_
__
__
_
_
_
__
___
_
_
_____
_
_
_
__
_
_
_
____
_
_
_____
__
_
_
___
_
_
_
___
__
_
_____
_
_
_
__
____
__
__
_
_
__
_
_
_
__
_____
_______
_
_
__
__
_____
_
_
__
__
__
___
__________
_
_
_
_
_
__
_
_
_
____
_
_
__
_
_
_
_
_
_
___
_
_
__
__
_
__
_
__
_
_
___
_
____ _
___
____
_
_
_
______
_
__
_
______
_____
_______
_
_____
_
__
____
____
_
________
_________
_
_______
________
__________
_
_
_
__
___
_
_
_
_
__
___
_
___
_
___
_
_
_
_
________
________
_
__
_
__
__
_
__
_
_
_
_
__
_
___
_
____
_
__
_
_
____
_
_
_
_
_
__
_
_
___
_
_______
_
_____
_
__
_
___
___
_
__
__
____
__
_
____
_
___
_
___
_
_
___
_
__
____
__
_
_____
_
____
_
________
____
__
____
______
________
__
_
_
_
__
______
_
_____
_
___
_
_
___
__
_
__
_
_
_
________
_
__
_
_
_
___
_
_______
_
_______
_
_____
_
____
____
___
____
_
__
_
___
_
_
_
_
_
_
____
_
_
__
_
_
_____
__
_
_
______
_
_
___
_______
_
_____
_
_
___
_
___
____
__
_
_
_
___
_
__
_______
_
___
_
_
_
_
___
__
_
_
_______
__
_
_
__
_
_
_
_
_
_
_
_
_
___
__
_
_
_
__
__
__
__
__
_
_
_
___
_
___
__
______
_
_
___
_
_
___
_
__
_
__
_
_
__
_
____
_
_
__
____
_
_
_
__
_
_____
__
_
_
__
__________
_
__
_
________________________________
_______
_
______
_
__
___________
_
____
___
_
_______
_
__________
____________________________________________________________________________________________________
URO: SVM−RFE c/MRMR
verd
e.i
verd
e.R
azul
.saz
ul.R
rojo
.rro
jo.I
rojo
.iro
jo.h
rojo
.gro
jo.V
rojo
.Aro
jo.R
rojo
.sbl
anco
.Raz
ul.r
azul
.Abl
anco
.gve
rde.
rve
rde.
sbl
anco
.sbl
anco
.Ibl
anco
.ibl
anco
.Abl
anco
.raz
ul.h
blan
co.V
azul
.gaz
ul.I
azul
.Vaz
ul.i
verd
e.g
blan
co.h
verd
e.h
verd
e.V
verd
e.A
verd
e.I
0.0
0.2
0.4
0.6
0.8
1.0
Pos
icio
nam
ient
o re
lativ
o
___
_
_
_
__
_
____
__
_
_____
____
__
_
_
___
__
_
__
_
_
_
_______
_
_
__
_
_
_
_
__
_
____
__
_
_
_
_
_
__
_
______
_
_
_
___
___
__
__
__
_
_
_
__
__
________
_
_____
_
_____
_
____________
_
_______
_
____________________________________________
_
________
_
_
_
_
_
_
_
_
_
_
__
_
_
_
__
_
_____
_
_
_
______________
__
_
___
_
_______
_
____
_
__
_
_
_
________________
_
_
_______
_
____
_
____
_
____ __
__________________________________________________________________________________________________
_
__
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
__
__
_
_
___
_
__
_
_
___
_
_
_
_
__
___
_
__
_
_
_
_
_
__
_
_
__
____
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
_
_
_
_
_
__
_
_
______
_
_
____
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_______
_
_
_
_
_
__
_
_
_
___
_
_
_
_
__
___
__
____
_
_
___
_
_
_
__
_
___
_
__
_
_
_
__
_
_
___
___
_
_
_
_
_
_
_
_
_
_
__
_
____
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
_______
_
_
_
_
_
__
_
_
_
_
_
_
_
_
_
_
__
___
__
____
_
_
___
_
_
_
__
_
_
_
_
_
__
_
_
_
__
_
_
______
_
_
_
_
_
_
_
_
_
_
__
_
_
_
__
___
__
_
_
__
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_
__
_
_
__
_
_
_
_
_
_
_
_
_
_
_
_
_
__
___
_
__
_
_
__
_
__
__
_
__
_
_
__
_
_
_
_
_
__
_
_
_
_
_
_
_
_
___
_
_
_
_
_
__
_
_____
_
_
_
_
_
_
_
_
__
_
_
_
_
_
_
_
__
_
__
__
_
_
__
_
_
__
_
_
_
_
_
_
_
_
___
_
_
_
_
__
_
_
_
_
_
_
_
__
____
_
__
_
_
__
_
_
_
_
__
_
_
__
_
_
___
_
__
_
___
__
_
_
_
_
__
_
_
_
_
_
_
_
__
_
_
_
_
__
_
_
_
_
_
_
__
__
__
__
_
_
__
_
_
_
_
__
_
_
_
_
_
__
_
_
_
__
_
_
_
_
_
_
__
_
_
__
_
__
_
__
_
__
_
_
_
_
_
_
__
_
_
_
__
_
___
_
_
_
_
_
_
_
_
____
_
_
__
_
_
____
__
_
_
_
__
_____
__
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
__
_
_
_
______
_
_
__
_
__
__
_
____
___
_______
____
___
__
_
_
_
_
_
___
_
_
_____
_
__
_
_
__
_
_
__
_
__
__
_____
__
__
_
_
_
_
_
_
_
_
__
__
_
_
___
_
__
_
_
_____
_
_
__
_
__
__
_
____
___
__
_
____
____
_
__
___
_
_
_
_
__
_
_
_
_____
_
_
_
_
_
__
_
_
__
_
_
_
__
_____
__
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
_
_
_
_
_____
_
_
__
_
__
__
_
____
___
__
_____
____
___
___
_
_
_
_
___
_
_____
_
_
_
_
_
_
__
_
_
__
__
_
__
_____
__
__
_
_
_
_
_
_
_
_
__
_
_
_
_
___
_
__
_
_
_____
_
_
__
_
__
__
_
____
__________
____
_
__
__
_
_
_
_
_
_
_
_
_
_
_
__
__
__
_
_
_
_
_
_
_
_
_
_
_
_
___
__
_
_
__
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
__
__
___
_
_
_
_
__
_
_
_
__
_
__
_
_
_
_
_
___
__
_
_
__
_
_
_
_
_
___
__
_
_
_
_
_
_
_
_____
_
__
_
_
__
_
_
__
_
_
_
__
_____
__
__
_
_
_
_
_
__
_
_
_
_
_
_
_
___
_
_
_
_
______
_
_
___
__
__
_
____
_____
___
_
_
___
_
___
__
_
_
_
_
_
__
_
_
____
_
_
_
__
_
_
__
_
_
__
___
__
_____
__
__
__
_
_
_
_
_
_
__
_
_
_
_
___
_
_
_
_
_
_______
__
_
__
__
_
____
_
____
_
__
_
_
___
_
___
__
_
_
_
_
_
___
_
_____
_
_
__
_
_
___
_
__
___
_
___
_
_
_
__
__
_
_
_
_
_
_
_
_
_
_
_
_
_
_
___
_
__
_
_
_______
___
__
__
_
__
__________
__
__
_
_
___
__
_
_
_
_
_
__
_
______
_
_
_
_
_
_
__
_
_
__
__
_
_
___
_
__
__
__
_
_
_
_
__
_
_
_
_
_
_
_
_
_____
_
__
____
_
_
_
___
_
_
__
_
__
__
_
__
_
_
_
__
_
_
__
__
_
__
_
_
_
_
_
_
_
___
_
_
_______
_
_
_
_
_
_
_
______
___
_____
_
___
_
__
_
_
___
_
_
_
_
_
__
__
_
________
_
_
__
_
_
_
_
_
______
_
_
______
___
_
_
_
__
_
_
_
_
_
_
___
________
_
_
_
_
_
_
_
_
_
______
___
__
_______
____
_
_
__
_
___
__
_
___
_
__
_____
___
__
__
_
__
_
__
_
_
_
_____
_
__
_
________
_
___
__
________
_
_
_
_
_
_
_
_
_
______
___
_________
____
_
_
_
_
_
___
__
_
___
_
__
_____
___
__
__
_
__
_
__
_
_
_
_____
_
__
_
___
_____
_
___
__
_
__
_
_______
_
_
_
__
_
_____
_
_
___
____
_
___
_
_
_
_
___
_
_
_
___
______
_
______
_
______
_
___
__
_
_
_____
_
_
_
____________
____ _
______________________________
________________________
_
____________________________________________ ___
_
_
_
________
_
__________________________
________________________
_
______________
_
___________________ ___
__
_
____________________
_
____
_
___
__
_
____
_
____
_
__________________
___
_
___
__
___
_
_____
_____
_
_
______
_
____
_
_
_
_
_
_
_
_
_
__
__
_
_
_
___
__
_
________
_
_
_
__
__
_
_______
____
_
_
__
_____
_
____
___
_
___
_
____
_
_
_
____
_
_
__
_
____
_
_
__
__
____
_
___
__________
_
_
__
_
_
_______
_
_
____
_
__
_____
_
___
___
________
_
_
_
_______
____
____
___
_
_
_
_
__
__
_
_____
__
_
___
____
_
_
________
______
__
___
_
_
_
_
____
__
_
_
____
_
_
____
__
_____
_______
_
_
__
____
_
__
__________
_____
_
_
_
___
__
_
____
___
__
__
__________
_
_
__
_
_
_
______
_
_
__
___
__
_____
_
__
_
___
_______
_
___
_______________
___
_
__
___
__
_
_____
__
_
___
_______
_
__
________
_
___
__
______
_
_
_
___
__
_
_____
_
____
__
____
_
__
_
_____
__
_______
_
_____
_
__
_
___
___
__
__
___
____ _
__
___
_
_______________
__
_
______________
____
______
_
_
_
_
_____
_
_
__
__
_
_
____
______
_
__
___
_
____
_
_
_
_
_
_
_
______ ___
_______________
____
______________
________
_
__
_
________________________
__________
__________________
___
_
_
_
_______
__
__
__
______
_
_
_
_
___
_
_
_
__
_
_
_
_
_
___
_
_
__
_____
_
_
___
__
_
____
__
_
__
_
_________________
__
__
_
____
_
_
________
_
_______
_
__
__
_____
_
______
_
_______
_
___
_
__
_
__
_
_
_
__
_
_
___
___
_
_
_
___________
_
_
_
___
___
___
_
____
_
___
_
________________
___________
_______
_______________
____
_
____
________
_
_____________
___________
_________
URO: FCBF
Figura 37: URO: Distribucion de posiciones que toma cada variable en elranking realizado por cada uno de los metodos comparados.
76
5. Conclusiones y trabajos futuros
En esta tesina se diseno, desarrollo e implemento el metodo de seleccion
de variables SRFE, el cual apunta a producir resultados estables y no redun-
dantes. El metodo combina el ranking producido por el eficiente algoritmo
RFE con una penalizacion que se apoya en la informacion mutua entre las
variables. El nuevo metodo tiene en cuenta el problema de la estabilidad de
las soluciones ante experimentos repetidos y trata de resolver el problema eli-
giendo, siempre que es posible, la misma variable entre un grupo de variables
correlacionadas.
Al incorporar una penalizacion a las variables correlacionadas se esperaba
obtener soluciones con un error global mayor que otros metodos que apuntan
directamente a buscar el mınimo error de modelado, como RFE. Sin em-
bargo, la hipotesis inicial resulto refutada, ya que en todos los experimentos
realizados se destaco SRFE al obtener siempre mejores resultados, tanto a
nivel de error como de estabilidad.
En primer termino, se mostro con un dataset artificial como el nuevo
metodo resuelve de forma eficiente y estable un problema con muchas varia-
bles correlacionadas y ruidosas, donde la clase depende de multiples variables.
Dicho problema artificial deja en evidencia las limitaciones de los metodos
precedentes.
En segunda instancia, se analizaron datasets reales de problemas de espec-
trometrıa de masa y de colorimetrıa. Los datasets tenıan distintas relaciones
muestra/variable, pero siempre incorporaban un alto numero de variables
redundantes. En la gran mayorıa de los casos, el metodo SRFE mostro ma-
yor precision y estabilidad en relacion con los metodos comparados. Esto
reafirma lo previamente observado en el caso artificial.
Se puede concluir que el metodo SRFE produce una seleccion de variables
77
independientes y a la vez mas eficientes para el modelado, superando en
particular la busqueda exclusiva de la minimizacion de error del metodo
RFE y a la penalizacion global que aplica MRMR.
Se plantean como trabajos futuros el analisis para la seleccion del ar-
gumento de balance β, ası como de los argumentos de corte Tp y Tc que
determinan el tamano de los clusters de correlacion. Es necesario tambien
desarrollar una forma efectiva de graficar los grupos de variables que fueron
penalizadas por el algoritmo para ayudarnos a entender sus relaciones.
78
Referencias
[1] John Robert Anderson, Ryszard Spencer Michalski, Ryszard Stanis law
Michalski, Thomas Michael Mitchell, et al. Machine learning: An arti-
ficial intelligence approach, volume 2. Morgan Kaufmann, 1986.
[2] Bernhard E Boser, Isabelle M Guyon, and Vladimir N Vapnik. A training
algorithm for optimal margin classifiers. In Proceedings of the fifth an-
nual workshop on Computational learning theory, pages 144–152. ACM,
1992.
[3] Nello Cristianini and John Shawe-Taylor. An introduction to support
vector machines and other kernel-based learning methods. Cambridge
university press, 2000.
[4] Isabelle Guyon and Andre Elisseeff. An introduction to variable and
feature selection. The Journal of Machine Learning Research, 3:1157–
1182, 2003.
[5] Isabelle Guyon, Jason Weston, Stephen Barnhill, and Vladimir Vapnik.
Gene selection for cancer classification using support vector machines.
Machine learning, 46(1-3):389–422, 2002.
[6] Chih-Wei Hsu and Chih-Jen Lin. A comparison of methods for multi-
class support vector machines. Neural Networks, IEEE Transactions on,
13(2):415–425, 2002.
[7] Ron Kohavi and George H John. Wrappers for feature subset selection.
Artificial intelligence, 97(1):273–324, 1997.
79
[8] Piyushkumar A Mundra and Jagath C Rajapakse. Svm-rfe with
mrmr filter for gene selection. NanoBioscience, IEEE Transactions on,
9(1):31–37, 2010.
[9] Hanchuan Peng, Fuhui Long, and Chris Ding. Feature selection ba-
sed on mutual information criteria of max-dependency, max-relevance,
and min-redundancy. Pattern Analysis and Machine Intelligence, IEEE
Transactions on, 27(8):1226–1238, 2005.
[10] John Ross Quinlan. C4.5: Programs for Machine Learning. Morgan
Kaufmann, 1993.
[11] Bernhard Scholkopf and Alexander J Smola. Learning with kernels: sup-
port vector machines, regularization, optimization, and beyond (adap-
tive computation and machine learning). 2001.
[12] Lei Yu and Huan Liu. Efficient feature selection via analysis of relevance
and redundancy. The Journal of Machine Learning Research, 5:1205–
1224, 2004.
80