ⓘ Selección de variable. En aprendizaje de máquina y estadística, selección de característica, también conocida como selección de variable, selección de atributo ..

                                     

ⓘ Selección de variable

En aprendizaje de máquina y estadística, selección de característica, también conocida como selección de variable, selección de atributo o selección de subconjunto variable, es el proceso de seleccionar un subconjunto de características pertinentes para su uso en construcción de modelos. Las técnicas de selección de la característica son utilizadas por cuatro razones:

  • Simplificación de modelos con el fin de hacerlas más sencillas de interpretar para los usuarios/investigadores, ​ formalmente, reducción de varianza

La premisa central cuando se utiliza una técnica de selección de características es que el dato contiene muchas redundantes o irrelevantes, y así pueden ser removidas sin incurrir en mucha pérdida de la información. Las características redundantes o irrelevantes son dos nociones distintas, pues una característica relevante puede ser redundante en la presencia de otra característica relevante con la que está fuertemente correlacionada.

Las técnicas de selección de características deben ser distinguidas de la extracción de característica, la cual crea características nuevas a partir de funciones de las características originales, mientras que la selección de característica devuelve un subconjunto de las características. Las técnicas de selección de la característica son a menudo utilizadas en dominios donde hay muchas características y comparativamente pocas muestras o puntos de dato. Los casos arquetípicos para la aplicación de la selección de característica incluye el análisis de datos de microarrays de ADN y textos escritos, donde hay varios miles de características, y unas cuantas decenas a centenares de muestras.

                                     

1. Introducción

Un algoritmo de selección de características puede ser visto como la combinación de una técnica de búsqueda para proponer nuevos subconjuntos de características, junto con una evaluación mide cuál puntúa los diferentes subconjuntos de características. El algoritmo más sencillo prueba cada subconjunto posible de las características encontrando la que minimiza el índice de error, lo que es una búsqueda exhaustiva del espacio, y es computacionalmente intratable excepto para los conjuntos de característica más pequeños. La elección de la evaluación métrica influye fuertemente en el algoritmo, y son estas evaluaciones métricas las que distinguen entre las tres categorías principales de algoritmos de selección de características: envolturas wrappers, filtros y métodos embebidos. ​

En estadística tradicional, la forma más popular de seleccionar características es la regresión paso a paso, que es un técnica de wrapper. Es un algoritmo greedy que añade la mejor característica o elimina la peor en cada ronda. El problema principal de control es decidir cuándo parar el algoritmo. En aprendizaje de máquina, esto es típicamente hecho por validación cruz. En estadísticas, algunos criterios están optimizados. Esto se debe al problema inherente de anidación. Métodos más robustos han sido explorados, como ramificación y poda y red lineal por partes.

                                     

2. Selección de subconjunto

La selección de subconjuntos evalúa un subconjunto de características como un grupo por conveniencia. Los algoritmos de selección del subconjunto pueden ser separados en Wrappers, Filtros y Embebidos. Los wrappers utilizan un algoritmo de búsqueda para buscar a través del espacio de características posibles y evaluar cada subconjunto corriendo un modelo en el subconjunto. Los wrappers pueden ser computacionalmente complejos y tener un riesgo de overfitting para el modelo. Los filtros son similares a los wrappers en la aproximación de búsqueda, pero en vez de evaluar contra un modelo, evalúa un filtro más sencillo. Las técnicas embebidas son embebidas para un modelo específico.

Muchos aproximaciones de búsqueda populares utilizan escalada de cerro codicioso, el cual de manera iterativa evalúa un subconjunto de candidato de características, entonces modifica el subconjunto y evalúa si el subconjunto nuevo es una mejora sobre el viejo. La evaluación de los subconjuntos requiere una puntuado métrico que mide un subconjunto de características. La búsqueda exhaustiva es generalmente poco práctica, por lo que si algún implementador u operador define un punto de parada, el subconjunto de características con la puntuación más alta descubierta hasta el momento es seleccionado como el subconjunto de característica satisfactorio. El criterio de parada varía para cada algoritmo; los criterios posibles incluyen: una puntuación de subconjunto supera un umbral, el máximo permitido de tiempo de ejecución del programa fue superado, etc.

Las técnicas de búsqueda alternativas están basadas en la búsqueda de proyección de un objetivo que encuentra proyecciones de baja dimensión del dato con mayor puntuación: las características que tiene las proyecciones más grandes en el espacio de menor dimensión son las elegidas.

Aproximaciones de búsqueda incluyen:

  • Algoritmo genético
  • Distancia entre clases
  • Selección de característica basada en consitencia
  • Mejor primero
  • Eliminación hacia atrás codicioso ​

    Otras selecciones de filtros son:

    • Separación de clases
    • Entropía
    • Probabilidad de error
    • Distancia probabilista
    • Selección de característica basada en correlación
    • Exhaustivo
    • Selección hacia adelante codicioso
    • Recocido Simulado
                                     

3. Criterios de optimalidad

El criterio de elección de optimalidad es difícil cuando hay objetivos múltiples en una tarea de selección de características. Muchos de los similares incorporan una medida de exactitud, penalizada por el número de características seleccionadas ej. el Criterio de información bayesiano. El más viejo es el Cp de Mallows estadístico y criterio de información de Akaike AIC. Estos añaden variables si el t-statidístico es más grande que

                                     

4. Aprendizaje de estructura

Selección de característica del filtro es un caso concreto de un paradigma más general llamada Aprendizaje de Estructura. La selección de características encuentra para característica específica una variable de objetivo concreta mientras que aprendizaje de estructura encuentra las relaciones entre todas las variables, normalmente expresando estas relaciones como un grafo. Los algoritmos más comunes de aprendizaje de estructura suponen que el dato está generado por una Red bayesiana, por lo que la estructura es un modelo de un grafo dirigido. La solución óptima al problema de selección de característica de filtro es la Manta de Markov del nodo objetivo, y en una Red bayesiana, hay un Manta de Markov única para cada nodo. ​

                                     

5. Árboles regularizados

Las características de un árbol de decisión o un árbol ensamblado han demostrado ser redundantes. Un método reciente llmado árbol regularizado puede ser utilizado para la selección del subconjunto de características. ​ Los árboles regularizados penalizan usando una variable similar a las variables seleccionadas en nodos de previos del árbol separando el nodo actual. Árboles regularizados solo necesitan construir un modelo de árbol o un árbol ensemble modelo y así éste es computacionalmente eficaz.

                                     

6. Visión general en metaheuristics métodos

Un metaheurística es una descripción general de un algoritmo dedicado a solucionar dfíciles típicamente problemas NP-duros problemas de optimización para los que no hay soluciones clásicas. Generalmente, un metaheurística es un algoritmo estocástico que tiende a encotnrar un óptimo global.



                                     

6.1. Visión general en metaheuristics métodos Principios principales

Los métodos de selección de la característica son típicamente presentados en tres clases basados en cómo combinan el algoritmo de selección y la construcción del modelo.

                                     

6.2. Visión general en metaheuristics métodos Método de filtro

Los tipos de métodos de filtro seleccionan variables a toda costa del modelo. Están basados sólo en características generales como la correlación con la variable a pronosticar. Los métodos de filtro suprimen las variables menos interesantes. Las otras variables serán parte de una clasificación o un modelo de regresión usado para clasificar o para pronosticar datos. Estos métodos son particularmente eficaces en y resistentes al overfitting. ​

  • El riesgo creciente de overfitting cuando el número de observaciones es insuficiente.
  • El tiempo de computación significativo cuándo el número de variables es grande.
                                     

6.3. Visión general en metaheuristics métodos Métodos embebidos

Los métodos embebidos han sido recientemente propuestos para intentar combinar las ventajas de los métodos anteriores. Un algoritmo de aprendizaje aprovecha su proceso de selección variable propio y realiza la selección de selección y clasificación simultáneamente.

                                     

6.4. Visión general en metaheuristics métodos Aplicación de selección de característica metaheuristics

Esto es una encuesta de la aplicación de las metaheurísticas de selección de característica utilizados recientemente en la literatura. Esta encuesta fue realizada por J. Hammon en su tesis.

                                     

7. Selección de característica embebidas en algoritmos de aprendizaje

Algunos algoritmos de aprendizaje realizan la selección de características como parte de su operación global. Estos incluyen:

  • Árbol de decisión ​
  • Árboles regularizados, p. ej. regularized el bosque aleatorio implementado en el RRF paquete