Upload
hadassah-noel
View
30
Download
1
Embed Size (px)
DESCRIPTION
Caracter ísticas de la investigación en TI. Raúl Monroy (de varias notas de A Bundy). Contenido. Hipótesis y evidencia Dimensiones, gu ías para caracterizar la investigación en TI Tipos de investigación: teórica versus experimental, y sus implicaciones. - PowerPoint PPT Presentation
Citation preview
Características de la investigación en TI
Raúl Monroy(de varias notas de A Bundy)
Contenido
1. Hipótesis y evidencia2. Dimensiones, guías para caracterizar la
investigación en TI3. Tipos de investigación: teórica versus
experimental, y sus implicaciones.4. Criterios para evaluar investigación en TI
Doctorado: un proceso reflexivo• Investigar implica un escrutinio continuo:– Cuál(es) es(son):• Mi motivación.• Mis metas y objetivos.• La novedad de mi idea.• El trabajo relacionado con el mío, especialmente el
competidor.
– Qué asevero y cuál es mi hipótesis.– Cuáles son mis evidencias.– En qué etapa estoy.
1. Hipótesis y evidencia• Un avance en ciencia o ingeniería es resultado
del planteamiento de una hipótesis y las evidencias que la sustentan.
• En TI, típicamente una hipótesis es:
La técnica/ el sistema/el parámetro X es mejor, para la tarea Y, que cada uno de sus rivales Z,
en la dimensión Y.
La técnica/ el sistema/el parámetro X es mejor, para la tarea Y, que cada uno de sus rivales Z,
en la dimensión Y.
Investigación en TI1. Explorar un espacio de técnicas
• Inventar una nueva técnica.• Investigar una técnica existente, para
descubrir: – Nuevas propiedades, – Relaciones con otras técnicas, …
• Mejorar una técnica existente.• Aplicar novedosamente una técnica existente.• Combinar técnicas existentes.
La técnica/ el sistema/el parámetro X es mejor, para la tarea Y, que cada uno de sus rivales Z,
en la dimensión Y.
Investigación en TI2. Establecer propiedades
con respecto a una dimensión
• Las dimensiones varían dependiendo del carácter específico de la investigación:– Científica.– Ingenieril.– Conductual (ciencia cognitiva).
2. Dimensiones científicas• Eficiencia:– Dimensiones: tiempo, espacio.– Evidencia incluye estadísticos:
• Promedio, varianza, mejor caso, peor caso, etc.
• Comportamiento: propiedades del resultado:– Calidad: correcto, óptimo, etc.– Demanda bases de prueba estándar, “golden standard”
• Cobertura: rango de aplicación:– Calidad: completo o parcial
2. Dimensiones ingenieriles
• Facilidad de uso.• Fiabilidad.• Calidad de extensible y mantenerse en buen
estado.• Calidad de ser escalado(a).• Compatibilidad.• Costo.
2. Dimensiones conductuales
• Compatibilidad con comportamientos externos.
• Compatibilidad con procesamiento interno.• Adaptabilidad.• Capacidad de evolución.
2. La dimensión desconocida• Podríamos usar poder para referirnos a las
dimensiones anteriores, conjuntamente. • Otras dimensiones, más subjetivas, con las que
podemos comparar dos o más técnicas son:– Claridad.– Parsimonia, por ejemplo: la navaja de Occam.– Calidad de prescripción.– Predictibilidad.– Simplicidad, etc.
2. El impacto de hipótesis en textos científicos
• Una hipótesis que es:– Ambigua causa dudas, incertidumbre, o confusión
en el lector (árbitro).– Vaga despierta escepticismo en el lector (árbitro)
sobre la solidez de la metodología científica usada, formando prejuicios como: • No existe evidencia, o ésta no es concluyente.• La investigación carece de foco, y por tanto no es
significativa.
¿Y la evidencia?
• La evidencia, coincidiendo con el tipo de investigación, puede ser:– Teórica (teoremas o argumentos).– Experimental (mediciones tomdas de en un
prototipo funcional).– Experimental (juicios emitidos por terceros).
3. Tipos de investigación
• El objeto de estudio puede encontrarse en diferentes niveles, por ejemplo:– Una tarea, un sistema, una técnica, un parámetro,
etc.• El propósito del estudio consiste en explorar el
espacio de técnicas.• La investigación puede ser:– Teórica o experimental.
3. Investigación teórica• Aplicable a una técnica, o a una tarea.• Uso de matematicas para formalizar definiciones y
propiedades (pruebas).• Hipótesis: conjetura – evidencia: teorema.• Ventajas:
– Facilita o posibilita el análisis abstracto.– Expande el espacio de técnicas (genera y prueba).– Un teorema comprende e impacta a todo un universo, posiblemente
infinito.– Sugiere extensiones y generalizaciones.
• Desventajas:– Abstracción puede no ser fiel al objeto de estudio.
3. Investigación experimental• Realizable a dos niveles:– Exploratorio:
• Explorasión (visualización) de datos para identificar causas, razones, patrones, etc.
– Validación de hipótesis:• Medir comportamiento del objeto de estudio para obtener evidencia
que sustente hipótesis, tornándola en aseveración.
• Para validación de hipótesis, implica establecer dos obligaciones fundamentales:1. Demostrar la generalidad de la validación.2. Demostrar que las evidencias colectadas sustentan la
hipótesis.
Cómo establecer representatividad de los ejemplos de validación
• Separar ejemplos para construcción de ejemplos para validación.
• Usar ejemplos “variados”, es decir que cubran áreas distintas de la población.
• Colectar ejemplos de fuentes independientes.• Colectar ejemplos de fuentes, que, por consenso,
reconoce la comunidad.• Usar ejemplos consensualmente etiquetados “difíciles”.• Usar ejemplos patológicos.
Cómo establecer sustentabilidad de la hipótesis, dados los resultados
• Diseño de experimentos:– Variar algo a la vez (variables independientes
versus variables dependientes).– Establecer relación de causa – efecto.– Explicar variabilidad.– Establecer significado estadístico
Criterios para evaluar investigación en TI
• Hipótesis: Investigar en TI es explorar un espacio de técnicas, a través de:– Describir una nueva técnica.– Mejorar una técnica.– Establecer propiedades de una técnica o relaciones entre dos o
más técnicas.– Verificar la validez psicológica de una técnica.– Combinar varias técnicas (en un sistema).– Identificar y motivar una nueva tarea.– Establecer propiedades de una tarea.– Estructurar e ilustrar un área.– ¿Etc.?
Con relación en una técnica
• ¿Qué tareas resuelve? ¿Cuál es el rango de su aplicabilidad? ¿Cuál es su factor de impacto?
• ¿Pueden caracterizarse las tareas para las cuales es aplicable y que resuelve exitosamente?
• Si puede describirse formalmente:– ¿es correcta, completa, termina (en un tiempo
razonable)? ¿cuál es su complejidad?• ¿Cómo difiere de técnicas relacionadas?• ¿Se ha implementado? Si sí, ¿con que resultados?
Con relación en un sistema
• Implementación:– ¿Cuál es el estado?– ¿Es fiel a la descripción abstracta o teórica de la(s)
técnica(s)?– ¿Qué tecnica(s) o componente(s) pueden
incorporarse en otros sistemas (rivales)?– ¿Está disponible? ¿Ha sido validada? ¿Con qué
resultados?– ¿Es flexible?
Con relación en un sistema• Validación:
– Basado en el DdE, ¿qué hipótesis fueron validadas? ¿Cón qué resultados?
– ¿El sistema (y las técnicas incorporadas) explican los resultados obtenidos? ¿Se reemplazaron o modificaron técnicas o componentes para medir el efecto de estas en resultados?
– ¿Qué tan vasta fue la validación? ¿Es el conjunto de validación representativo?
– ¿Cómo se distribuyen los resultados positivos y negativos?– ¿Se registraron medidas de desempeño? ¿Pueden correlacionarse
estas medidas con el análisis teórico (predictivo)?– ¿Se ha comparado el sistema con otras experimentalmente? ¿Con
qué resultados?
Con relación en una teoría
• ¿Son válidas y justificadas las aseveraciones, las demostraciones, los argumentos, etc?
• ¿Son significatos?• ¿El estudio se basa en condiciones simplificantes?
¿Qué tan realistas son dichas condiciones?• ¿Podemos simplificar los estudios, apoyándonos en
otras condiciones, que también sean realistas?• ¿Qué consecuencias de interés pueden concluirse?
Conclusiones
• Principios generales para evaluar técnicas de TI
• Contribución: hipótesis y evidencia• Poder es un conjunto de dimensiones:– Científicas, ingenieriles, conductuales
• Evidencia teórica o experimental• Experimentación: exploración o prueba de
hipótesis