Investigación basada en qué evidencia

Antes de comenzar quiero dejar claro que aunque yo me considero investigador cualitativo. En ocasiones, hago -o participo- en investigaciones cuantitativas.

Lo que quiero decir con esto es algo parecido a lo que plantean Flyvbjerg (2004) o Maxwell (2010, 2012): que las metodologías de investigación parten de posiciones ideológicas y epistemológicas pero que son herramientas que tienen que ver con cómo nos acercamos al objeto de estudio.

Del mismo modo que no uso un destornillador para clavar un clavo ni un martillo para atornillarlo, en función de qué quiera investigar y desde qué posición lo haga puedo usar una u otra metodología.

Dicho esto, toca plantear ahora algunas reflexiones en torno a esto que se ha venido a llamar «Investigación basada en la evidencia» y que tanto auge está teniendo en los últimos años, especialmente entre una parte del profesorado.

Para empezar conviene señalar que la educación se enmarca dentro de las ciencias sociales y que estas por su idiosincrasia tienen características muy diferentes a las ciencias naturales (Vasen 2012, 2018).

En este tipo de ciencias la forma fundamental de realizar investigación está basada en la búsqueda de causalidad y para ello se utiliza, fundamentalmente, el método experimental o cuasi-experimental. La idea es simple: se busca un grupo experimental, un grupo control, se introduce un cambio en el grupo experimental se ve qué efectos causa y se compara con el grupo control para ver si en este último (donde no se han introducido cambios) no se produce el mismo efecto. Con esto garantizamos la causalidad. Es decir, que los efectos producidos se deben únicamente a los cambios introducidos. Es por ello que es muy importante en este tipo de metodología «aislar variables externas». Es decir, que el experimento no se contamine con cualquier cosa que pueda producir ese cambio y, por lo tanto, nos lleve a realizar una atribución de causalidad equivocada [1].

El problema radica en que esto que es fácil de entender en, pongamos, bioquímica, se complica bastante en educación. ¿Cómo garantizamos que los efectos observados se deben única y exclusivamente a los cambios introducidos y no a la inmensa variedad de variables que se dan en ciencias sociales? En educación es muy complicado «aislar variables» en un laboratorio. Pero además está el problema de lo abstracto, los conceptos educativos que manejamos son constructos complejos que muchas veces no tienen una definición exacta o universal, con lo cual, lograr relaciones de causalidad en educación y ciencias sociales es, cuanto menos, complicado. Por otro lado, en ciencias sociales siempre hablamos de conocimiento situado es decir, dependiente del contexto, no existen universalidades (Maxwell, 2019a; Flyvbjerg, 2004). Desde el paradigma interpretativo y sus métodos cualitativos, se cuestiona que esas causas-efectos de los métodos cuantitativos sean tan universales como se nos dice, se afirma que dependen de los contextos, la cultura y los significados que atribuimos a dichas causas-efectos (Alcaraz, 2014; Pérez Gómez, 2000; Bruner, 1990; Erickson, 1986; House, 1991; Huberman & Miles, 1985; Menzel, 1978; Mohr, 1996; Pawson, 2006; Sayer, 1992; Bhaskar 1989; Davidson 1980, 1993; McGinn, 1991; Putnam, 1999).

En palabras de Gage (1989, p. 5):

The effects on people’s actions of their interpretations of their world create the possibility that people may differ in their responses to the same or similar situations.

O de Mohr (1996):

people’s motives or reasons for undertaking certain behaviors could not form part of general laws governing those behaviors, but . . . those same motives or reasons could, in the individual case, cause the behaviors to be carried out (p. 6).

O el mismo Bandura (1986) que argumenta de forma similar

What people think, believe, and feel affects how they behave. . . . The natural and extrinsic effects of their actions, in turn, partly determine their thought patterns and affective reactions (p. 3).

El problema de todo esto no sería tal si, estas diferencias entre aproximaciones y formas de hacer ciencia, fueran explícitas. Pero el problema radica en la fagocitación que desde el paradigma positivista y sus métodos cuantitativos, se ha realizado de otros paradigmas como el interpretativo y sus métodos cualitativos.

Esto lo que ha producido es que la idea de método científico se corresponda únicamente con métodos cuantitativos, como si los otros métodos no fueran científicos, como si sólo fuera una, la idea de ciencia.

A este respecto me decía, hace un tiempo, un profe de filosofía de un instituto:

“La idea miserable (esa es la palabra) que se nos ha impuesto de: científico. No es más que una forma de enmascarar bajo la ilusión de la objetividad, profundas carencias metodológicas y, fundamentalmente epistemológicas y ontológicas. Reducir de forma simplista cuestiones terriblemente complejas y decisiones complicadas como la adecuación de las herramientas y estrategias al objeto de estudio a parámetros y formulas genéricas siempre aplicables de objetivos-resultados, causas-efectos, conductas-aprendizajes, síntomas-trastornos, … Cuando la realidad de la mente humana, y por ende el aprendizaje, dista mucho de ser (por suerte o por desgracia) un asunto tan simple.”

La cuestión aquí es, que ciencias hay muchas y, las ciencias sociales, epistemológicamente, tienen, a priori, más coherencia con otro tipo de métodos como los cualitativos (Gage, 1989; De Cambra Bassols, 1982; Flyvbjerg, 2004; Denzin, 2009, 2010a, 2010b, 2017). Cuestión esta muy debatida desde hace décadas en la literatura científica y, sobre todo, durante la época que se conoce históricamente, como Paradigm Wars.

Cuando decimos que estos no son científicos, estamos dando por sentado, que sólo existe un tipo de ciencia, cosa que para nada es cierta.

Con algo parecido al título de este post se preguntaba Maxwell (2019b, p.1) «evidencia de qué» para hablar de esto mismo y cuestionar: por un lado la idea misma de evidencia en ciencias sociales y, por otro lado, la idea de ciencia que subyace a esta Investigación basada en la evidencia que desecha de forma directa, como si fuera conocimiento de más bajo nivel, a otras formas de producir conocimiento científico (de ciencias sociales) que, curiosamente y, a priori, es más adecuado epistemológicamente a la educación como objeto de estudio.

Esto lleva a cuestiones confusas acerca de las diferentes formas de entender la producción de conocimiento «científico» y la forma y valor con el que lo hacen los diferentes paradigmas y sus métodos. Socialmente no se entiende que mientras los métodos cuantitativos buscan generalización, los cualitativos buscan transferibilidad. Mientras los primeros buscan causalidad, los segundos buscan comprensión en profundidad [2].

Esta universalidad reduccionista del concepto de ciencia, produce también confusiones dentro de las propias metodologías: cuando por ejemplo se entiende que si hacemos entrevistas estamos haciendo investigación cualitativa o que si usamos datos númericos, automáticamente, es investigación cuantitativa. Nada más lejos de la realidad. La metodología de investigación depende del uso que hagamos de datos y estrategias (y este uso tiene que ver con planteamientos sobre cómo se genera conocimiento) no de los datos y estrategias que usemos.

Un ejemplo claro de esta confusión acerca de qué es ciencia y la supuesta incuestionabilidad de lo que se ha venido a llamar evidencia científica (y que en realidad sólo es una perspectiva parcial y reducida de lo que la ciencia, en palabras mayúsculas, es),  es el meta-análisis (otro tipo de investigación cuantitativa) realizado por Stockard et al (2018) que tanta difusión ha tenido, en el que, no sólo se equipara de forma indirecta educación e instrucción. Sino que además se concluye que la instrucción directa es el mejor método para que el alumnado aprenda. Estos conceptos (instrucción y educación), si consultamos la literatura psicopedagógica, quedan bastante alejados entre sí y, desde algunas perspectivas pedagógicas, serían casi conceptos contrapuestos. E igualmente ocurre con el concepto aprendizaje cuyo concepto, se universaliza y se nos presenta como incuestionable en este trabajo.

Podemos ver como esta investigación, por ejemplo, se basa en la idea de universalidad de causas-efectos que cuestionábamos con anterioridad.

En definitiva, lo que intento decir es que aún identificándome yo claramente dentro de un paradigma, es de respetar la investigación que se hace desde otras formas de entender el conocimiento y la investigación. El problema es cuando desde determinadas posturas se nos plantea que es, esa postura, la única legítima para producir un conocimiento sólido y riguroso. Hacer ciencia, de verdad, de calidad, ejercer un profesión basada en la ciencia, implica conocer planteamientos epistemológicos, axiológicos y ontológicos de forma profunda para concretarlos en metodologías acordes a estos y al objeto de estudio. No en plantear dicotomías reduccionistas sobre qué es y cómo se produce el conocimiento.

Lo que hace falta en la investigación en general (y en la educativa en particular) es investigación rigurosa. Hay mala investigación (y malos-as investigadores-as) tanto en la metodología cuantitativa como en la cualitativa. Pero no por ser cualitativa o cuantitativa la investigación es de calidad «per se».

Me gustaría, para finalizar, destacar que mi postura no puede ser más conciliadora. Lo que trato de hacer en este post no es atacar una metodología, sino argumentar porqué esta no es la única forma de hacer ciencia y ni desde luego la más idónea «per se», que es lo que se nos quiere hacer creer desde algunas posturas [3].

Notas

[1] Soy consciente de que esto es una simplificación del funcionamiento metodológico, pero entiéndase que esto es un post y no un artículo científico y estoy tratando de explicarlo de la forma más divulgativa posible.

[2] Sobre estas diferencias entre métodos cualitativos y cuantitativos y en qué consisten, haré otro post de esta misma serie sobre investigación más adelante.

[3] Más adelante, dentro de esta misma serie sobre metodología, trataré de hacer un post hablando sobre lo que se ha venido a llamar Métodos Mixtos y sus problemas y posibilidades.

Si te interesa el tema puedes leer…

Sobre críticas a la investigación basada en la evidencia:

• Biesta, G. (2007), Why “what works” won’t work: evidence‐based practice and the democratic deficit in educational research. Educational Theory, 57 (1), 1-22. https://doi:10.1111/j.1741-5446.2006.00241.x
• Denzin, N. K. (2009). The elephant in the living room: or extending the conversation about the politics of evidence. Qualitative Research, 9(2), 139–160. https://doi.org/10.1177/1468794108098034
• Maxwell, J. A. (2019). Evidence for what? How mixed methods expands the evidence for causation in educational research. Qualitative inquiry. (En prensa)
• Wrigley, T. (2018), The power of ‘evidence’: Reliable science or a set of blunt tools?. British Educational Research Journal, 44(3), 359-376. doi: https://doi.org/10.1002/berj.3338

Sobre investigación cualitativa:

• Flyvbjerg, B. (2004). Cinco malentendidos acerca de la investigación mediante los estudios de caso. Reis: Revista española de investigaciones sociológicas. 4 (106), 33-62. Recuperado de:
• Maxwell, J. A. (2012). Qualitative Research Design. An Interactive Approach. London: Sage.

Sobre la «Paradigm Wars» o Guerra de Paradigmas:

• Gage, N. (1989). The Paradigm Wars and Their Aftermath A “Historical” Sketch of Research on Teaching Since 1989. Educational Researcher, 18(7), 4–10. https://doi.org/10.3102/0013189X018007004

Referencias

Alcaraz, N. (2014). Un viejo trío de conceptos: aprendizaje, currículum y evaluación. Aula de encuentro, 16 (2), 55-86. Recuperado de http://revistaselectronicas.ujaen.es/index.php/ADE/article/view/1771

Bandura, A. (1989). Social cognitive theory. In R. Vasta (Ed.), Annals of child development. Vol. 6. Six theories of child development (pp. 1-60). Greenwich, CT: JAI Press.

Bhaskar, R. (1989). Reclaiming reality: A critical introduction to contemporary philosophy. London: Verso.

Bruner, J. (1990). Actos de significado. Más allá de la revolución cognitiva. Alianza Editorial: Madrid

Davidson, D. (1980). Essays on actions and events. Oxford, England: Oxford University Press.

Davidson, D. (1993). Thinking causes. In J. Heil & A. Mele (Eds.), Mental causation (pp. 3-17). Oxford, England: Clarendon Press.

De Cambra Bassols, J. (1982). La teoría crítica y el problema del método en las ciencias sociales. Reis, (17), 53-64. doi:10.2307/40182852

Denzin, N. K. (2009). The elephant in the living room: or extending the conversation about the politics of evidence. Qualitative Research, 9(2), 139–160. doi: https://doi.org/10.1177/1468794108098034

Denzin, N. K. (2010a). Moments, Mixed Methods, and Paradigm Dialogs. Qualitative Inquiry, 16(6), 419–427. doi: https://doi.org/10.1177/1077800410364608

Denzin, N. K. (2010b). ‘On Elephants and gold standards.’ Qualitative Research, 10(2), 269–272. doi: https://doi.org/10.1177/1468794109357367

Denzin, N. K. (2017). Critical Qualitative Inquiry. Qualitative Inquiry, 23(1), 8-16. doi: https://doi.org/10.1177/1077800416681864

Erickson, F. (1986). Qualitative methods in research on teaching. In M. C. Wittrock (Ed.), Handbook of research on teaching (3rd ed., pp. 119-161). New York: Macmillan.

Flyvbjerg, B. (2004). Cinco malentendidos acerca de la investigación mediante los estudios de caso. Reis: Revista española de investigaciones sociológicas. 4 (106), 33-62. Recuperado de:

House, E. (1991). Realism in research. Educational Researcher, 20(6), 2-9, 25.

Huberman, A. M., & Miles, M. B. (1985). Assessing local causality in qualitative research. In D. N. Berg and K. K. Smith (Eds.), Exploring clinical methods for social research (pp. 351-382). Beverly Hills, CA: Sage Publications.

Maxwell, J. A. (2010). Using Numbers in Qualitative Research. Qualitative Inquiry, 16(6), 475–482. https://doi.org/10.1177/1077800410364740

Maxwell, J. A. (2012). Qualitative Research Design. An Interactive Approach. London: Sage.

Maxwell, J. A. (2019a). The Value of Qualitative Inquiry for Public Policy. Qualitative Inquiry. https://doi.org/10.1177/1077800419857093

Maxwell, J. A. (2019b). Evidence for what? How mixed methods expands the evidence for causation in educational research. Qualitative inquiry. (En prensa)

McGinn, C. (1991). Conceptual causation: Some elementary reflections. Mind, 100(4), 573-586. Reprinted in C. McGinn, Knowledge and reality: Selected essays (pp. 152-167). Oxford, England: Clarendon Press, 1999.

Menzel, H. (1978). Meaning: Who needs it? In M. Brenner, P. Marsh, & M. Brenner (Eds.), The social contexts of method (pp. 140-171). New York: St. Martin’s Press.

Mohr, L B. (1996). The causes of human behavior: Implications for theory and method in the social sciences. Ann Arbor, MI; University of Michigan Press.

Pawson, R., & Tilley, N. (1997). Realistic evaluation. London: Sage.

Pérez Gómez, Á. (2000). La cultura escolar en la sociedad neolioberal. Madrid: Morata.

Putnam, H. (1999). The threefold cord: Mind, body, and world. New York: Columbia University Press.

Sayer, A. (1992). Method in social science: A realist approach, 2nd ed. London, England: Routledge.

Stockard, J., Wood, T. W., Coughlin, C., & Rasplica Khoury, C. (2018). The Effectiveness of Direct Instruction Curricula: A Meta-Analysis of a Half Century of Research. Review of Educational Research, 88(4), 479–507. https://doi.org/10.3102/0034654317751919

Vasen, F. (2012) ¿Qué política científica para las humanidades? Espacios de Crítica y Producción, 48, 47- 55.

Vasen, F. (2018). La ‘torre de marfil’ como apuesta segura: Políticas científicas y evaluación académica en México. Archivos Analíticos de Políticas Educativas, 26(96). doi: http://dx.doi.org/10.14507/epaa.v26.3594