ESTUDIOS EXPERIMENTALES CONTROLADOS EN PSICOLOGÍA

Los experimentos siguen una metodología sistemática para construir conocimiento, utilizando el método científico.  Los experimentos puros o de laboratorio permiten ejercer controles con el fin de determinar si un cambio en la variable independiente (VI), variable que se manipula, lleva a un efecto en la variable dependiente (VD), variable que se mide, mientras se asegura que otras variables no se cambien.  Si se controlan las variables que puedan afectar los hallazgos, se puede llegar a una conclusión causa-efecto, buscando una buena validez interna.  Hay que reconocer, sin embargo, que en estudios psicológicos que investigan seres humanos, es casi imposible alcanzar un control total de las variables extrañas.  Una limitación de los estudios experimentales es que en general no tienen una buena validez ecológica como resultado de los controles utilizados ya que las condiciones en las que se realiza el estudio tienden a ser artificiales.


Características de un experimento de laboratorio controlado:

  • Manipulación intencional de variables (independientes) – Al diseñar un experimento se define claramente una o más VIs, con dos o más condiciones que se manipulan de manera intencional.  En los estudios experimentales que realizan estudiantes preuniversitarios se recomienda que sólo se incluya una VI y dos condiciones.  Otras variables que puedan afectar los resultados se deben controlar como se menciona posteriormente.
  • Medición de variables (dependientes) – Se debe definir claramente una o más VDs y decidir cómo se van a medir.  Para los estudios experimentales que realizan estudiantes preuniversitarios se recomienda que sólo midan una VD.
  • Planteamiento de hipótesis con base en una pregunta y un objetivo de investigación, lo cual se explica más adelante.
  • Control de variables extrañas para una validez interna – Un buen estudio experimental debe planear el control de otras variables que puedan afectar la validez interna y por lo tanto la confiabilidad de los resultados; esto quiere decir que se debe buscar que la única variable que cambie sea la VI y que todas las demás se mantengan estables entre las condiciones experimentales y/o entre participantes.  El control de estas variables extrañas que puedan afectar los resultados favorece la validez interna de un estudio experimental.  De esta manera se puede tener confianza en que los resultados de la VD realmente se deben a la manipulación de la VI. Estas variables se deben identificar y analizar cómo podrían interferir.  Posteriormente hay que decidir cómo se podrían controlar.  Sin embargo, es importante reconocer que no se pueden controlar todas las variables que pueden interferir con la validez y confiabilidad de los resultados.

Algunas variables que se debe tratar de controlar son: Las variables situacionales como el ambiente en que se realiza el experimento (ej. temperatura y ruido), las características de los participantes como la edad y el nivel de inteligencia y las variables del experimentador como la personalidad, la presentación física, el comportamiento y el género

  • Dos o más condiciones y/o grupos de comparación – Esto se refiere a las condiciones de la VI que se manipula.
  • Participantes asignados al azar – Los participantes del estudio se deben asignar de manera aleatoria a las condiciones experimentales con el fin de minimizar la variabilidad en los participantes, aunque esto también se puede lograr con un diseño de muestras pareadas, el cual se explica más adelante. 
  • Replicabilidad – Un experimento se debe poder repetir para confirmar la validez y confiabilidad de los resultados.  Por este motivo el procedimiento se debe escribir de manera clara con el fin de poderlo repetir en condiciones idénticas.
  • Análisis estadístico – Después de recolectar los datos de un experimento, es importante que los resultados del estudio experimental sean analizados utilizando medidas estadísticas apropiadas, tanto de estadística descriptiva como de estadística inferencial.  Para más información por favor remitirse al documento que detalla aspectos del Análisis Estadístico.

Diferencia entre un problema, una pregunta de investigación, un objetivo y una hipótesis de investigación:

La pregunta de investigación, como su nombre lo dice, es una pregunta que busca responderse al finalizar el estudio y parte de un problema de investigación que se ha planteado. Dicha pregunta se formula con base a un área de conocimiento en particular.  Por ejemplo, ¿la activación de un esquema mediante la presentación de un contexto influye en la capacidad de la memoria?  Dicha pregunta debe llevar a la formulación de un objetivo del experimento que se planea realizar; el objetivo debe incluir tanto la VI como la VD y la relación entre ellas.  Por ejemplo, el objetivo consiste en investigar si la activación de un esquema mediante la presentación de un contexto afecta la capacidad de la memoria.

La hipótesis experimental consiste en una afirmación de lo que se espera confirmar como resultado del experimento; propone cómo la VI va a afectar la VD.  Esta hipótesis se debe plantear de tal manera que se pueda poner a prueba.  Por ejemplo, los participantes a quienes se les presenta un contexto antes de una narración ambigua podrán recuperar más ideas del texto que aquellos a quienes no se les presenta un contexto.  La hipótesis nula postula que no va a haber ninguna relación entre la VI y la VD, es decir que la VI no tendría ningún efecto sobre la VD.  Siguiendo el ejemplo anterior, la hipótesis nula sería así: los participantes a quienes se les presenta un contexto antes de una narración ambigua no evidenciarán diferencias en el número de ideas recuperadas del texto que aquellos a quienes no se les presenta un contexto.

Existen hipótesis de una cola e hipótesis de dos colas.  Las hipótesis de una cola predicen la dirección de la relación entre la VI y la VD.  Un ejemplo de hipótesis de una cola es la investigación que se formuló en el párrafo anterior.  Las hipótesis de dos colas sólo postulan que se va a encontrar una diferencia como resultado de las condiciones de la VI.  Por ejemplo, la hipótesis anterior sería de dos colas si se formulara de la siguiente forma: los participantes a quienes se les presenta un contexto antes de una narración ambigua van a recuperar un número de ideas significativamente diferente del texto que aquellos a quienes no se les presenta un contexto.

Es importante que las hipótesis que se postulen estén operacionalizadas; es decir que tanto la VI como la VD incluidas en las hipótesis estén definidas de manera operacional.  La operacionalización de las variables dentro de las hipótesis permitirá que quien las lea tenga una claridad sobre cuáles fueron las condiciones de la VI y cómo se va a medir la VD.  Al operacionalizar las variables, éstas se definen de manera clara, aunque esto implique que sólo se esté teniendo en cuenta un aspecto específico de cada variable.  Sin embargo, si no se hace una buena operacionalización, los resultados del experimento no van a ser confiables y no va a ser posible replicar el estudio para confirmar su validez y confiabilidad.

El siguiente video puede dar una mejor idea sobre el proceso que se debe llevar a cabo en a formulación de las hipótesis teniendo en cuenta la revisión de la literatura y el planteamiento del problema o pregunta de investigación, aunque los ejemplos que se dan no son de estudios experimentales en psicología.


Diseños experimentales:

La manera como se planea y ejecuta un experimento depende de su objetivo, llevando a la decisión de implementar el diseño experimental más apropiado. Por otro lado, la decisión del tipo de estadística descriptiva e inferencial que se decida utilizar depende no sólo del nivel de medición de los datos sino también del diseño experimental que se utilice en el estudio.  Se puede aplicar uno de los siguientes tres diseños experimentales:

  • Diseño de muestras independientes (entre grupos) – En este tipo de diseño los participantes se dividen en grupos, uno para cada condición de la VI para luego comparar entre los grupos el efecto en la VD.  Si el experimento plantea dos condiciones, un grupo puede ser el experimental y otro el de control; los grupos también pueden separarse en dos condiciones experimentales.  Este es un diseño simple pero no controla las diferencias individuales de los participantes y por lo tanto es posible que los grupos no se puedan comparar adecuadamente.  Para un mayor control, sin embargo, es pertinente asignar a los participantes a los grupos de manera aleatoria para lograr una mayor validez y confiabilidad de los resultados.  Igualmente, con el fin de garantizar una buena validez interna, en este diseño es importante controlar la mayor cantidad de variables extrañas posibles de tal manera que las condiciones sean iguales para todos los grupos a excepción de la VI. Este diseño permite controlar efectos de orden que puedan afectar el desempeño de los participantes, es decir que debido a que cada participante sólo participa en una condición de la VI, no va a haber un efecto como resultado de la práctica o de la fatiga.  Igualmente, evita afectar las expectativas de los participantes de tal manera que puedan predecir la hipótesis de investigación.
  • Diseño de medidas repetidas (intragrupo) – Este diseño se utiliza cuando se quieren comparar condiciones en vez de grupos de participantes.  En este tipo de diseño todos los participantes experimentan todas las condiciones de la VI y se compara el efecto de las condiciones en la VD.  Este tipo de diseño permite controlar la variabilidad de los participantes porque se comparan los participantes con ellos mismos, haciendo la comparación más confiable. Sin embargo, este diseño puede llevar a alteraciones por el orden en que se ejecutan las condiciones (efecto del orden), alterando los resultados.  Es posible que la primera condición afecte el desempeño en la segunda como resultado de la práctica o de la fatiga.  Por este motivo se recomienda que se utilicen contrapesos, es decir que se separen los participantes en grupos de manera aleatoria y se apliquen las condiciones en diferente orden de tal manera que la mitad de los participantes inicia con la condición 1 y la otra mitad con la condición 2.
  • Diseño de muestras pareadas – Este diseño es similar al de muestras independientes, pero en vez de hacer una asignación aleatoria a los grupos, se hace una evaluación previa de una o más variables importantes y se aparean de acuerdo con su desempeño en las variables que se han evaluado de tal manera que los grupos sean similares en dichas variables.  Por ejemplo, si el estudio mira el efecto en la memoria como resultado de la VI, se puede evaluar la capacidad de memoria y se forman grupos en que cada participante de un grupo se aparea con uno de otro grupo teniendo en cuenta su habilidad de memoria.  Este diseño también controla por la variabilidad de los participantes; sin embargo, el proceso de emparejar participantes es un proceso complejo que toma tiempo porque requiere de una evaluación previa a la asignación de los participantes a los grupos del experimento.

En el caso de los estudios experimentales que realizan los estudiantes preuniversitarios, es más común utilizar un diseño de muestras independientes o de medidas repetidas porque éstos simplifican el proceso de un experimento que por lo general se realiza dentro del mismo colegio donde estudian los alumnos.  El diseño para utilizar depende del experimento que sirva como base para ser replicado.  Por ejemplo, experimentos que tienen como base el estudio de Stroop (1935) generalmente utilizan medidas repetidas y otros como el de Brandsford y Johnson (1972) o el de Loftus y Palmer (1974) deben realizarse con un diseño de muestras independientes.


Muestreo:

Para realizar un experimento se escoge una muestra, es decir, a los participantes del estudio.  Esta muestra se selecciona dentro del grupo poblacional que se quiere investigar debido a que generalmente no es posible hacer un experimento con todos los miembros de la población objetivo del estudio.  Para asegurar que los participantes sean los adecuados se debe escoger un método de muestreo apropiado.  Un muestreo aleatorio que permita obtener una muestra grande que sea representativa de la población objetivo llevará a conclusiones más sólidas para la población que se está investigando.  

Sin embargo, los experimentos que realicen los estudiantes preuniversitarios generalmente se hacen con muestras relativamente pequeñas, buscando que representen la población objetivo del estudio, es decir que refleje sus características esenciales.  Para estos experimentos se recomienda que incluyan al menos 10 participantes por condición de la VI.  En estos casos se utilizan una de las siguientes técnicas de muestreo:

Muestreos probabilísticos:  Este tipo de muestreo permite llegar a una muestra que sea representativa de la población que se desea estudiar, lo cual permite inferir los resultados del estudio a la población. 

  • Muestreo aleatorio – Esta es la técnica ideal, aunque no siempre es posible por razones prácticas.  Los participantes se escogen al azar de la población siendo investigada, de manera que todos los miembros de la población objetivo del estudio tengan la misma posibilidad de ser parte de la muestra.  Así se favorece, tanto la representatividad de la población en el estudio, como la generalización de los resultados.  Sin embargo, esto toma tiempo y es difícil de lograr a menos que la población hacia la que se generalicen los resultados sea limitada como sería la de los estudiantes de un colegio; por ese motivo, la mayoría de los estudios experimentales que hacen los estudiantes preuniversitarios no la utilizan.
  • Muestreo estratificado – Los participantes se seleccionan cuidadosamente de manera que la proporción de los diferentes grupos demográficos sea igual a la proporción de la población objetivo de la investigación.  Al realizarla se definen las características de la población que el estudio quiera reflejar para luego estudiar la distribución de estas características en la población objetivo.  Posteriormente, se seleccionan participantes que muestren la misma proporción de dichas características.  Por ejemplo, se podría seleccionar una muestra teniendo en cuenta la proporción de estudiantes según el promedio académico dentro del colegio de tal manera que se incluyan participantes con promedios bajos, medios y altos en la misma proporción que los estudiantes del colegio.  Para hacer esto, sin embargo, se necesitaría tener la estadística de los promedios académicos dentro del colegio.  Este es un buen método para lograr una muestra representativa, pero es bastante complejo y por lo general no se utiliza por los estudiantes preuniversitarios que están haciendo su estudio experimental.  Este es el método de muestreo que con frecuencia se utiliza en las encuestas durante las campañas electorales.

Muestreos no-probabilísticos: Estos métodos de muestreo por lo general no llevan a una muestra viciada que sea representativa de la población y por lo tanto hace difícil que los datos se puedan inferir a la población.  Sin embargo, por lo general es más fácil de obtener, ahorrando tiempo y dinero.

  • Muestreo voluntario – Para esta técnica se publica un aviso buscando participantes para el estudio y los participantes se ofrecen voluntariamente para formar parte del experimento.  Esta es una manera fácil de conseguir una variedad de participantes interesados y motivados, pero tiene la desventaja de que no asegura que sea representativa de la población siendo investigada y por lo tanto puede llevar a tener una muestra viciada.  Los estudiantes preuniversitarios pueden utilizar esta técnica publicando carteles en el colegio o enviando correos electrónicos a todos los miembros de la población objetivo. 
  • Muestreo deliberado – Esta técnica se enfoca en un grupo específico de personas que evidencian las características de la población que se desea estudiar.  Aunque este método se utiliza con más frecuencia en estudios de investigación cualitativos, en estudios experimentales es posible que se decida escoger participantes que mejor describan la población objetivo que se quiere estudiar. Una manera de conseguir esta muestra deliberada, especialmente cuando se desea estudiar poblaciones de acceso limitado, es a través de la técnica de bola de nieve.  Mediante esta técnica se solicita a un participante que reúne las características necesarias para el estudio que pida a amigos con las mismas características que participen del estudio y contacten a los investigadores.   
  • Muestreo por conveniencia o por oportunidad – Esta técnica de muestreo se hace con participantes que estén disponibles en el momento de realizar el experimento.  Se solicita a miembros de la población siendo investigada su participación por tener fácil acceso a ellos.  Esta es una forma rápida, fácil y económica de conseguir participantes y se utiliza cuando se estudian fenómenos que se cree funcionan de manera similar en diferentes personas como son los procesos de memoria.  Sin embargo, tiene la misma desventaja que el muestreo voluntario, es decir, que por lo general no es representativa de la población objetivo y por lo tanto puede llevar a tener una muestra viciada.  Por su facilidad para lograr una muestra, con frecuencia los estudios experimentales que realizan los estudiantes preuniversitarios utilizan este método de muestreo.

Credibilidad y generalización:

La credibilidad de un estudio y la capacidad para generalizar los resultados determinan la calidad de los estudios de investigación, incluidos los experimentos.  En el caso de los experimentos, su calidad y su capacidad para reflejar el fenómeno estudiado y generalizar los resultados depende de tres tipos de validez:

  • Validez de constructo – Este tipo de validez depende de la calidad de la operacionalización de las variables.  El fenómeno que se estudia se define como un constructo que luego se debe expresar como un comportamiento observable, es decir operacionalizado.  Es esta operacionalización la que hace posible un estudio empírico.  Igualmente, al interpretar los resultados del estudio, se debe tener en cuenta el constructo y la manera como se ha definido. Al operacionalizar el constructo para el estudio, es importante que dicha operacionalización provea suficiente información del constructo que se está estudiando.  Muchos de los estudios que realizan estudiantes preuniversitarios se enfocan en la memoria, pero la memoria se puede observar de diferentes maneras y es importante definirla de manera clara con el fin de evidenciar el tipo de memoria evaluada y la forma como se midió su desempaño. 
  • Validez internaEste tipo de validez caracteriza la calidad del experimento.  Para que un experimento tenga una alta validez interna es necesario que las variables extrañas sean controladas de tal manera que haya seguridad de que el cambio en la VD se deba a la VI y no a otra variable extraña que no se haya controlado.  La validez interna se relaciona inversamente con los sesgos; si los sesgos se limitan y son pocos, va a haber una mayor validez interna.  Pero si hay muchos sesgos, la validez interna será baja.

Hay algunos sesgos que pueden afectar la validez interna y por lo tanto tener una influencia negativa en el establecimiento de la relación causa-efecto, distorsionando los hallazgos.  A continuación, se incluyen algunos de estos sesgos, la mayoría de los cuales pueden afectar estar relacionados con los estudios experimentales realizados por estudiantes preuniversitarios:

  1. Sesgo de muestreo – Esto ocurre cuando la selección de la muestra no representa la población objetivo y cuando la asignación a las condiciones experimentales lleva a conformar grupos que no presentan características similares.  Esto lleva a una validez poblacional baja.
  2. Historia – Esto ocurre cuando las experiencias externas entre los grupos son diferentes antes o durante la realización del experimento y por lo tanto se evidencian variables extrañas como puede ser el ruido ambiental.
  3. Madurez – Al realizar un experimento que se realice de manera longitudinal los participantes pasan por un desarrollo natural y los hallazgos podrían ser el resultado de ese desarrollo y no de las condiciones experimentales.  Por este motivo si se realiza un experimento en el que se hace una intervención, es necesario incluir un grupo control al que no se le hace el tratamiento.
  4. Efecto de la prueba – Esto ocurre cuando en un diseño de medidas repetidas se hace la misma prueba en dos condiciones diferentes y hay un efecto de aprendizaje, en cuyo caso es mejor usar muestras independientes.  Adicionalmente, en medidas repetidas, aunque las pruebas sean diferentes, el efecto del orden puede afectar el desempeño en las pruebas se puede afectar y por este motivo se recomienda utilizar contrapesos, como se explicó anteriormente en la descripción de este tipo de diseño experimental.
  5. Investigador o evaluador – Esto ocurre cuando el investigador que aplica las pruebas es cambiado y la valoración la hacen diferentes personas.  Por otro lado, un mismo experimentador puede hacer las evaluaciones en diferentes horas del día, de manera que su nivel de atención sea diferente por diversos motivos.  Por esta razón es importante que las condiciones del experimento estén estandarizadas, teniendo mayor control de posibles variables extrañas en este aspecto.
  6. Mortalidad experimental – Esto ocurre cuando algunos participantes se retiran del estudio o decidan que sus datos no hagan parte del experimento, sin que estos retiros sean aleatorios.  Esto ocurre con mayor frecuencia en experimentos en los cuales hay un seguimiento para una evaluación posterior como son los que comparan métodos de intervención psicológica.  Por ejemplo, pueden retirarse más participantes de un grupo que del otro.  Para evitar este fenómeno se debe buscar que las condiciones experimentales no lleven a que los participantes se quieran retirar.
  7. Regresión a la media – Cuando se hace una prueba inicial y una posterior, los resultados extremos, ya sean muy bajos o altos, tienden a acercarse a la media.  Este es una tendencia estadística que ocurre con mucha frecuencia.  Para prevenir que este fenómeno afecte los hallazgos, es importante que al inicio del estudio el grupo control tenga un promedio igual en la prueba que se está utilizando para medir la VD.
  8. Sesgo del participante o características de la demanda – Un experimento psicológico implica la interacción entre los investigadores y los participantes.  En ocasiones los participantes cambian su comportamiento cuando perciben el objetivo de la investigación de tal manera que se comportan como creen que el experimentador quiere que lo hagan con el fin de agradar.  También, pueden tratar de molestar a los investigadores dando respuestas incorrectas, lo que se ha denominado en inglés “screw you effect.”   Adicionalmente, a veces los participantes pueden actuar de manera no natural debido al nerviosismo o ansiedad a la evaluación.  Por este motivo a veces hay que usar algo de engaño que debe ser justificado y usando un estudio ciego sencillo en que los participantes no saben en qué condición del estudio están involucrados.  Esto puede ocurrir con mayor frecuencia en estudios que utilizan un diseño de medidas repetidas. 
  9. Sesgo del experimentador – Esto ocurre cuando el experimentador ejerce una influencia en los resultados del estudio distorsionando los resultados, aunque esta influencia no sea consciente.  Esto puede ocurrir como resultado de las siguientes variables: Sus características físicas como la edad, el género o la raza y otros aspectos como el acento y el tono de la voz.  También puede ocurrir que inconscientemente existan sesgos por parte del experimentador al interpretar los datos de tal manera que encuentre lo que espera.  Por este motivo se recomienda utilizar estudios doble-ciego, en los cuales ni los participantes ni experimentador que los evalúa tienen conocimiento de las condiciones experimentales.  De esta manera se previene que el investigador de claves inconscientes sobre la condición experimental en que se encuentran y así poder reducir las características de la demanda.  Sin embargo, esto es muy difícil hacer en experimentos que realizan estudiantes preuniversitarios.    
  • Validez externa – Este tipo de validez se relaciona con la capacidad de generalizar los hallazgos de un experimento a la población objetivo y transferirlos a nuevas situaciones.  Hay dos tipos de validez interna: Validez poblacional y validez ecológica.
    • Validez poblacional – Se refiere a la posibilidad de generalizar los hallazgos de un experimento a una población objetivo. Para que la validez poblacional sea alta, es necesario que la muestra represente la población objetivo a la cual se desea generalizar los resultados.  Para alcanzar este fin, se requiere que la técnica de muestreo sea apropiada.
    • Validez ecológica – Este tipo de validez se refiere a la posibilidad de generalizar los resultados a otras situaciones diferentes a las del experimento.  Un estudio experimental realizado en condiciones artificiales generalmente no refleja la vida diaria de los participantes, llevando a una validez ecológica limitada.

Hay una relación inversa entre la validez interna y la validez ecológica; para evitar sesgos y el efecto de las variables extrañas, se estandarizan los procedimientos.  Mientras se implemente más estandarización, las condiciones serán más artificiales, lo cual hace que se reduzca la validez ecológica.  Por otro lado, al desear incrementar la validez ecológica, se permite que los participantes se comporten con más libertad y en los ambientes que ellos escojan, pero esto significa que se pierde el control sobre las variables extrañas y por lo tanto se disminuye la validez interna del estudio.


Ventajas y desventajas de los estudios experimentales de laboratorio:

Los experimentos de laboratorio se realizan en un ambiente controlado que utiliza procedimientos estandarizados y asignando los participantes de manera aleatoria a las condiciones experimentales.  Este tipo de investigación controlada tiene varias ventajas:

  1. Hay un alto nivel de objetividad como resultado del control de variables extrañas y con operacionalización de las VI y VD.
  2. Permite la replicabilidad con el fin de confirmar los resultados debido a que su procedimiento es estandarizado.
  3. Se pueden hacer conclusiones causa-efecto debido al control de variables extrañas de tal manera que se puede concluir que la manipulación de la VI causa el efecto en la VD.

Por otro lado, este tipo de estudio tiene las siguientes limitaciones:

  1. El sesgo del investigador puede afectar los resultados e influenciar a los participantes.
  2. Hay algunos problemas con la operacionalización de las VI y VD con el fin de ganar precisión, lo cual lleva a que las mediciones sean muy específicas y no se relacionen completamente con el constructo que se está estudiando.
  3. La validez ecológica es pobre por el gran nivel de control, lo cual hace que las situaciones en las cuales se llevan a cabo los experimentos sean artificiales. Por este motivo se hace difícil generalizar los resultados del estudio a otras situaciones.  Adicionalmente, en situaciones artificiales de laboratorio es posible que los participantes no actúen con normalidad.
  4. Existen características de la demanda de tal manera que los participantes cambian su comportamiento, posiblemente de manera inconsciente.
  5. Los experimentos tienden a ser reduccionistas debido a los controles que se incluyen para lograr una buena validez interna.  Las conclusiones de un experimento llevan a establecer que un comportamiento se debe a un número reducido de variables (una en el caso de los estudios experimentales que realizan los estudiantes preuniversitarios) mientras que el comportamiento en la vida real es holístico.  Por lo tanto, pueden ser limitados para explicar el comportamiento humano.

Bibliografía:

Bryan, C., Giddens, P. & Halkiopoulos, C. (2018). Psychology for the IB Diploma (2nd Edition).  London: Pearson Education.

Hernández-Sampieri, R. y Mendoza-Torres, S.P. (2018) Metodología de la investigación: Las rutas cuantitativa, cualitativa y mixta. México: McGraw Hill.

Lawton, J.M. & Willard, E. (2018) Psychology for the IB Diploma (2nd Edition).  London: Hodder Education.

Popov, A., Parker, L. & Seath, D. (2017) IB Psychology course companion (2nd Edition). Oxford: Oxford University Press.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *