¿Qué organizaciones benéficas usan ensayos controlados aleatorios para mostrar su efectividad?

Desafortunadamente, los ensayos de control aleatorio (ECA) rara vez son utilizados por organizaciones benéficas porque los donantes a menudo no tienen educación sobre la diferencia entre correlación y causalidad y no requieren evidencia real de que su dinero hará una diferencia antes de renunciar.

La forma más rápida de alentar a las organizaciones benéficas para que mejoren su efectividad es solo donar a organizaciones benéficas examinadas basadas en evidencia, consulte CharityScience.com y GivingWell.org (por ejemplo, http://www.givewell.org/research…).

Cuando los donantes los motivan a hacerlo, los ejecutivos de la organización benéfica se habrán educado sobre el propósito, el diseño y la forma de implementar un ECA.

1) El propósito de los ECA: la causalidad solo se puede determinar a partir de ensayos de control aleatorios. El beneficio para una organización sin fines de lucro es que, con (y solo con) un ensayo de control aleatorizado, pueden hacer afirmaciones científicamente válidas de que sus esfuerzos caritativos han causado el resultado que desean los donantes.

2) Los costos: si las organizaciones sin fines de lucro más pequeñas no pueden pagar un equipo de investigación de terceros, pueden contactar a su universidad local (o no local) para obtener asistencia económica, posiblemente incluso gratuita. La facultad de investigación siempre está buscando nuevos proyectos interesantes que puedan conducir a publicaciones. Para la asistencia integrada dedicada, los estudiantes de posgrado proporcionan mano de obra barata (desafortunadamente para ellos, pero se alegrarían por un poco más). Además, la facultad también puede estar dispuesta a ayudar a las organizaciones sin fines de lucro a solicitar subvenciones para financiar el proyecto. Finalmente, ¡algunos ECA no tienen que costar un centavo! Considere el siguiente ejemplo.

3) Los líderes sin fines de lucro pueden no implementar ECA porque no entienden cómo diseñarlos para poder abordar las preguntas que tienen. Considere el ejemplo dado por el encuestado anterior, Ejecutivo directo de una organización sin fines de lucro:

“Si proporciona comida o refugio a una persona sin hogar, un estudio longitudinal de los efectos de su comida caliente en esa persona durante un período de cinco años probablemente no sea tan relevante”.

Esto es incorrecto. Los ECA pueden ser de cualquier duración. Podría estudiar efectos inmediatos, efectos a corto plazo o efectos a largo plazo. Por ejemplo, en el período inmediatamente posterior a la comida, ¿los que comieron se comportaron de manera diferente a los que se quedaron sin comida? Por ejemplo, ¿fueron más productivos (por ejemplo, ¿ buscaron trabajo?) Por tener más energía, mostrar menos agresión que aquellos que tienen hambre (” hambre” ), ¿están menos agitados, etc.?

“Ahora, la investigación sobre si tener acceso regular a alimentos para alguien que no tiene hogar ayuda a sacarlos de la calle, tal vez sea un gran estudio, pero probablemente tenga una serie de requisitos (como controles de estudio) que plantearían problemas éticos … ¿y si la comida la despensa que inscribió a 25 personas en el estudio solo puede dar comida a 25 personas por día … “.

Digamos que una pequeña organización benéfica tiene $ 100 dólares hoy. Esto puede proporcionar una comida a 50 personas sin hogar. Desafortunadamente, hay 100 personas sin hogar que necesitan comida. Eso significa que tendrá 2 grupos, uno que obtiene comida y otro que no, en cualquier caso. Se podría decir “primero en llegar, primero en servir” y el Grupo 1 obtiene comida mientras que el Grupo 2 pasa hambre. Desafortunadamente, con este diseño, no puede hacer una conexión causal entre la comida y los resultados posteriores. Sin embargo, si quién obtiene la comida está determinado por un sorteo de lotería (selección aleatoria), tiene un ECA y, solo entonces, puede reclamar que las comidas que dio causaron los resultados que midió. ¿Y cuánto costó administrar esa lotería? ¿Quizás $ 5 para comprar un rollo de boletos de papel?

Si desea analizar este problema a largo plazo, puede hacer un seguimiento de quién obtiene los alimentos cada día, y luego tendrá una medida sólida de la cantidad de alimentos que cada persona obtiene en el transcurso de 5 años y las diferencias en sus resultados ( por ejemplo, visitas al hospital, muerte, empleo). Alternativamente, podría comparar dos tipos de intervenciones. Por ejemplo, podría realizar una lotería en la que el premio es un mes de boletos de comida (Grupo 1) o un mes de cupones de alimentos (Grupo 2). Es cierto que en este punto tendrá que pagar al personal para negociar con los hospitales, la morgue (lo siento), las agencias de empleo, para recopilar más datos y compartirlos o encontrar otros para rastrear o incentivar el autoinforme.

“De todos modos, supongo que en respuesta directa a su pregunta, solo unas pocas organizaciones benéficas podrían incluso usar ‘ensayos controlados aleatorios’ como método de evaluación para determinar el impacto social. De aquellos que podrían, el costo de tales ensayos y no realizado conjuntamente con un instituto de investigación podría resultar prohibitivo, y los ensayos en sí mismos pueden presentar problemas éticos “.

Espero que, en este punto, todos entiendan que esto es completamente falso. Los RTF son la ÚNICA manera de determinar si una acción caritativa causó o no un resultado particular y, con un poco de ingenio, se pueden hacer de forma gratuita o muy económica. Y cuando no pueden, hay abundante ayuda disponible para ayudar a atraer el dinero de la subvención.

Los ensayos controlados aleatorios tendrían beneficios aplicables limitados para la organización sin fines de lucro promedio. Se usan con frecuencia en ensayos médicos, donde básicamente tiene un grupo de control o asignaciones de grupos múltiples: piense en ensayos de medicamentos. Creo que también se han utilizado en algunos experimentos de comportamiento social, y pueden albergar algunos beneficios de algunos estudios a largo plazo.

El punto es que, en general, las circunstancias están bastante controladas, tiene grupos de exclusión, sus grupos de prueba y, por supuesto, sus criterios de prueba, que pueden o no pasar por alto una multitud de datos secundarios, dependiendo de una variedad de cosas.

Creo que Give Directly puede usar ensayos controlados aleatorios, para algún beneficio (aunque no se ha determinado cuánto beneficio) porque dan dinero directamente a los extremadamente pobres. Give Directly es en realidad un experimento a largo plazo. Los resultados sobre el impacto real de dar directamente todavía se están estudiando, aunque se han publicado investigaciones sobre los efectos inmediatos.

Mencioné que Give Directly es un experimento, no para despreciar lo que están haciendo, sino porque actualmente están probando su tesis de que ‘dar directamente a los más pobres no solo evitará los canales corruptos de terceros (casi un hecho en su metodología) , pero también permite a los destinatarios tomar sus propias decisiones que pueden transferirlos de la pobreza a largo plazo. Obviamente, el dinero ayuda directamente y la investigación sobre la suma global versus el estipendio mensual es bastante interesante de ver, pero los resultados de las donaciones a largo plazo aún no se han visto: ¿pueden los hijos de estas familias escapar de la pobreza en el futuro? ¿Dar dinero sin servicios secundarios proporciona más oportunidades / menos oportunidades / solo dinero?

Aún queda mucho por aprender, incluso si los ensayos controlados aleatorios son el mejor método de investigación para medir la efectividad de su programa. Además, Give Directly tiene acceso a recursos que muchas organizaciones sin fines de lucro carecerían, ya que están dando fondos directamente a individuos / familias que tienen suficientes participantes predefinidos para una variedad de estudios de investigación relacionados con la universidad. Es por eso que pueden hacer que terceros investigadores definan, creen la metodología y realicen investigaciones para ellos. Eso no es cierto para una organización sin fines de lucro promedio.

Si está proporcionando comida o refugio a una persona sin hogar, un estudio longitudinal de los efectos de su comida caliente en esa persona durante un período de cinco años probablemente no sea tan relevante. Ahora, la investigación sobre tener acceso regular a alimentos para alguien que no tiene hogar ayuda a sacarlos de la calle, tal vez un gran estudio, pero probablemente tiene una serie de requisitos (como controles de estudio) que plantearían problemas éticos. Si Paul, el indigente que cuelga de Fairfax y Main, viene a cenar y se inscribe en el estudio. Luego se le exigiría que viniera para 2-3 comidas todos los días durante un período de tiempo designado. ¿Lo haría él? ¿Qué pasa si comienza a ir a un proveedor de alimentos diferente o al refugio? ¿Qué pasa si la despensa de alimentos que inscribió a 25 personas en el estudio solo puede dar comida a 25 personas por día? ¿Eso significa que no puede servir a nadie más, porque Paul y otros 24 se inscribieron hace dos semanas, pero no han sido vistos desde el viernes pasado?

De todos modos, supongo que en respuesta directa a su pregunta, solo unas pocas organizaciones benéficas podrían incluso usar ‘ensayos controlados aleatorios’ como método de evaluación para determinar el impacto social. De aquellos que podrían, el costo de tales ensayos y no realizado conjuntamente con un instituto de investigación podría resultar prohibitivo, y los ensayos en sí mismos pueden presentar problemas éticos.

Hay una variedad de formas de medir el impacto y la efectividad, y los métodos y las maneras que se han utilizado en el pasado están cambiando rápidamente. Muchas organizaciones sin fines de lucro utilizan el análisis de impacto social o, al menos, se alejan de las métricas independientes: atendimos a 2.000 personas el año pasado.

Aquí hay algunos recursos para organizaciones sin fines de lucro que exploran RTC creíbles y de bajo costo:

Kit de herramientas Ricitos de oro: Ricitos de oro: M&E de ajuste correcto

La coalición para una política basada en evidencia proporciona una visión general de cómo ejecutar ECA de bajo costo:

http://Coalition4evidence.org/wp

La página de recursos de J-PAL está llena de material útil: Recursos de investigación

Ejecución de evaluaciones aleatorias: una guía práctica (libro de Rachel Glennerster, Kudzai Takavarasha)

More Interesting

¿Hay una buena manera de administrar miembros y donantes para mi organización estudiantil?

¿Cuáles son las implicaciones fiscales cuando se compra una organización sin fines de lucro y pierde su estado?

Cómo iniciar una organización que sea tanto una organización sin fines de lucro como una empresa

¿Cuáles son algunos conceptos erróneos comunes sobre las organizaciones sin fines de lucro?

¿Qué es la RSE?

¿Es posible, como empresa con fines de lucro, recaudar y redistribuir fondos a empresas sin fines de lucro sin tener que realizar los fondos iniciales como ingresos?

¿Cuáles son algunos buenos grupos de Facebook o LinkedIn para un redactor publicitario en las industrias de salud y bienestar, sin fines de lucro y servicios profesionales?

¿Cómo pagan las organizaciones sin fines de lucro a los empleados?

¿Cuáles son los mejores proveedores de servicios de recursos humanos / nómina para una organización sin fines de lucro en etapa inicial?

¿Cuál es la mejor manera de empoderar a los voluntarios?

¿Qué tan difícil es para una organización sin fines de lucro obtener donaciones de compañías? ¿Cómo obtienen las organizaciones sin fines de lucro la mayor parte de su dinero?

¿Puede un notario ayudar a iniciar una iglesia o una organización sin fines de lucro o necesitaría un abogado?

¿Cuáles son las formas más efectivas de recaudar fondos para organizaciones benéficas?

¿Puede una junta sin fines de lucro celebrar una reunión especial y no grabar actas?

¿Cómo justifica la Fundación Wikimedia no usar anuncios en Wikipedia para recaudar dinero para donaciones?