¡Muchísimas gracias por el aporte, Ubaldo! Me viene en un momento muy útil: con la IA estoy lanzando pruebas y cambios cada dos por tres y, con esa facilidad para pasar de la idea a la ejecución, a veces se me olvida parar a pensar cómo voy a medir si han funcionado.
Simplemente lanzo, veo que los resultados mejoran o empeoran y luego no tengo claro cuánto puedo atribuir a los cambios realizados. Siempre me queda la pregunta: ¿qué habría pasado sin ese cambio?
Con ese runrún encontré un post de Pelayo sobre CausalImpact y he empezado a incorporarlo a mis análisis
Aprovechando que has sacado el tema :) ahora que he empezado a usar CausalImpact en mis análisis, al leerte me ha surgido una duda, desde mi conocimiento todavía limitado de esta parte estadística: ¿cómo se relaciona CausalImpact con el enfoque que utilizas? Entiendo que ambos permiten estimar qué habría pasado sin el cambio, pero no termino de entender en qué se diferencian ni si tiene sentido compararlos directamente.
CausalImpact es solo una librería que, de hecho, podrás ver en el diagrama del sistema agéntico, está integrado en ITSAgentic y es una librería utilizable si la serie temporal es adecuada.
Es decir, no se diferencian: ITSAgentic usa CausalImpact (que al final es BSTS) entre otros modelos como OLS o GLM-NB. ¿Por qué hay distintos modelos? Porque cada modelo dibujará un contrafactual distinto y tu diagnóstico será tan bueno como el contrafactual que saques.
¿Cuál es el criterio para elegir entre uno y otro? Ahí salen las herramientas deterministas: mediciom de autocorrelacion, estacionalidad, tipo del dato, varianza, structural breaks, tamaño de la muestra... todo eso debería determinar que modelo usar. Si siempre usas el mismo modelo estás resolviendo todos los problemas con el mismo destornillador.
¡Muchísimas gracias por el aporte, Ubaldo! Me viene en un momento muy útil: con la IA estoy lanzando pruebas y cambios cada dos por tres y, con esa facilidad para pasar de la idea a la ejecución, a veces se me olvida parar a pensar cómo voy a medir si han funcionado.
Simplemente lanzo, veo que los resultados mejoran o empeoran y luego no tengo claro cuánto puedo atribuir a los cambios realizados. Siempre me queda la pregunta: ¿qué habría pasado sin ese cambio?
Con ese runrún encontré un post de Pelayo sobre CausalImpact y he empezado a incorporarlo a mis análisis
Aprovechando que has sacado el tema :) ahora que he empezado a usar CausalImpact en mis análisis, al leerte me ha surgido una duda, desde mi conocimiento todavía limitado de esta parte estadística: ¿cómo se relaciona CausalImpact con el enfoque que utilizas? Entiendo que ambos permiten estimar qué habría pasado sin el cambio, pero no termino de entender en qué se diferencian ni si tiene sentido compararlos directamente.
Hola,
CausalImpact es solo una librería que, de hecho, podrás ver en el diagrama del sistema agéntico, está integrado en ITSAgentic y es una librería utilizable si la serie temporal es adecuada.
Es decir, no se diferencian: ITSAgentic usa CausalImpact (que al final es BSTS) entre otros modelos como OLS o GLM-NB. ¿Por qué hay distintos modelos? Porque cada modelo dibujará un contrafactual distinto y tu diagnóstico será tan bueno como el contrafactual que saques.
¿Cuál es el criterio para elegir entre uno y otro? Ahí salen las herramientas deterministas: mediciom de autocorrelacion, estacionalidad, tipo del dato, varianza, structural breaks, tamaño de la muestra... todo eso debería determinar que modelo usar. Si siempre usas el mismo modelo estás resolviendo todos los problemas con el mismo destornillador.
Di una charla al respecto en abril y aquí compartí la presentacion: https://github.com/UbaldoHervas/Multi-Agentic-System-for-Causal-Inference
Ah ok, entiendo. Me viene muy bien la explicación para revisar cómo lo estoy aplicando.Voy a revisar la presentación y seguir rascando.
Cualquier cosa, silba