Sou Economista por formação e Data Scientist por profissão. Eu rodei meu primeiro script de Python no verão de 2016. O código batia em sites de companhias aéreas para pegar preços de passagens. Esses preços iriam depois ser usados para projetar inflação e outros índices econômicos. Não era nada de mais, mas conseguiu me liberar algumas horas quando eu trabalhava no Ministério da Economia. Não demorou até que eu usasse esse tempo livre para divergir para o admirável mundo novo de Big data e Machine Learning que, naquela época, ainda estava menos do que embrionário no Brasil.

Durante a minha graduação, eu cansei de ouvir como economista eram péssimos em prever… qualquer coisa. O R2 baixo dos modelos econométricos me deprimial. Por um tempo, pensei que tinha achado a cura para isso em Machine Learning. Eu mal podia esperar para chegar em casa e assistir dezenas de vídeos sobre Deep Learning e Boosted Trees.

Eventualmente, todo esse estudo gerou frutos e eu consegui um emprego numa fintech em ascensão. Finalmente eu podia dedicar todo o meu tempo em extrair até a última gota de performance preditiva dos meus modelos. Demorou um ano até eu perceber que algo estava estranho. Eu tinha modelos bem performáticos e, ainda assim, eles não eram tão úteis como eu havia imaginado. Tudo bem que eu conseguia prever o que aconteceria com um cliente ou quais seriam as métricas de marketing no próximo mês. Mas tudo isso era um tanto passivo. Eu não conseguia influenciar os resultados na direção que eu queria

Eventualmente, eu gostaria de dizer pelo destino, mas provavelmente por acaso, meu interesse em Econometria voltou. Uma webseries sobre Econometria e Machine Learning de Susan Athey e Guido Imbens me mostraram que o que eu queria demandaria mais do que boas previsões. Eu finalmente peguei o caminho trilhado por Joshua Angrist, Alberto Abadie, Scott Cunningham, Hal Varian, Victor Chernozhukov e muitos outros. Conforme eu progredia, boas previsões ficaram menos e menos interessantes. Acho que finalmente entendi o discreto charme da Regressão Linear.

Hoje, assim como aqueles que me ensinaram, eu também "passo meu dias (os bons, ao menos) alegremente perseguindo os resultados de regressão" e eu não trocaria isso por nada. Espero que esse blog explique o porquê.