Meetup Airflow chez Datadog Paris !
Diffusé par Meety, d'icon
Créez du lien entre hôtes, intervenant·es et participant·es
Join us for an evening dedicated to Apache Airflow, hosted at Datadog in Paris! Expect Airflow presentations, networking, food, drinks, prizes and of course awesome swag! We look forward to seeing you there.
Speaker: Vivien Saulais, Senior Sales Engineer, Astronomer
Abstract: Running AI workloads in production takes more than a model call. This talk shows how Apache Airflow's Common AI provider brings production-ready AI orchestration into your DAGs: single-turn LLM calls, multi-turn agents with tools, and building blocks for RAG, SQL generation, and file analysis. You'll also see how to productionize it all with durable execution, usage limits, and human-in-the-loop review.
Speaker(s): Hussein Awala, Senior Data Engineer and Airflow PMC member, Datadog | Safae Hariri, Software Engineer, Datadog
Chez Datadog, de nombreuses équipes déploient leurs DAGs Airflow dans plusieurs datacenters. Avec un déploiement classique, un nouveau commit peut modifier le code d'un DAG alors qu'un run est en cours. Les tâches d'un même run peuvent alors s'exécuter avec différentes versions du code, ce qui risque de faire échouer l'exécution si les changements sont incompatibles.
Airflow propose déjà un GitDagBundle versionné, mais son utilisation devient difficile lorsque chaque équipe dispose de son propre bundle dans chaque datacenter. Nous expliquerons pourquoi, puis nous présenterons un ObjectStoreDagBundle versionné, qui garantit qu'un run utilise la même version du code du début à la fin. Nous montrerons aussi comment nous utilisons ces versions pour lancer des DAGs à la demande depuis des branches non fusionnées et tester une nouvelle version d'un DAG en production avant de la publier. Enfin, nous aborderons les limites actuelles et les corrections en cours dans Airflow.
Speaker: Quentin Barigault, Senior Data Analyst, Le Figaro
Abstract: TBD