Data Engineering moderne2 novembre 2026

Airflow : orchestrer ses pipelines sans figer l’architecture data

Derrière un empilement d’outils data moderne, l’orchestrateur devient souvent le point de tension. Retour sur l’architecture d’Airflow et ce qu’elle implique pour les équipes qui industrialisent leurs pipelines.

Quand une stack data moderne se met en place, l’attention se porte souvent sur les moteurs de calcul — Snowflake, BigQuery, Databricks — ou sur le modèle dbt. L’orchestrateur, lui, reste en retrait… jusqu’au jour où un pipeline silencieusement défaillant, une dépendance croisée ou une question de sécurité impose de comprendre ce qui se passe réellement sous le capot. Pour un CTO ou un responsable d’équipe data, c’est rarement le choix initial d’Airflow qui pose problème, mais la manière dont son architecture est déployée et gouvernée.

La documentation officielle d’Apache Airflow fournit un cadre utile pour cette réflexion. Elle décrit une plateforme qui permet de construire et d’exécuter des workflows sous forme de DAG (Directed Acyclic Graph), où chaque tâche représente une unité de travail : aller chercher des données, lancer une analyse, déclencher un système externe. Airflow reste « agnostique à ce que vous exécutez », précise la documentation d’architecture. Il orchestre aussi bien un opérateur Python qu’une commande shell, ce qui explique sa place centrale dans des environnements hétérogènes.

Mais cette souplesse a un coût architectural. Une installation minimale d’Airflow repose sur plusieurs composants requis : un scheduler qui déclenche les workflows planifiés et soumet les tâches à l’exécuteur, un Dag processor qui analyse les fichiers de DAG et les sérialise dans la base de métadonnées, un Dag bundle qui contient les versions des DAG, un API Server qui expose l’interface et la REST API, et une base de métadonnées (généralement PostgreSQL ou MySQL). Dans un déploiement simple, tout tourne sur une seule machine. Dans un environnement distribué, ces composants peuvent être répartis sur plusieurs machines avec des périmètres de sécurité distincts.

Ce que cette séparation change pour la sécurité

Le point le plus structurant pour un décisionnaire technique n’est pas le nombre de composants, mais la logique d’isolation qu’ils permettent. Dans un déploiement distribué, l’API Server n’a pas accès directement aux Dag bundles : le code affiché dans l’onglet Code de l’interface est lu depuis la base de métadonnées. L’API Server ne peut pas exécuter de code soumis par l’auteur du DAG. Il ne peut exécuter que du code installé comme paquet ou plugin par le Deployment Manager.

Cette distinction entre rôles — Deployment Manager, Dag author, Operations User — a des implications concrètes. Celui qui écrit les DAG n’est pas forcément celui qui gère l’infrastructure, et celui qui surveille l’exécution ne doit pas pouvoir modifier le code. La documentation officielle insiste : dans un déploiement distribué, il est important de considérer les aspects de sécurité des composants. Le Dag processor et les workers ont besoin d’accéder aux Dag bundles ; le scheduler et le triggerer lisent la base de métadonnées et n’ont pas besoin d’un accès direct aux bundles.

Pour une équipe qui industrialise des pipelines autour de dbt ou de contrats de données, cette séparation n’est pas théorique. Elle conditionne la manière dont on répond à des questions pratiques : qui peut modifier un pipeline critique en production ? Comment garantir que le code exécuté sur un worker correspond bien à la version revue en amont ? Comment éviter qu’une dépendance compromise dans un DAG n’ait accès à la base de métadonnées entière ?

Des implications pour l’exécution des tâches

Une autre décision d’architecture, souvent sous-estimée, concerne l’exécution elle-même. Un worker ne lance jamais le code d’une tâche dans son propre processus. Pour chaque instance de tâche, il démarre un nouveau sous-processus, le supervise, puis le termine. Que la tâche soit écrite en Python, en Java ou en Go, chaque instance concurrente ajoute un coût en sous-processus et en mémoire. Dimensionner un worker revient donc à prévoir le nombre maximal de tâches exécutées simultanément, pas seulement la charge du processus worker lui-même.

Ce comportement a des conséquences sur les choix opérationnels. Si une équipe exécute des commandes dbt sur des workers Airflow avec le CeleryExecutor ou le KubernetesExecutor, la question de la concurrence se pose différemment que sur un simple serveur local. La documentation précise d’ailleurs que rien n’est mutualisé ni réutilisé entre les instances de tâches : N tâches concurrentes coûtent N sous-processus, plus ce que le code de la tâche lance lui-même.

C’est aussi un argument pour réfléchir à la granularité des DAG. Multiplier les petites tâches n’est pas neutre en ressources. À l’inverse, regrouper trop de logique dans un seul opérateur réduit la lisibilité du graphe et complique la reprise en cas d’échec. Le bon équilibre dépend de la politique de surveillance des données, de la fréquence des exécutions et des exigences de traçabilité.

Ce qu’il faut en retenir pour une stack data moderne

Airflow n’impose pas un modèle unique. La documentation décrit un continuum, depuis le déploiement basique sur une seule machine jusqu’à une architecture distribuée avec des rôles séparés et des périmètres de sécurité isolés. Ce que l’outil ne règle pas, c’est la gouvernance autour de ce continuum.

Pour une entreprise qui assemble Snowflake ou BigQuery, dbt et Airflow, les choix structurants se situent à trois niveaux : la répartition des rôles entre ceux qui déploient, ceux qui écrivent et ceux qui opèrent ; la politique de versionnement des DAG, notamment via des backends de bundles comme Git pour éviter les incohérences de version entre le Dag processor et les workers ; et le dimensionnement des workers en fonction du pic de concurrence réel.

Ces sujets ne sont pas des détails d’implémentation. Ils déterminent si l’orchestrateur reste un outil de confiance ou devient un point aveugle de la chaîne de données. Pour approfondir la manière dont ces choix s’intègrent dans une plateforme data plus large, vous pouvez consulter nos services d’accompagnement ou nous contacter.

Sources

Partager cet article

Lire aussi