Jobs programmés (Airflow)¶
Pour planifier des traitements, Industrialiser → Jobs programmés définit vos pipelines en glisser-déposer : le DAG est généré et poussé vers Airflow, qui l'exécute. Un job enchaîne des tâches bash, python, SQL ou Spark.
Anatomie d'un job planifié¶
Un job est un DAG de tâches typées, généré puis synchronisé vers Airflow :
| Type de tâche | Exécute |
|---|---|
bash |
Une commande shell |
python |
Un script Python |
spark |
Une application Spark (sur Kubernetes) |
sql |
Une requête Trino |
- Dépendances — reliez les tâches pour définir l'ordre d'exécution (le DAG).
- Planification — manuelle ou cron (ex.
0 6 * * *= tous les jours à 6 h). - Variables & secrets — injectés depuis le magasin de ressources ; résolus à l'exécution avec l'autorité du groupe propriétaire.
Procédure¶
1. Nouveau job¶
Ajoutez des tâches, définissez leurs dépendances (le DAG) et la planification (manuelle ou cron).
2. Déployer¶
SAAM génère le DAG et le synchronise vers Airflow (git-sync). Le job apparaît avec son nombre de tâches et sa date de déploiement.
3. Suivre les exécutions¶
Runs affiche l'historique ; Resynchroniser (↻) force un rafraîchissement côté Airflow.
Vérifier¶
- Le job apparaît avec le bon nombre de tâches et sa planification.
- Un Run manuel réussit (état vert) — sinon consultez les logs de la tâche en échec.
- Pour un cron, la première exécution planifiée se déclenche à l'heure prévue.
Pièges fréquents des jobs planifiés
- Job en pause — un DAG fraîchement synchronisé peut arriver en pause côté Airflow ; activez-le.
- Intervalle de rafraîchissement — la synchro git-sync a une latence : utilisez Resynchroniser pour ne pas attendre.
- Collision de noms (SparkApplication) — deux jobs Spark portant le même nom de ressource peuvent entrer en conflit ; nommez distinctement.
Signature JWT Airflow
Si des tâches restent bloquées avec une erreur de type « Signature verification failed », il s'agit d'une désynchronisation des clés de signature JWT entre SAAM et Airflow — un correctif permanent existe ; contactez votre administrateur si le symptôme réapparaît.
Fin du parcours Data Engineer. Suivant : Data Analyst — Explorer →