Connexions & secrets¶
Parcours Data Engineer — Alimenter et transformer la donnée. Construisez des pipelines Source → Transform → Sink en glisser-déposer, compilés en Spark (batch ou streaming), et planifiez-les vers Airflow — sans quitter SAAM.
Ce dont vous disposez
Un magasin de connexions & secrets scopé par groupe, un designer de flux graphique, et un ordonnanceur qui génère automatiquement les DAGs Airflow.
Avant de brancher une source, déclarez ses accès dans Industrialiser → Connexions & secrets. Chaque ressource (connexion, variable ou secret) est privée, partagée à un groupe ou publique, et n'est résolue à l'exécution que pour qui y a droit.
Types de ressources¶
| Type | Usage | Exemple |
|---|---|---|
| Connexion | Point d'accès structuré | JDBC PostgreSQL, S3/MinIO, Kafka |
| Variable | Valeur de configuration réutilisable | kafka_bootstrap |
| Secret | Valeur chiffrée et masquée | minio_secret_key |
Procédure¶
1. Nouvelle ressource¶
Choisissez le type, nommez-la (ce nom servira de référence dans les flux/jobs) et définissez sa visibilité :
- Privé — vous seul ;
- Groupe — les membres d'un groupe donné ;
- Public — tout le cluster.
2. Marquer les secrets¶
Un champ marqué secret est chiffré et masqué ; il ne s'injecte que dans l'environnement d'exécution autorisé. Il n'apparaît jamais en clair dans l'UI ni dans le code généré.
3. Référencer dans un flux ou un job¶
Les tâches Spark et les DAGs Airflow consomment ces ressources par nom :
{{ var.value.minio_secret_key }}
Bonnes pratiques¶
Nommer par convention
Préfixez par système : pg_transactions, minio_datalake, kafka_bootstrap. Vous retrouverez plus vite la bonne ressource dans un flux à plusieurs nœuds.
Jamais de secret en clair dans un flux
Ne collez pas un mot de passe dans un champ de nœud : créez un secret et référencez-le. Un job planifié tourne avec l'autorité du groupe propriétaire de la ressource — c'est ce qui permet de ne jamais exposer les identifiants.
Suivant : Data Flows — pipelines visuels →