Mesurer et grandir (SAFe)
Auteur : © 2010-2023 Scaled Agile, Inc.
Source : SAFe Measure and Grow
Date : 16/05/2023 (dernière mise à jour)
Traducteur : Fabrice Aimetti
Date : 19/08/2023
Traduction :
- Jeff Bezos, fondateur d'Amazon [1]
Sommaire
Mesurer et grandir
Measure and Grow est une approche utilisée par les entreprises SAFe pour évaluer les progrès réalisés en matière d'agilité métier et déterminer les actions d'amélioration.
L'Agilité métier définit de nouveaux standards de performance pour les organisations, exigeant des réponses rapides et efficaces aux opportunités métiers qui émergent. Cependant, pour améliorer la rapidité et l'agilité, les dirigeants, les équipes et les parties prenantes ont besoin d'un moyen de mesurer de manière fiable l'état actuel et d'identifier ce qu'ils peuvent faire pour s'améliorer. Par conséquent, le choix de ce qu'il faut mesurer et de la manière de le faire est un facteur essentiel de l'amélioration continue des performances de l'entreprise. Cet article décrit une approche globale qui peut être utilisée pour mesurer la performance d'un portefeuille SAFe ou de l'un de ses éléments.
Description détaillée
Lorsqu'il s'agit de mesures, la première chose à faire, et la plus importante, est de comprendre ce qu'il faut mesurer. L'objectif de l'agilité métier est clair : répondre rapidement aux changements du marché et aux opportunités émergentes grâce à des solutions métier innovantes et digitales. La chaîne de valeur de l'agilité métier, illustrée à la figure 1, visualise les étapes nécessaires pour atteindre cet objectif. Les trois domaines de mesure de SAFe, Outcomes, Flow et Competency, appuient ce processus et fournissent un modèle complet mais simple pour mesurer les progrès accomplis dans la réalisation de cet objectif. Les informations fournies par ces trois domaines de mesure permettent de prendre de meilleures décisions et d'identifier les opportunités d'amélioration.
Les trois domaines de mesure sont définis comme suit :
- Résultats : Nos solutions répondent-elles aux besoins de nos clients et de l'entreprise ?
- Flux : Quelle est l'efficacité de l'organisation à fournir de la valeur au client ?
- Compétence : Dans quelle mesure l'organisation maîtrise-t-elle les pratiques qui favorisent l'agilité métier ?
En outre, ces trois domaines de mesure sont applicables à tous les niveaux d'une organisation. Comme l'illustre la figure 2, ils peuvent être utilisés pour mesurer la performance d'un portefeuille SAFe, d'un Solution Train, d'un Agile Release Train , ou même d'une simple Équipe Agile.
Chaque domaine de mesure contient une série de mesures spécifiques, qui sont décrites dans les paragraphes ci-dessous.
Mesurer les résultats
Les résultats permettent de déterminer si les efforts déployés par une organisation responsable du développement produisent les avantages métiers souhaités. Les résultats peuvent mesurer des enjeux externes tels que l'augmentation du chiffre d'affaires, la fidélisation de la clientèle, etc., ainsi que des considérations internes telles que l'engagement des employés.
KPI et OKR
Un portefeuille SAFe mesure les résultats à l'aide d'indicateurs clés de performance (KPI) et de thèmes stratégiques. Chaque KPI est une mesure spécifique et quantifiable des résultats de l'entreprise pour les flux de valeur de ce portefeuille. Les indicateurs de résultats de cette nature sont généralement spécifiques au contexte et dépendent fortement de l'organisation, du modèle économique et de la nature des solutions fournies au client. Par exemple, le taux de conversion des clients peut être un indicateur significatif pour une entreprise d'e-commerce, mais serait inapplicable dans le cas d'un fabricant de puces électroniques. Certains indicateurs, cependant, peuvent être appliqués avec succès dans tous les contextes, comme le Net Promoter Score, par exemple.
L'article sur les indicateurs de performance de la chaîne de valeur (Value Stream KPIs) fournit des conseils pour définir les indicateurs de performance appropriés pour le portefeuille SAFe concerné. Des exemples de KPIs sont présentés dans la Figure 3.
Bien entendu, ces KPI sont en partie influencés par les thèmes stratégiques du portefeuille, puisque la stratégie aide à déterminer les objectifs à atteindre. Toutefois, alors que les indicateurs clés de performance représentent des mesures permanentes de la "santé" qui peuvent être utilisées pour mesurer les performances globales de l'entreprise, les thèmes stratégiques, formulés sous forme d'OKR, définissent les résultats spécifiques que le portefeuille s'efforce d'atteindre pour atteindre le futur succès. Par conséquent, les résultats clés associés à ces objectifs déterminent un autre ensemble d'indicateurs de résultats critiques qui sont généralement mesurés tous les trimestres, comme le montre la figure 4 ci-dessous.
Dans un portefeuille important, il peut être utile de créer des OKR spécifiques pour chaque flux de valeur qui s'alignent sur les thèmes stratégiques du portefeuille. En outre, pour les grandes chaînes de valeur qui contiennent plusieurs ART, ce processus peut être répété pour créer un ensemble d'OKR qui définissent les objectifs pour chaque ART spécifique. Cette approche permet également aux personnes à chaque niveau de l'organisation de voir l'impact direct de leur travail par rapport aux résultats clés des OKR sur lesquels ils s'alignent. (Ce cas d'utilisation, et d'autres, sont décrits plus en détail dans l'article sur les OKRs).
Engagement des employés
L'engagement des employés est un autre indicateur important des résultats internes. L'engagement des employés mesure la mesure dans laquelle les individus se sentent motivés et activement engagés dans la réalisation des objectifs et des valeurs de l'organisation. Des niveaux élevés d'engagement des employés se traduisent par des niveaux plus élevés de productivité, d'efficacité et d'innovation. En revanche, un niveau d'engagement plus faible peut entraîner une baisse de la motivation, une diminution de la qualité du travail et une augmentation du taux de rotation du personnel.
Il existe différentes méthodes pour mesurer l'engagement des salariés, et chaque organisation doit déterminer celle qui lui convient. Certaines organisations utilisent une enquête annuelle sur l'engagement des salariés. D'autres utilisent le Net Promoter Score des employés (eNPS), qui pose la question suivante : "Quelle est la probabilité que vous recommandiez votre employeur à d'autres personnes en tant que lieu de travail ?" et qui est mesuré sur une échelle de 10 points. Quelle que soit l'approche choisie, les données qui en résultent doivent servir de base aux initiatives visant à améliorer les niveaux d'engagement des employés.
Objectifs d'itération et objectifs de PI
Les indicateurs locaux tels que les objectifs d'itération et les objectifs de PI sont utilisés efficacement par les équipes et les trains pour déterminer s'ils atteignent les résultats escomptés. Ils garantissent que leurs efforts sont axés sur les besoins du client et de l'entreprise, fournissent un feedback sur les progrès qu'ils réalisent pour atteindre les résultats de l'entreprise, éclairent le processus d'établissement des priorités et facilitent l'acceptation du travail.
La mise en place de mesures efficaces des résultats nécessite une collaboration étroite entre les trains, les flux de valeur et les portefeuilles avec leurs partenaires métiers, qui sont les mieux à même de définir les bénéfices métiers résultant de l'investissement dans les solutions.
Mesurer le flux
Les mesures de flux sont utilisées pour déterminer l'efficacité d'une organisation à fournir de la valeur. Le Flow Framework créé par Mik Kersten [2] fournit cinq mesures qui peuvent être utilisées pour mesurer les différents aspects du flux. SAFe étant un système basé sur le flux, chaque mesure est directement applicable. De plus, SAFe définit la prédictibilité des flux pour mesurer comment les Équipes, les ARTs et les Solution Trains livrent de la valeur métier par rapport à leurs objectifs planifiés. Ces six indicateurs de flux sont présentés dans la Figure 5 et décrits plus loin.
Distribution du flux
Qu'est-ce que cela mesure ? La distribution du flux mesure la quantité de chaque type de travail dans le système au fil du temps. Il peut s'agir de l'équilibre entre les nouvelles Features métiers (Stories, Capabilities, ou Epics) par rapport au travail d'Enabler, ainsi que du travail de résolution des défauts et d'atténuation des risques. Par ailleurs, une vue utile de la distribution des flux du portefeuille pourrait illustrer la distribution de l'allocation des financements à travers les horizons d'investissement.
Comment cela se mesure-t-il ? Une comparaison simple consiste à compter le nombre de chaque type d'élément de travail à un moment donné. Une mesure plus précise pourrait être la taille de chaque élément de travail. Les équipes agiles peuvent mesurer la distribution des flux par itération, mais les limites du PI sont généralement utilisées pour calculer cette distribution au niveau ART et au-delà, comme le montre la figure 6.
Pourquoi est-ce important? Pour équilibrer les vélocités actuelle et future, il est important de pouvoir suivre la quantité de travail de chaque type qui circule dans le système. Si l'on se concentre trop sur les nouvelles fonctionnalités, il restera peu de capacité pour le travail d'architecture/infrastructure qui s'attaque aux différentes formes de dette technique et permet d'obtenir une valeur future. À l'inverse, un investissement trop important dans la dette technique pourrait laisser une capacité insuffisante pour fournir une valeur nouvelle et actuelle aux clients. Des allocations de capacité cibles pour chaque type de travail peuvent alors être déterminées pour aider à équilibrer ces aspects. Pour revenir à l'exemple du portefeuille, le suivi de la répartition du financement entre les horizons d'investissement permet de garantir un portefeuille équilibré qui assure la santé à court et à long terme.
Vélocité du flux
Qu'est-ce que cela mesure? La vélocité du flux mesure le nombre d'éléments du backlog ( stories, features, capabilities, epics) achevés dans un délai donné ; c'est ce que l'on appelle aussi le débit du système. (Figure 7).
Comment cela est-il mesuré? Comme pour la distribution du flux, la mesure la plus simple de la vélocité consiste à compter le nombre d'éléments de travail achevés au cours d'une période donnée, telle qu'une itération ou un PI. Ces éléments peuvent être des stories, des features, des capabilities ou même des epics. Cependant, comme les éléments de travail ne sont pas tous de la même taille, une mesure plus courante est le nombre total de points de story terminés pour les éléments de travail d'un type donné au cours de la période de temps.
Pourquoi est-ce important? Toutes choses étant égales par ailleurs, une vélocité plus élevée implique une production plus importante et constitue un bon indicateur de l'application d'améliorations de processus visant à identifier et à supprimer les retards du système. Toutefois, la vélocité du système n'augmentera pas indéfiniment et, au fil du temps, la stabilité du système est importante. Des baisses significatives de la vélocité mettent en évidence des problèmes qui méritent d'être étudiés.
Temps d'écoulement du flux
Qu'est-ce qu'il mesure ? Le temps d'écoulement du flux mesure le temps total écoulé pour toutes les étapes d'un flux de travail et constitue donc une mesure de l'efficacité de l'ensemble du système. Le temps d'écoulement est généralement mesuré de l'idéation à la production. Cependant, il peut également être utile de mesurer le temps de flux pour des parties spécifiques d'un flux de travail, telles que la validation du code jusqu'au déploiement, afin d'identifier les possibilités d'amélioration.
Comment le mesurer ? Le temps d'écoulement du flux est généralement mesuré par la durée moyenne nécessaire pour terminer un type particulier d'élément de travail ( stories, features, capabilities, epics). Un histogramme est une visualisation intéressante du temps d'écoulement du flux (figure 8), car il permet d'identifier les valeurs aberrantes qui peuvent nécessiter une attention particulière et de contribuer à l'objectif de réduction du temps d'écoulement moyen global du flux.
Pourquoi est-ce important ? Le temps d'écoulement du flux permet aux organisations et aux équipes de se concentrer sur l'essentiel, à savoir fournir de la valeur à l'entreprise et au client dans les plus brefs délais. Plus le temps d'écoulement est court, moins nos clients passent de temps à attendre de nouvelles fonctionnalités et moins le coût du délai/retard encouru par l'organisation est élevé.
Charge du flux
Que mesure-t-il ? La charge du flux indique combien d'éléments se trouvent actuellement dans le système. Le maintien d'un nombre sain et limité d'éléments actifs (en limitant les travaux en cours) est essentiel pour garantir un flux rapide des éléments dans le système (principe SAFe n°6).
Comment se mesure-t-il ? Un diagramme de flux cumulé (CFD) est un outil couramment utilisé pour visualiser efficacement la charge de flux au fil du temps (figure 9). Le CFD montre la quantité de travail dans un état donné, la vitesse à laquelle les éléments sont acceptés dans la file d'attente (courbe d'arrivée) et la vitesse à laquelle ils sont achevés (courbe de départ). À un moment donné, la charge du flux est la distance verticale entre les deux courbes.
Pourquoi est-ce important ? L'augmentation de la charge du flux est souvent un indicateur de siuivi de l'excès de travail en cours. Toutes choses égales par ailleurs, il en résultera probablement une augmentation des temps d'écoulement du flux à l'avenir, à mesure que les files d'attente commenceront à se former dans le système. C'est pourquoi il est essentiel de mesurer et de réduire la charge du flux. En outre, il est facile de voir comment des livraisons plus fréquentes réduisent la charge du flux tout en améliorant le temps d'écoulement et la vélocité du flux.
Efficience du flux
Qu'est-ce que cela mesure? L'efficicence du flux mesure la part du temps de flux global consacrée à des activités de travail à valeur ajoutée plutôt qu'à l'attente entre les étapes.
Comment est-elle mesurée? Pour mesurer correctement l'efficience du flux, les équipes, les trains et les flux de valeur doivent comprendre clairement quel est le flux dans leur cas et par quelles étapes il passe. Cette compréhension est obtenue à l'aide de la cartographie de la chaîne de valeur (Value Stream Mapping), un processus d'identification des étapes du flux de travail et des retards dans un système. (Pour plus d'informations sur la cartographie de la chaîne de valeur, voir l'article Continuous Delivery Pipeline et [3]. En outre, le cours SAFe DevOps fournit des conseils détaillés sur la réalisation de la cartographie de la chaîne de valeur). Une fois les étapes cartographiées, l'efficience du flux est calculée en divisant le temps actif total par le temps de flux et est exprimée en pourcentage, comme le montre la figure 10.
Pourquoi est-ce important? Dans un système classique qui n'a pas encore été optimisé, l'efficience du flux peut être extrêmement faible, souvent à un chiffre. Une faible efficience du flux met en évidence un grand nombre de gaspillages dans le système, ainsi que des goulets d'étranglement et des retards qu'il convient d'éliminer. À l'inverse, plus l'efficience du flux est élevée, plus le système est en mesure de fournir rapidement de la valeur.
Prédictibilité du flux
Qu'est-ce que cela mesure ? La prédictibilité du flux mesure la capacité des équipes, des ART et des Solution Trains à planifier et à atteindre leurs objectifs de PI.
Comment est-elle mesurée ? La prédictibilité des flux est mesurée à l'aide de la mesure de prédictibilité de l'ART (figure 11). Cette mesure calcule le rapport entre la valeur métier planifiée et la valeur métier réelle fournie dans le cadre d'un PI. Pour plus d'informations sur le calcul de cette mesure importante, voir l'article Inspecter et adapter.
Pourquoi est-ce important? Une prédictibilité faible ou irrégulière rend les engagements de livraison irréalistes et met souvent en évidence des problèmes sous-jacents liés à la technologie, à la planification ou aux performances de l'organisation, qui doivent être résolus. Les trains fiables devraient fonctionner entre 80 et 100 %, ce qui permet à l'entreprise et à ses parties prenantes de planifier efficacement.
Note sur les indicateurs DORA : Dans et entre les trois domaines de mesure, il peut souvent être utile de rassembler des mesures complémentaires pour fournir une vue spécifique de la performance. Les mesures DORA utilisées pour mesurer la performance des capacités DevOps d'une organisation en sont un exemple [4]. Les quatre mesures DORA sont 1) la fréquence de déploiement, 2) le lead time des changes, 3) le délai de rétablissement du service et 4) le change failure rate (taux d'échec des changements). Chacune de ces mesures est une application d'une mesure de flux conçue pour un cas d'utilisation particulier. La fréquence de déploiement est une mesure de productivité et un exemple de vélocité du flux. Au lieu de mesurer le nombre de stories terminées par itération, elle mesure le nombre de déploiements sur une période donnée. Le lead time des changes et le délai de rétablissement du service sont des exemples de mesures de temps de flux, qui se concentrent sur des étapes spécifiques du flux de travail. Enfin, le change failure rate représente le pourcentage de changements qui nécessitent une correction après leur mise en production. En d'autres termes, à quelle fréquence le travail qui arrive à l'étape "déploiement en production" du flux de travail contient-il des erreurs ? Lors de la création de la value stream map pour mesurer l'efficience du flux, cet aspect est pris en compte dans le pourcentage de travail complete et accurate (%C&A) pour chaque étape, c'est-à-dire le pourcentage de travail que l'étape suivante peut traiter sans nécessiter de rework. Des taux élevés d'échec de change failure contribuent de manière significative à une faible efficience du flux.
Mesurer la compétence
L'agilité métier requiert un niveau d'expertise important dans les 7 compétences clés de SAFe. Bien que chaque compétence puisse apporter de la valeur indépendamment, elles sont également interdépendantes dans la mesure où la véritable agilité métier ne peut être atteinte que lorsque l'entreprise atteint un niveau significatif de maîtrise de chacune d'entre elles.
La mesure du niveau de compétence organisationnelle s'effectue au moyen de deux mécanismes d'évaluation distincts, conçus pour des publics et des objectifs différents. L'évaluation de l'agilité métier SAFe est destinée aux parties prenantes de l'entreprise et du portefeuille afin d'évaluer leur progression globale vers l'objectif ultime d'une véritable agilité métier, comme le montre la Figure 12.
La version tableur de l'évaluation peut être téléchargée ici.
Note pour les membres du Studio SAFe : Toutes les évaluations SAFe sont disponibles en ligne pour les membres du Studio SAFe par l'intermédiaire de notre partenaire Comparative Agility. Cela permet de collecter des données supplémentaires, de les analyser, de les comparer et de dégager des tendances qui peuvent être utilisées pour améliorer la performance. Vous pouvez y accéder à partir de la page Measure and Grow SAFe Studio.
Les évaluations des compétences clés de SAFe aident les équipes et les formations à améliorer les pratiques techniques et métiers dont elles ont besoin pour contribuer à l'atteinte de l'objectif global du portefeuille. Il en existe une pour chacune des sept compétences de base. L'évaluation de l'agilité technique et de l'équipe est un exemple de la figure 13.
Chaque évaluation suit un processus standard qui consiste à effectuer l'évaluation, à analyser les résultats, à prendre des mesures et à célébrer les succès. De plus, une analyse comparative avec la concurrence est possible grâce aux outils d'évaluation en ligne mis à la disposition des membres de la communauté SAFe. Des informations et des conseils supplémentaires peuvent être trouvés dans l'article du thème avancé Faciliter avec succès les évaluations SAFe.
Le tableau suivant fournit des liens de téléchargement pour chacune des évaluations des compétences de base :
- Agilité Organisationnelle
- Gestion Lean du Portefeuille
- Fabrication de Solutions d'Entreprise
- Fabrication Agile de Produits
- Agilité Technique et d'Équipe
- Culture d'apprentissage continu
- Leadership Lean-Agile
Mesurer et faire évoluer la maturité de DevOps
En plus des évaluations de l'agilité métier et des compétences de base, le SAFe DevOps Health Radar (Figure 14) est une évaluation qui aide les ART et les Solution Trains à optimiser la performance de leur chaîne de valeur. Il fournit un bilan de santé DevOps systémique en évaluant la maturité des 4 aspects et des 16 activités du pipeline de livraison continue. Le Radar de Santé est utilisé pour mesurer la maturité de base à tout moment de la transformation DevOps et pour guider les progrès rapides et incrémentaux par la suite.
Note : Le Radar de santé DevOps doit être utilisé parallèlement à l'évaluation Agile Product Delivery pour garantir une couverture complète des trois dimensions de la compétence de base APD.
Téléchargez l'évaluation gratuite DevOps Health Radar ici. AgilityHealth propose également une version en ligne de cette évaluation.
Quatre facteurs critiques de succès pour une mesure efficace
La mesure de la performance organisationnelle est l'un des domaines les plus sensibles de toute entreprise, souvent soumis à la politique et à divers dysfonctionnements. En outre, comme la mesure implique inévitablement l'interprétation des données, elle est sujette à des biais cognitifs, à des problèmes de communication et à des défauts d'alignement. Tout cela conduit à un danger substantiel dans tout système de mesure : si elles ne sont pas correctement mises en œuvre, certaines mesures peuvent faire plus de mal que de bien. Les facteurs de succès suivants aideront à guider l'entreprise vers des mesures plus efficaces et, plus important encore, vers de meilleurs résultats métiers.
Utiliser les mesures en conjonction avec d'autres outils de découverte
Aussi bien conçu soit-il, tout système de mesure ne fournit qu'une image partielle de la réalité, et l'ajout de nouveaux indicateurs n'améliore pas nécessairement la visibilité. Derrière chaque chiffre se cache une histoire, et cette histoire contient souvent des informations plus importantes que le chiffre lui-même ne peut transmettre. L'observation directe (Gemba), c'est-à-dire l'observation de l'environnement réel où la valeur est créée et où elle parvient au client, est un outil puissant à utiliser en conjonction avec les mesures. Les mesures formelles et les observations informelles se renforcent mutuellement. Mais si elles sont utilisées isolément, la "gestion par les chiffres" peut conduire à des résultats médiocres et à un moral encore plus bas.
Appliquer les mesures lorsqu'elles permettent d'améliorer la prise de décision
Un piège courant lors de la mise en œuvre d'indicateurs est de trop mesurer par peur de ne pas mesurer assez. Bien que de nombreuses mesures puissent être automatisées, plus leur nombre et leur fréquence augmentent, plus les efforts nécessaires à la collecte et à l'analyse des données s'accroissent. Lorsque vous envisagez d'inclure une mesure supplémentaire dans votre système de mesure, il peut être prudent de vous poser la question suivante : "Quelles décisions cette mesure permettra-t-elle de prendre et qui ne sont pas prises en compte aujourd'hui par nos mesures existantes ? Une autre question à clarifier est la suivante : "Avons-nous besoin de mesurer cela maintenant ? Cette question tient compte du fait que les mesures que nous utilisons évolueront au fil du temps, à mesure que les décisions que nous devons prendre changeront au cours du processus de développement.
Comprendre l'effet des mesures sur les comportements
Dans une culture positive, les ingénieurs du savoir sont motivés pour fournir des solutions gagnantes et travailler dans un but précis, avec maîtrise et autonomie. Cependant, lorsque l'on accorde trop d'importance à un indicateur numérique spécifique et que cet indicateur est directement lié à la rémunération ou aux possibilités d'évolution de carrière, la réalisation de ce chiffre devient l'objectif plutôt que la création de solutions efficaces.
En outre, les pressions exercées pour réussir conduisent souvent à une mauvaise utilisation des indicateurs. Par exemple, l'efficience des flux peut être utilisée pour imputer la responsabilité d'une date de livraison manquée à un ART particulier qui est devenu un goulot d'étranglement, au lieu d'utiliser cette information pour identifier les problèmes systémiques qui doivent être résolus. La cause profonde est peut-être un manque de ressources ou un changement de priorités indépendant de la volonté de l'ART.
Dans tous les cas, les valeurs fondamentales de SAFe, à savoir la transparence et l'alignement, doivent fournir les bases d'un système de mesure efficace, tout en créant un environnement où les faits sont toujours accueillis avec bienveillance.
Interpréter soigneusement les mesures
Il ne suffit pas de collecter des mesures spécifiques. S'il est interprété sans être bien compris, un indicateur peut être très trompeur. Par exemple, lorsque l'on mesure le temps de déroulement du flux, les éléments de travail doivent être des fonctionnalités réelles et utiles (stories, etc.) qui apportent des bénéfices à l'entreprise ; sinon, le train peut rapporter des améliorations dans le flux de travail mais peiner à obtenir une valeur réelle à la sortie.
En savoir plus
[1] Hunt, Helena, ed. First Mover: Jeff Bezos In His Own Words. Agate Publishing, 2018.
[2] Kersten, Mik. Project to Product: How to Survive and Thrive in the Age of Digital Disruption with the Flow Framework. IT Revolution Press, 2018.
[3] Martin, Karen, and Mike Osterling. Value Stream Mapping: How to Visualize Work and Align Leadership for Organizational Transformation. McGraw-Hill Education, 2018.
[4] Accelerate 2022. State of DevOps Report. https://cloud.google.com/devops/state-of-devops
