Monsieur Excel
Pour tout savoir faire sur Excel !

21 juin 2017

Réaliser un modèle complexe

Le modèle de simulation routière décrit durant les trois derniers articles était un modèle particulièrement délicat à concevoir. Pour simplifier, on peut dire qu’il y a deux façons de développer un modèle complexe : top-down et bottom-up.

L’approche top-down est l’approche traditionnelle, celle qui est utilisée dans les cours de programmation habituels et dans la plupart des sociétés de conseil. On décompose la tâche en sous-tâches, par exemple avec un organigramme, puis en sous-sous-tâches, et on les donne à développer à des programmeurs.

L’inconvénient est que cela fait souvent intervenir au moins trois personnes : un analyste astucieux pour analyser le travail à faire, un chef-programmeur pour découper tout cela en étapes, et un développeur (ou plusieurs) pour écrire le code. Le problème alors est que, si l’on se trompe quelque part, on risque de ne le constater qu’à la fin, ce qui coûte très cher ! Autre inconvénient, on ne peut pas montrer au client ce que cela donnera tant que ce n’est pas fini. On se prive donc d’une interaction efficace avec lui.

L’approche bottom-up est celle que j’utilise depuis plus de 50 ans. Je programme au début le noyau du code à réaliser, en simplifiant le cahier des charges. Quand cela fonctionne bien, je rajoute des fonctionnalités, puis d’autres fonctionnalités encore…

L’avantage est qu’avec un seul intervenant (je fais l’analyse, la programmation et la mise en place), on va bien plus vite, et que l’on ne récupère pas des erreurs liées à des problèmes de communication entre les intervenants. L’inconvénient est que, si la personne qui fait tout cela n’est pas astucieuse et n’a pas une vision globale des possibles extensions, elle construit une « usine à gaz ».

C’est pour cela que cette approche n’est pas pratiquée autant qu’elle pourrait l’être. Ce qui est amusant, c’est que la mode aujourd’hui est de parler de méthodes agiles qui, de fait, reviennent grosso modo à cela. Et c’est cette approche que j’ai pratiquée durant la totalité de ma carrière… Ce qui m’a permis de faire des réalisations toujours entre 3 fois et 10 fois plus rapides (en temps de développement) et 3 et 10 fois moins chères que celles de tous mes concurrents.

L’approche utilisée pour ce modèle

Comment donc ai-je fait pour développer ce modèle en mode bottom-up ?

J’ai commencé par élaborer un modèle simple pour simuler le trafic, en prenant les fichiers ne contenant que des jours de semaine normaux.

Quand les estimations de trafic de mon modèle ont fini par bien coller avec les observations sur ces fichiers, je me suis mis à analyser des fichiers de début de semaine et de fin de semaine. J’ai alors ajouté de nouvelles règles et modifié mes formules pour que, pour ces jours particuliers, le modèle donne aussi de bons résultats.

Enfin, j’ai analysé les fichiers des jours fériés, de départ en vacances et de retour de vacances, jusqu’à ce que eux aussi donnent avec mon modèle des résultats réalistes.

Validtion et amortissement du modèle

Comment AdP (Aéroports de Paris) a-t-il procédé pour valider ce modèle ?

Nous avons convenu ensemble qu’AdP ne me transmettrait que la moitié des fichiers Excel. Ils gardaient ainsi 50% des fichiers de jours normaux, de week-ends, de départs en vacances, de retour de vacances,…

Ils ont utilisé ces fichiers, que je ne connaissais pas, pour vérifier les prédictions de mon modèle, et voir si l’écart entre mes prédictions et la réalité observée était raisonnable ou non. Ils ont ainsi confirmé la validité de mon modèle.

Ce modèle a coûté à AdP plus de 60 K€. Le modèle a été amorti en moins de 6 mois. Il était envisagé en effet de modifier une intersection, en remplaçant un rond-point par un feu rouge. Le modèle a prouvé que,si l’on faisait cela, on aurait certes résolu le problème immédiat de ralentissement du trafic au rond-point, mais que le problème aurait alors été reporté que de quelques centaines de mètres, dans la création d’un nouvel embouteillage…

15 juin 2017

Modèle de simulation routière (c)

Nous continuons le modèle de simulation routière démarré le 27 mai dernier. Je vous prie de m'excuser pour la plus faible fréquence de mes derniers articles, je suis en effet assez sollicité en ce moment par mes interventions de conseil et par mon implication dans la start-up Alzohis. J'étais d'ailleurs ce matin au salon VivaTech, sur le stand de Sanofi qui a mis gracieusement un mini-stand à notre disposition. Vous pourrez m'y voir demain matin !

Accélération du calcul

Un des problèmes que j’ai rencontrés avec ce modèle était la lenteur de la simulation. J’ai réalisé que c’était dû en partie à un onglet dans lequel des calculs lourds étaient effectués. Il y avait en effet dans cet onglet plus de mille formules du type :
=moyenne(decaler(Simul!$A$1;$A8+3;F$2-1):decaler(Simul!$A$1;$A8+3;G$2-2))

Or, cet onglet ne servait qu’à effectuer des analyses, mais il n’alimentait aucun autre onglet. J’ai donc créé les deux macros suivantes afin d’effacer la quasi-totalité des formules dès que l’on quittait l’onglet et de les restaurer dès que l’onglet était réactivé :

Private Sub Worksheet_Deactivate()
    Sheets("Synthèse").Range("Effacer").ClearContents
End Sub

Private Sub Worksheet_Activate()
    Application.ScreenUpdating = False
    Range("C1:I4").FillRight
    Range("A3:I4").Copy
    Range("A5:A166").Select
    ActiveSheet.Paste
    Application.CutCopyMode = False
    Range("A1").Select
End Sub

Calcul de trajets

En utilisant l’add-in Crystal Ball, j’ai eu la possibilité de faire des simulations pour un trajet entre deux points donnés dans ce réseau routier et d’obtenir comme résultat la distribution des temps de trajet entre les deux points, selon l’heure de départ de ce trajet.

Pour ceux qui veulent en savoir pus sur la simulation probabiliste et sur Crystal Ball, je ne peux que vous conseiller de lire « La modélisation du risque », livre que j’ai publié chez Economica.

Rentabilité de l’application

Ce modèle de simulation routière, bien qu’il ait coûté 50.000 €, a été amorti en moins de 6 mois. En effet, AdP envisageait d’effectuer une modification à une intersection afin d'améliorer le trafic. Le modèle a montré que cette modification, bien qu’elle résolve le problème en fluidifiant le trafic au point concerné, ne résolvait aucun problème de fond car le ralentissement du trafic était alors simplement reporté de plusieurs centaines de mètres.

07 juin 2017

Modèle de simulation routière (b)

A partir de la description du réseau routier décrite dans la base représentée par la copie d’écran à la fin de l’article précédent, j’ai construit un modèle Excel dans lequel chacun des segments décrits dans cette copie d’écran est représenté par une icône.

La macro gérant la simulation, à chaque top d’horloge, remplit chacun des segments d’une couleur : vert lorsque le traffic est fluide, orange quand la circulation est ralentie, et rouge quand c'est embouteillé.


Les références circulaires

Dans ce modèle, si l’on ne fait pas attention, on se retrouve avec de nombreuses références circulaires. Ainsi, quand on se trouve dans un rond-point, on est à la fois en mouvement vers l’avant (si tout va bien !) et freiné par les voitures devant soi, qui elles-mêmes – si le rond-point est chargé – sont freinées par les voitures « devant » elles, dont nous faisons aussi partie…

C’est pourquoi vous constaterez, si vous observez bien la seconde ligne de segments en partant du haut du schéma, que tous les segments de cette ligne sont dédoublés. J’ai fait cela pour « casser » les références circulaires. A chaque top d’horloge, la macro bascule ce qui se trouve dans le premier élément de chaque binôme pour le verser dans le second élément du binôme. Il n’y a alors plus de références circulaires…

La structure du modèle

Comme vous pouvez le voir dans la copie d’écran ci-dessous, la durée du « top » est de 30 secondes. Pour chaque segment, on dispose d’un certain nombre de lignes dans lesquelles on calcule les résultats saillants. Je vous fais grâce des formules et, pour des raisons de confidentialité, je ne peux pas vous montrer la macro qui gère la simulation.