L’agilité dans le monde du Big Data

Une question qui revient de plus en plus souvent dernièrement : comment mettre en place de l’agilité dans le domaine du Big Data ? Le Scrum classique ne semble pas répondre aux besoins des entreprises… Du moins à première vue.

Particularité du Big Data

Dans un grand nombre de projet Big Data et surtout ceux ayant de la data science, il est difficile d’imaginer le contenu d’un sprint complet dès le début du sprint. Même si beaucoup de monde pense qu’il ne faut pas changer le contenu d’un sprint en Scrum, ce qui est faux en réalité, le soucis d’un Scrum classique dans le monde de la date science c’est qu’il est parfois compliqué de répondre à des objectifs de sprint.

Article : LE MYTHE QU’UN SPRINT BACKLOG EST FIXE EST FAUX !

On ne sait pas toujours où on va…

En effet dans un certain nombre de projets Big Data et principalement ceux qui imposent de la data sciences ou ceux qui doivent se connecter à de nombreux providers différents, il est difficile de fonctionner selon des plannings.

Voici des questions qui se posent par exemple dans ce type de projet :

• quand pourra-t-on avoir accès aux données ?
• quelles données pourrons-nous obtenir après une analyse complète des données récupérées ?
• quelles données seront exploitables après une analyse complète des données récupérées ?

Nous allons voir ensemble différentes choses qui pourraient vous aider pour faire vos projets Big Data avec des méthodes agiles.

Rajoutez des Spike à votre projet

Le Spike est une notion très intéressante dans les projets Big Data surtout si vous n’avez qu’une partie de l’équipe en tant que Data Sciencist. L’équipe définira des hypothèses sur lesquelles elle se donnera un « temps précis » qu’on appelle dans le jargon des agilistes un timebox pour tenter de répondre à cette hypothèse.

Contrairement à une user-story, le spike ne qualifie aucun point d’effort ; l’équipe ne peut pas qualifier l’effort sur une recherche sur laquelle on ignore les résultats.

Quand ce Spike est terminé soit que l’équipe est écoulé tout le temps défini pour ce spike, elle devra décider si elle a assez de matière pour créer une user-story ou si un nouveau spike sera nécessaire.

Article : QU’EST-CE QU’UN SPIKE DANS UN PROJET SCRUM ?

Le Scrumban est plus adapté à ce type de projet

Dans des projets très axés data science, le Scrum est très compliqué à mettre en place malgré le Spike. Le Scrumban qui est un mélange du Scrum et du Kanban est souvent beaucoup plus simple à mettre en place pour ce type de projet… Et surtout plus adapté.

Le Scrumban permet d’avoir une notion de flux tiré que ne propose pas le Scrum classique : le Product Owner pourra donner des user-stories, spike ou autres types de demandes au fur et à mesure des développements. Dans des projets où il est difficile de savoir réellement dans quelle direction où on va, c’est totalement adapté.

Article : QU’EST-CE QUE LE SCRUMBAN ?

Le LeSS framework adapté à ce type de projet

Le LeSS est un framework agile permettant de faire travailler plusieurs équipes (avec un minimum de 3 dev/data scientist à l’intérieur) autour d’un même produit. En mettant l’équipe de data science dans une équipe en Scrumban et une équipe de développement en Scrum, les deux peuvent parfaitement travailler en harmonie grâce à ce framework.

J’ai eu l’occasion de mettre un LeSS sur ce type de projet avec deux équipes de développements et une équipe de data scientists ; les résultats sont bluffant car le framework est totalement adapté à ce type de projet.

Article : QU’EST CE QUE LE FRAMEWORK AGILE LESS ?

Conclusion Big Data et Agilité

Les projets Big Datas ne sont pas du tout incompatibles avec les méthodes agiles bien au contraire. Il faut par contre, penser à d’autres pratiques qui diffèrent des projets plus classiques comme des sites internet.