Realis : Reproductibilité expérimentale pour l’informatique en parallélisme, architecture et système – 1ère édition

La capacité à reproduire les expériences est une condition nécessaire à une démarche scientifique solide. Dans les communautés de physique ou de bio-informatique qui utilisent intensivement l’outil informatique pour des simulations ou de la fouille de données, un mouvement vers une augmentation de la qualité expérimentale est en cours, via la diffusion des processus expérimentaux et des codes sources utilisés.

Nos communautés de systèmes d’exploitations, de systèmes parallèles et distribués et d’architecture doivent également travailler dans cette direction, notamment pour adapter les solutions utilisées ailleurs à nos domaines : Comment devons-nous décrire une expérience pour permettre sa reproductibilité ?  Quels sont les contenus (environnements, binaires, scripts, configurations) à conserver et diffuser ? Comment les résultats doivent-ils être fournis afin de permettre de s’y comparer ?

Nous encourageons les auteurs soumettant un article à l’une des conférences de ComPAS (CFSE, RenPar ou SympA) à soumettre également un article à Realis. Ce deuxième article peut être une extension de l’article soumis à ComPAS, sans limitation de pages, afin de décrire précisément les expériences menées, et pourra s’appuyer sur des ressources externes : environnements, scripts, données nécessaires.

Chaque article sera évalué (et les expériences seront, si possible, reproduites complètement ou partiellement) par un autre auteur sous la supervision d’au moins un membre du comité, afin de favoriser les partages d’expériences sur les bonnes pratiques — les articles seront attribués en adéquation avec les compétences des auteurs dans la mesure du possible.

Le comité décernera le label de reproductibilité expérimentale aux articles dont les expériences auront pû être reproduites de manière satisfaisante. Le prix ComPAS de la reproductibilité expérimentale sera décerné au meilleur article.

Une liste de diffusion est disponible pour permettre aux auteurs et aux membres du comité d’échanger (s’inscrire). Les auteurs sont également encouragés à utiliser les listes de diffusion des plates-formes ou logiciels utilisés (users@lists.grid5000.fr, simgrid-user@lists.gforge.inria.fr, etc.)

Indications de soumission :

• La longueur des articles n’est pas limitée
• Les articles peuvent s’appuyer sur des ressources externes
• Si reproduire les expériences nécessite d’accéder à une plate-forme ou à des données à accès restreint, l’auteur s’engage à aider les membres du comité et les auteurs reproduisant ses expériences à y avoir accès. Dans le doute, contactez le comité.

Dates prévisionnelles :

• Date limite de soumission :01/10/2012 12/10/2012
• Date de notification : 22/11/2012

Références :

1. SIGMOD 2012: Experimental Reproducibility – http://www.sigmod.org/2012/reproducibility.shtml
2. Reproducible Research in Computational Science – http://www.sciencemag.org/content/334/6060/1226.full
3. Publish your computer code: it is good enough – http://www.nature.com/news/2010/101013/full/467753a.html
4. Computational science: …Error – http://www.nature.com/news/2010/101013/full/467775a.html
5. Should Code be Released? – http://cacm.acm.org/magazines/2010/10/99494-should-code-be-released/fulltext
6. The Design and Realisation of the myExperiment Virtual Research Environment for Social Sharing of Workflows – http://www.sciencedirect.com/science/article/pii/S0167739X08000939
7. myExperiment – http://www.myexperiment.org/

FAQ :

1) Que signifie reproductibilité, exactement ?

Dans [1], les auteurs montrent qu’il existe différentes types de reproductibilité, et qu’une reproduction peut avoir différents niveaux de similarité par rapport à l’expérience de référence. Par exemple, une reproduction à l’identique devrait permettre d’obtenir des résultats identiques. Mais il est également intéressant de pouvoir reproduire une expérience en en modifiant certains aspects (environnement matériel ou logiciel, paramètres expérimentaux, méthodologie). Dans ce cas, les résultats obtenus seront différents, mais les conclusions de l’expérience devraient être identiques.

[1] O. S. Gomez, N. Juristo Juzgado, S. Vegas. Replications types in experimental disciplines. In proceedings of ESEM’2010

2) Je ne veux/peux pas diffuser mon code / mon simulateur / mes données. Comment puis-je participer ?

Cet article[1] présente des arguments convaincants. Mais si vous ne voulez/pouvez pas diffuser certains éléments nécessaires à la reproduction de vos expériences (codes applicatifs, traces, données, …), il faut vous assurer que vous fournissez suffisamment d’éléments aux évaluateurs pour leur permettre d’évaluer votre travail. Dans le doute, prenez contact avec le comité.

[1] Publish your computer code: it is good enough

Comité de programme

• Lucas Nussbaum, Université de Lorraine (Président)
• Olivier Richard, Université Joseph Fourier (Président)
• Emmanuel Jeannot, LaBRI, INRIA Bordeaux Sud-Ouest, Bordeaux
• Luiz Angelo Steffenel, Université de Reims, Reims
• Vincent Danjean, LIG, Université Joseph Fourier, Grenoble
• Pierre Neyron, LIG, CNRS, Grenoble
• Alexandre.Denis, LaBRI, INRIA Bordeaux Sud-Ouest, Bordeaux
• Brice Videau, LIG, CNRS, Grenoble
• Christian Perez, LIP, INRIA Rhône-Alpes, Lyon
• David Margery, INRIA Rennes, Rennes
• Martin Quinson, LORIA, Université de Lorraine, Nancy
• Thierry Gautier, LIG, INRIA, Grenoble
• Arnaud Legrand, LIG, CNRS, Grenoble
• Fabrice Huet, I3S, Université de Nice, Nice
• Frédéric Suter, CC-In2p3, CNRS, Lyon
• Yves Caniou, LIP, INRIA Rhône-Alpes, Lyon
• Louis-Claude Canon, INRIA Rennes Bretagne Atlantique, Rennes
• Emmanuel Cecchet, U. Massachusetts, Amherst, USA
• Renaud Lachaize, LIG, Université Joseph Fourier, Grenoble
• Romain Rouvoy, LIFL, Université Lille 1, Lille
• Guillaume Salagnac, CITI, Insa, Lyon
• Damian Serrano, LIG, INRIA Rhône-Alpes, Grenoble
• David Defour, LIRMM, Université de Perpignan, Perpignan
• Loic Lagadec, Lab-STICC, Université de Bretagne Occidentale, Brest
• Bertrand Granado, ETIS, ENSEA, Cergy
• Georges Da-Costa, IRIT, Université Paul Sabatier, Toulouse
• Eddy Caron, LIP, INRIA Rhône-Alpes, Lyon