Universite Lumiere Lyon Ecole Doctorale de Sciences Cognitives

profil-zyan-2012 - Jérôme Darmont

Découvre YouScribe en t'inscrivant gratuitement

Je m'inscris

Obtenez un accès à la bibliothèque pour le consulter en ligne
En savoir plus

98 pages

Français

Obtenez un accès à la bibliothèque pour le consulter en ligne
En savoir plus

A propos
Informations
Extrait

Description

Niveau: Secondaire, Lycée, Terminale
Universite Lumiere Lyon 2 Ecole Doctorale de Sciences Cognitives Habilitation a Diriger des Recherches Specialite : Informatique presentee par Jerome Darmont Maıtre de conferences Laboratoire ERIC Optimisation et evaluation de performance pour l'aide a la conception et a l'administration des entrepots de donnees complexes Memoire scientifique Soutenue publiquement le 23 novembre 2006 devant le jury : Pr Danielle Boulanger Universite Jean Moulin Lyon 3 (rapporteur) Pr Claude Chrisment Universite Paul Sabatier Toulouse III (rapporteur) Pr Georges Gardarin Universite de Versailles Saint-Quentin (rapporteur) Pr Stefano Spaccapietra Ecole Polytechnique Federale de Lausanne (examinateur) Pr Abdelkader Zighed Universite Lumiere Lyon 2 (coordinateur) te l-0 01 43 36 1, v er sio n 1 - 2 5 Ap r 2 00 7

donnees complexes dans le cadre des processus decisionnels

approche generique

performance evaluation

performance optimization

fouille de donnees

efficacite de differentes techniques d'optimisation des performances

entrepots de donnees

optimisation de performance

Sujets

Première

Moulin

Danielle

École polytechnique

Sabatier

Buzy-Darmont

Informations

Publié par	profil-zyan-2012
Date de parution	01 novembre 2006
Nombre de lectures	44
Langue	Français

Extrait

´ `Universite Lumiere Lyon 2
´Ecole Doctorale de Sciences Cognitives
Habilitation `a Diriger des Recherches
´ ´Specialite : Informatique
pr´esent´ee par
J´eromˆ e Darmont
Maˆıtre de conf´erences
Laboratoire ERIC
Optimisation et ´evaluation de performance
pour l’aide `a la conception et `a l’administration
des entrepˆots de donn´ees complexes
M´emoire scientiﬁque
Soutenue publiquement le 23 novembre 2006 devant le jury :
Pr Danielle Boulanger Universit´e Jean Moulin Lyon 3 (rapporteur)
Pr Claude Chrisment Universit´e Paul Sabatier Toulouse III (rapporteur)
Pr Georges Gardarin Universit´e de Versailles Saint-Quentin (rapporteur)
´Pr Stefano Spaccapietra Ecole Polytechnique F´ed´erale de Lausanne (examinateur)
Pr Abdelkader Zighed Universit´e Lumi`ere Lyon 2 (coordinateur)
tel-00143361, version 1 - 25 Apr 2007tel-00143361, version 1 - 25 Apr 2007R´esum´e
Les entrepoˆts de donn´ees forment le socle des syst`emes d´ecisionnels. Ils permettent
d’int´egrer les donn´ees de production d’une entreprise ou d’un organisme et sont le sup-
port de l’analyse multidimensionnelle en ligne (OLAP) ou de la fouille de donn´ees. Avec
l’exploitation de plus en plus courante de donn´ees complexes dans le cadre des processus
d´ecisionnels, de nouvelles approches d’entreposage, qui exploitent notamment le langage
XML, sont d´evelopp´ees. Dans ce contexte, le probl`eme de la performance des entrepoˆts de
donn´ees demeure plus que jamais un enjeu crucial.
Le travail pr´esent´e dans ce m´emoire vise `a proposer des solutions innovantes au niveau
del’optimisationetdel’´evaluationdesperformancesdesentrepoˆtsdedonn´ees.Nousavons
en eﬀet conc¸u une approche g´en´erique dont l’objectif est de proposer automatiquement `a
l’administrateur d’un entrepoˆt des solutions permettant d’optimiser les temps d’acc`es aux
donn´ees.Leprincipedecetteapprocheestd’appliquerdestechniquesdefouillededonn´ees
sur une charge (ensemble de requˆetes) repr´esentative de l’utilisation de l’entrepoˆt de don-
n´ees aﬁn de d´eduire une conﬁguration quasi-optimale d’index et/ou de vues mat´erialis´ees.
Des mod`eles de couˆt permettent ensuite de s´electionner parmi ces structures de donn´ees
les plus eﬃcaces en terme de rapport gain de performance/surcharge.
Par ailleurs, l’´evaluation de performance peut venir en appui de la conception des
entrepoˆts de donn´ees. Ainsi, aﬁn de valider notre approche de mani`ere exp´erimentale,
nous avons ´egalement conc¸u plusieurs bancs d’essais g´en´eriques. Le principe directeur
qui a pr´esid´e `a leur ´elaboration est l’adaptabilit´e. En eﬀet, pour comparer l’eﬃcacit´e
de diﬀ´erentes techniques d’optimisation des performances, il est n´ecessaire de les tester
dans diﬀ´erents environnements, sur diﬀ´erentes conﬁgurations de bases de donn´ees et de
charges, etc. La possibilit´e d’´evaluer l’impact de diﬀ´erents choix d’architecture est aussi
une aide appr´eciable dans la conception des entrepoˆts de donn´ees. Nos bancs d’essais
permettent donc de g´en´erer diverses conﬁgurations d’entrepoˆts de donn´ees, ainsi que des
charges d´ecisionnelles qui s’y appliquent.
Finalement,nossolutionsd’optimisationetd’´evaluationdesperformancesont´et´emises
en œuvre dans les contextes des entrepoˆts de donn´ees relationnels et XML.
´Mots cl´es : Bancs d’essais, Donn´ees complexes, Entrepoˆts de donn´ees, Evaluation
de performance, Fouille de donn´ees, Index, OLAP, Optimisation de performance, Vues
mat´erialis´ees, XML.
tel-00143361, version 1 - 25 Apr 2007Abstract
Data warehouses form the basis of decision-support systems. They help integrating
the production data of companies or organizations and support multidimensional on-line
analysis(OLAP)ordatamining.Complexdataarenowmoreandmorecasuallyexploited
within decision-support processes, hence new data warehousing approaches are developed,
some of which exploit the XML language. In this context, data warehouse performance
remains as much as ever a crucial issue.
In this thesis, we aim at proposing novel solutions for optimizing and evaluating data
warehouse performance. We have indeed designed a generic approach whose objective is
to automatically propose solutions to data warehouse administrators for optimizing data
access times. The principle of this approach is to apply data mining techniques on a
workload (set of queries) that is representative of data warehouse usage in order to deduce
a quasi-optimal conﬁguration of indices and/or materialized views. Then, cost models
help selecting among these data structures those that are the most eﬃcient in terms of
performance gain/overhead ratio.
Besides, performance evaluation may help supporting data warehouse design. Thus,
in order to experimentally validate our approach, we have also designed several generic
benchmarks.Theirmaindesignprincipleisadaptability.Inordertocomparetheeﬃciency
of diﬀerent performance optimization techniques, it is indeed necessary to test them in va-
rious environments, on diﬀerent database and workload conﬁgurations, etc. The ability to
assess the impact of diﬀerent architecturechoices is also a valuable help in data warehouse
design. Our benchmarks thus allow the generation of various data warehouse conﬁgura-
tions, as well as associated decision-support workloads.
Eventually, our performance optimization and evaluation solutions have been imple-
mented in both the contexts of relational and XML data warehouses.
Keywords: Benchmarks, Complex data, Data mining, Data warehouses, Indices, Ma-
terialized views, OLAP, Performance evaluation, Performance optimization, XML.
tel-00143361, version 1 - 25 Apr 2007`A Ma¨elle.
tel-00143361, version 1 - 25 Apr 2007tel-00143361, version 1 - 25 Apr 2007Remerciements
J’exprime tout d’abord tous mes remerciements `a Madame Danielle Boulanger, Mon-
sieur Claude Chrisment et Monsieur Georges Gardarin, qui m’ont fait l’honneur de porter
int´erˆet `a mon travail et d’en ˆetre les rapporteurs. Je remercie ´egalement de tout cœur
Monsieur Stefano Spaccapietra d’avoir accept´e de faire partie de mon jury et Monsieur
Djamel Zighed d’avoir jou´e le rˆole de coordinateur de mon HDR.
Je tiens ´egalement `a exprimer ma gratitude envers tous mes coll`egues du laboratoire
ERIC, permanents, doctorants et administratifs, et notamment `a son directeur, Nicolas
Nicoloyannis, pour ses encouragements constants. Je remercie´egalement St´ephane Lallich
et Jean-Hugues Chauchat pour leurs conseils avis´es. Des pens´ees toutes particuli`eres vont
aux membres du pˆole BDD, dont le dynamisme collectif a grandement facilit´e mon travail
d’HDR : Fadila Bentayeb, Omar Boussaıd, Nouria Harbi, Sabine Loudcher, Riadh Ben¨
Messaoud, C´ecile Favre, Nora Maiz; et bien suˆr Kamel Aouiche, Hadj Mahboubi et Jean-
Christian Ralaivao, dont j’ai ou j’ai eu le r´eel plaisir d’encadrer les travaux de th`ese.
Enﬁn, je remercie mon ´epouse Anne-Ga¨elle, pour son soutien et ses encouragements
permanents, ainsi que toute ma famille et mes amis, qui ont constamment suivi l’´evolution
de mes complexes (vues de l’ext´erieur) activit´es universitaires.
tel-00143361, version 1 - 25 Apr 2007tel-00143361, version 1 - 25 Apr 2007Table des mati`eres
1 Introduction 1
1.1 Contexte du travail . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1.1 Av`enement des donn´ees complexes . . . . . . . . . . . . . . . . . . . 1
1.1.2 Entrepoˆts de donn´ees complexes et performance . . . . . . . . . . . 2
1.2 Contributions et organisation du m´emoire . . . . . . . . . . . . . . . . . . . 5
2 Optimisation automatique des performances des entrepˆots de donn´ees 9
2.1 Optimisation des performances des entrepoˆts de donn´ees . . . . . . . . . . . 9
2.1.1 Formalisationduprobl`emedes´electiond’indexetdevuesmat´erialis´ees 10
2.1.2 S´election d’index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.1.3 S´election de vues mat´erialis´ees . . . . . . . . . . . . . . . . . . . . . 11
2.1.4 S´election simultan´ee d’index et de vues mat´erialis´ees . . . . . . . . . 12
2.1.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.2 Approche automatique d’optimisation des performances des entrepoˆts de
donn´ees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.2.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.2.2 Principe g´en´eral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.2.3 S´election des objets candidats . . . . . . . . . . . . . . . . . . . . . . 17
2.2.4 Construction de la conﬁguration d’objets ﬁnale . . . . . . . . . . . . 18
2.3 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.3.1 S´election automatique d’index . . . . . . . . . . . . . . . . . . . . . 19
2.3.2 S´election automatique de vues mat´e