these

UNIVERSITE PARIS VII - DENIS DIDEROT
THESE DE DOCTORAT
SPECIALITE MATHEMATIQUES
Pour obtenir le grade de Docteur de l’Universite Paris VII
Presentee par Nguyen Chu Gia Vuong
Sujet
Integrales orbitales unipotentes stables
et leurs transformees de Satake
Soutenue le 6 decembre 2002 devant le jury compose de :
L. Clozel (Univesite Paris Sud)
S. DeBacker (Hardvard University) Rapporteur
M. Du o ( Universite Paris VII)
B.-C Ngo (CNRS, Universite Paris Nord)
M. Reeder (Boston College) Rapporteur
P. Torasso (Univesite de Poitiers)
J.-L. Waldspurger (CNRS, Universite Paris VII) Directeur de theseRemerciements
Je tiens, en tout premier lieu, a exprimer ma profonde reconnaissance a mon directeur de
these Jean-Loup Waldspurger. J’ai pu pro ter au cours de ces dernieres annees de sa patience, de
sa disponibilite et bien sur^ de son immense savoir mathematique. Son soutien constant, surtout
pendant les moments di ciles, son attention portee a la progression de mon travail ont ete
sources de motivation et d’encouragements. Pour tout cela, je le remercie vivement.
Je voudrais ensuite remercier Stephen DeBacker et Mark Reeder pour avoir accepte de rap-
porter sur ce travail et de s’^etre acquitte de cette t^ache dans des delais tres brefs.
Michel Du o, Pierre Torasso, Laurent Clozel et Ngo Bao Chau me font honneur en acceptant
de participer au jury de cette these. Je les en remercie chaleureusement.
J’ai eu la chance de me retrouver au sein d’une equipe particulierement dynamique et d’un
niveau exceptionnel. Je ne saurais oublier que c’est Marie-France Vigneras qui m’a fait decouvrir
la theorie des Formes Automorphes lors d’un cours de DEA. La presence du seminaire hebdo-
madaire de l’equipe m’a egalement beaucoup apporte. Je remercie tous les participants, tout
specialement P.-H Chaudouard et Laurent Fargues pour leur amitie.
Merci a tous ceux que j’ai pu rencontrer dans les bureaux de thesards, surtout les membres
du bureau 505, puis 7C14. J’envoie un clin d’oeil tout particulier a Kenji, Francesca et Jose.
Mes pensees vont en n a mes amis vietnamiens que j’ai connus depuis mon arrivee en France.
Leurs appuis a ectifs permanents ont rendu plus joyeuses ces annees de travail. Je les remercie
sincerement.A ma famille
et N.Table des matieres
Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . i
I Une formule pour les traces tordues compactes . . . . . . . . . . . . . . . . . . . . . . 1
I.1 De nitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
I.1.1 Traces tordues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
I.1.2 Elements compacts, traces tordues compactes . . . . . . . . . . . . . 1
I.1.3 Elements positifs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
I.2 Une formule d’integration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
I.2.1 La formule d’integration entrevue . . . . . . . . . . . . . . . . . . . . 2
I.2.2 Preuve de l’assertion 1 . . . . . . . . . . . . . . . . . . . . . . . . . . 3
I.2.3 Preuve de l’assertion 2 . . . . . . . . . . . . . . . . . . . . . . . . . . 4
I.3 Formule de Clozel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
II Les traces tordues compactes sur GL(2n + 1) . . . . . . . . . . . . . . . . . . . . . . 9
II.1 Les representations considerees . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
II.1.1 L’involution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
II.1.2 Les representations -stables considerees . . . . . . . . . . . . . . . . 9
II.2 Notations des caracteres non rami es, le caractere . . . . . . . . . . . . . . . 10
II.3 Filtration de Bernstein-Zelevinsky . . . . . . . . . . . . . . . . . . . . . . . . . 11
II.4 Normalisation des operateurs d’entrelacement . . . . . . . . . . . . . . . . . . 12
II.4.1 Algebre de Hecke-Iwahori de GL(2n + 1;F ) . . . . . . . . . . . . . . 12
II.4.2 La droite D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
II.4.3 Algebre de Hecke spherique . . . . . . . . . . . . . . . . . . . . . . . 13
II.4.4 Automorphisme deH(G;I) . . . . . . . . . . . . . . . . . . . . . . 13
II.4.5 Les series principales non rami ees et leurs invariants par I . . . . . 14
II.4.6 Les representations en question et leurs invariants par I . . . . . . . 14
II.4.7 Normalisation de A : ’ . . . . . . . . . . . . . . . . . . . . . 15
KMII.4.8 Les espaces V . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15N
III Le cas GL(5) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
III.1 Calculs dans les cas symetriques . . . . . . . . . . . . . . . . . . . . . . . . . 17
III.1.1 Determination de l’operateur A : ’ . . . . . . . . . . . . . . . 17
III.1.2 Action de A sur les modules de Jacquet ; P = MN2P . . . . . 18N
III.1.3 Transformation de Satake . . . . . . . . . . . . . . . . . . . . . . . . 18
III.1.4 Formule pour tr . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 N
III.1.5 Calculs explicites de tr . . . . . . . . . . . . . . . . . . . . . . . . 19 c
III.2 Cas 5 : =St St St . . . . . . . . . . . . . . . . . . . . . . . . . . . 221 3 1
III.2.1 Rappels sur les operateurs d’entrelacement . . . . . . . . . . . . . . . 22
III.2.2 Construction de A : ’ . . . . . . . . . . . . . . . . . . . . . . 23
III.2.3 Action de A sur le module de Jacquet . . . . . . . . . . . . . . . . 25U
III.2.4 de A sur , ou P = P . . . . . . . . . . . . . . . . . . . 27N 2;1;2
III.2.5 Action de A sur , ou P = P . . . . . . . . . . . . . . . . . . . 28N 1;3;1
III.2.6 P = GL(5) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
7III.2.7 Formule explicite de tr . . . . . . . . . . . . . . . . . . . . . . . . 28 c
III.3 Transformation de Satake des traces tordues compactes . . . . . . . . . . . . . 29
III.3.1 Cas symetriques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
III.3.2 Cas =St St St . . . . . . . . . . . . . . . . . . . . . . . . 311 3 1
IV Integrales orbitales unipotentes stables sur Sp(4) . . . . . . . . . . . . . . . . . . . . 33
IV.1 Formule de Rao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
IV.2 Distributions stablement invariantes a support unipotent . . . . . . . . . . . . 33
IV.3 Formule de Macdonald . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
IV.4 Transformation de Satake . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
IV.4.1 Annulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
IV.4.2 Autres cas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
IV.4.3 Calcul de I . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374
IV.4.4 Transformation de Satake de I . . . . . . . . . . . . . . . . . . . . . 394
IV.5 Comparaison entre GL(5) et Sp(4) . . . . . . . . . . . . . . . . . . . . . . . . 41
V Le cas general, reduction au cas ou =; . . . . . . . . . . . . . . . . . . . . . . . . . 43
V.1 Le theoreme de reduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
V.2 Demonstration du theoreme V.1.1 . . . . . . . . . . . . . . . . . . . . . . . . . 44
V.2.1 Operateur d’entrelacement A : ’ . . . . . . . . . . . . . . . . 45
V.2.2 Reduction aux espaces de dimension nie . . . . . . . . . . . . . . . . 45
V.2.3 Action de A(f ) sur la basef g . . . . . . . . . . . . . . . 46 c x;i;j;k
V.2.4 Decomposition de tr (f) . . . . . . . . . . . . . . . . . . . . . . . 47 c
V.2.5 Le terme tr St . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49c h
V.2.6 Transformation de Satake du terme tr St . . . . . . . . . . . . . . . 51c h
V.2.7 Fin de la demonstration . . . . . . . . . . . . . . . . . . . . . . . . . 51
V.2.8 Demonstrations des lemmes V.2.3, V.2.5 et V.2.6 . . . . . . . . . . . 52
VI Le cas =St . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 532n+1
VII Le cas =St St St . . . . . . . . . . . . . . . . . . . . . . . . . . . . 552h+1 2k+1 1
VII.1 Le module de Jacquet , ou B = TU . . . . . . . . . . . . . . . . . . . . . . 55U
VII.1.1 Decomposition de en somme de sous-espaces caracteristiques . . . 55U
VII.1.2 De nition de i . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56max
VII.1.3 Construction de % . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
VII.1.4 Une baseB pour E [] . . . . . . . . . . . . . . . . . . . . . . . . . 58 U
VII.1.5 Action de T surB . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
VII.1.6 de A surB . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
VII.1.7 Formule pour tr [] et tr . . . . . . . . . . . . . . . . . . . . . 59 U U
stVII.2 Les modules de Jacquet ou P = MN2P . . . . . . . . . . . . . . . . 60N
KMVII.2.1 Decomposition de V en somme de sous-espaces caracteristiques . 60
N
VII.2.2 De nition de i . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60P;max
VII.2.3 Construction de % . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
VII.2.4 Formule pour tr [] . . . . . . . . . . . . . . . . . . . . . . . . . . 63 N
VII.3 Calculs explicites de tr . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 c
VII.3.1 Une section pour 7 !res () . . . . . . . . . . . . . . . . . . . . . 64P
VII.3.2 Reecriture de la formule VII.3.0.1 . . . . . . . . . . . . . . . . . . . . 64
VII.3.3 Form