Ann. scient. Éc. Norm. Sup., 4e série, t.27, 1994, p. 345 à 406.

GROUPES RÉDUCTIFS NON CONNEXES

Par François DIGNE Et Jean MICHEL

Abstract. — We develop a Deligne-Lusztig theory for the complex characters of a non-connected reductive group over a finite field.

Résumé. — Nous développons une théorie de Deligne-Lusztig pour les caractères d’un groupe réductif non connexe sur un corps fini.

0. Introduction

Soit G un groupe réductif non connexe, défini sur 𝔽_{q}, et soit F l’endomorphisme de Frobenius correspondant. Nous développons une théorie de Deligne-Lusztig pour les caractères de G^{F}. L’idée qu’une telle théorie devait exister nous a été suggérée par G. Malle qui a étudié les caractères de groupes de la forme G⋊<σ> où G est connexe et σ est un automorphisme du diagramme de G.

L’analogie de cette théorie avec le cas des groupes connexes est rendue plus frappante par l’usage systématique des notions d’éléments quasi-semi-simples, et de “tores” de G, qu’on peut déjà trouver dans Steinberg [13] et qui généralisent les notions de tore maximal et d’élément semi-simple dans un groupe connexe.

Nous commençons dans le §1 par développer ces notions, dans un groupe réductif (non connexe) sur un corps quelconque, ainsi que celle, que nous introduisons, d’élément quasicentral (les éléments quasi-centraux unipotents ont déjà été considérés par Spaltenstein [12]). La notion d’élément quasi-central se révèle très importante : si σ est quasi-central, les caractères de Deligne-Lusztig que nous construisons sur G^{∘}^{F} .σ sont intimement liés aux caractères de Deligne-Lusztig sur ((G^{σ})^{∘})^{F} (voir les résultats du §4).

Nous montrons au §2 que les fonctions de classe sur G^{∘}.σ engendrées par les caractères de Deligne-Lusztig (fonctions “uniformes”) ne dépendent que du groupe G^{∘}.<σ>. Nous supposons que G est de cette forme dans la suite, et nous développons dans ce cadre la théorie des fonctions de σ-classe uniformes sur G^{∘}^{F} qui suit la théorie usuelle : nous démontrons une formule de Mackey pour les foncteurs de Lusztig, démontrons que la fonction caractéristique des éléments quasi-semi-simples est uniforme, etc…

Enfin au §5, nous introduisons des fonctions de σ-classe unipotentes analogues au “caractères fantômes”, et les décomposons en caractères irréductibles, obtenant ainsi la décomposition sur les caractères irréductibles de nos caractères de Deligne-Lusztig généralisés, dans le cas unipotent.

annales scientifiques de l’école normale supérieure – 0012-9593/94/03/$ 4.00/◯^{c}Gauthier-Villars

1. Préliminaires sur les groupes réductifs non connexes

Dans cette partie, nous considérons des groupes algébriques linéaires (non nécessairement connexes) sur un corps algébriquement clos k quelconque jusqu’au n^{∘} 1.34; par la suite k sera une clôture algébrique d’un corps fini. Les groupes seront supposés réductifs à partir de 1.6.

Nous notons dans la suite G^{∘} la composante neutre d’un groupe algébrique G; si σ est un automorphisme d’un groupe G, nous noterons ^{σ}x l’image de x ∈ G par σ, et G^{σ} l’ensemble des points fixes de σ dans G. Pour g ∈ G, nous noterons souvent g l’automorphisme ad g de G, ce qui nous amènera à écrire ^{g}x pour gxg^{−1} et G^{x} pour C_{G}(x).

Définition 1.1. —

(i) (Steinberg) Un automorphisme d’un groupe algébrique connexe G est dit quasisemi-simple s’il stabilise un couple formé d’un tore maximal de G et d’un sousgroupe de Borel le contenant.

(ii) Un élément d’un groupe algébrique G sera dit quasi-semi-simple s’il induit (par conjugaison) un automorphisme quasi-semi-simple de G^{∘}.

La notion d’élément quasi-semi-simple est légèrement abusive car elle n’est pas absolue, mais relative au groupe G ambiant (voir cependant 1.7 (iii)).

Définition 1.2. — Soit G un groupe algébrique, et T^{∘} ⊂ B^{∘} un couple formé d’un tore maximal de G et d’un sous-groupe de Borel le contenant; on appellera “Borel” de G le groupe B = N_{G}(B^{∘}) et “tore” de G le groupe T = N_{G}(T^{∘}, B^{∘}).

Un élément de G est donc quasi-semi-simple si et seulement si il est dans un “tore”. Remarquons que, tous les sous-groupes de Borel de G^{∘} étant conjugués sous G^{∘} et tous

les tores maximaux de B^{∘} étant conjugués sous B^{∘}, on peut trouver des représentants de G/G^{∘} dans T = N_{G}(T^{∘}, B^{∘}), donc G = T.G^{∘}, d’où un isomorphisme T/T^{∘} ≃ G/G^{∘} car G^{∘} ∩ T = T^{∘}. On voit aussi que l’action par conjugaison de G^{∘} est transitive sur les couples T ⊂ B formés d’un “tore” et d’un “Borel” de G.

Les notions de “Borel” et de “tore” ont des similarités avec les notions ordinaires qui apparaîtront dans la suite. Notons que T dépend du choix de B^{∘} : si ^{w}B^{∘} (avec w ∈ W_{G^{∘}}(T^{∘}) = N_{G^{∘}}(T^{∘})/T^{∘}) est un autre sous-groupe de Borel de G^{∘} contenant T^{∘}, on a N_{G}(T^{∘},^{w}B^{∘}) = ^{w}T; on a N_{G}(T^{∘})/T^{∘} ≃ W_{G^{∘}}(T^{∘})⋊(T/T^{∘}), et ^{w}T = T si et seulement si w ∈ W_{G^{∘}}(T^{∘}) est invariant par tous les automorphismes de W_{G^{∘}}(T^{∘}) induits par les éléments de T/T^{∘}.

Steinberg a démontré la proposition suivante, qui justifie un peu les termes “quasisemi-simple” et “Borel” :

Proposition 1.3. — Soit G un groupe algébrique linéaire. Alors

(i) Tout élément de G est dans un “Borel” de G (cf. [13, 7.2]).

(ii) Tout élément semi-simple de G est dans un “tore” de G (cf. [13, 7.5]).

Nous utiliserons la généralisation suivante de la définition 1.2 :

Définition 1.4. — Soit G un groupe algébrique linéaire, et L^{∘} un sous-groupe de Levi d’un sous-groupe parabolique P^{∘} de G^{∘}; on appellera “parabolique” de G le groupe P = N_{G}(P^{∘}) et “Levi” de G le groupe L = N_{G}(P^{∘}, L^{∘}).

Comme dans le cas des tores, on peut voir que L ∩ G^{∘} = L^{∘}.

Attention. — Si T ⊂ B est un “tore” inclus dans un “Borel” de G, B^{∘} ⊂ P^{∘} n’implique pas B ⊂ P, pas plus que T^{∘} ⊂ L^{∘} n’implique T ⊂ L.

De même que pour les sous-groupes paraboliques, les “paraboliques” ont une décomposition de Levi :

Proposition 1.5. — Si P est un “parabolique” d’un groupe algébrique linéaire G, et si L est un “Levi” de P, alors P = U⋊L où U est le radical unipotent de P^{∘}.

Preuve. — Si p ∈ P, alors ^{p}U^{∘} = U^{∘} car U^{∘} est caractéristique dans P^{∘}. Donc (^{p}L^{∘}, U^{∘}) est une décomposition de Levi de P^{∘} et donc ^{p}L^{∘} = ^{u}L^{∘} pour un certain u ∈ U^{∘}, donc pu^{−1} ∈ L.

Remarquons qu’un “tore” T d’un “Levi” L comme ci-dessus est toujours inclus dans un “tore” de G, car les éléments de T normalisent U et normalisent par définition un sous-groupe de Borel B^{∘} de L^{∘}, donc normalisent (T^{∘}, B^{∘}.U), un couple formé d’un tore maximal de G^{∘} et d’un sous-groupe de Borel le contenant.

Nous considérons dorénavant des groupes réductifs. La propriété suivante des automorphismes quasi-semi-simples généralise en quelque sorte leur définition :

Proposition 1.6. — Soit σ un automorphisme quasi-semi-simple d’un groupe réductif connexe, et soit L ⊂ P un sous-groupe de Levi d’un sous-groupe parabolique de G. Alors, si la G-orbite (pour l’action par conjugaison) du couple L ⊂ P est σ-stable, elle contient un couple σ-stable.

Preuve. — L’hypothèse dit qu’il existe g ∈ G tel que ^{gσ}(L, P) = (L, P). Soit T ⊂ B un couple formé d’un tore maximal de L et d’un sous-groupe de Borel de P le contenant. Deux tels couples sont conjugués par L, donc il existe l ∈ L tel que ^{gσ}(T, B) = ^{l}(T, B). D’autre part, σ étant quasi-semi-simple, il existe un couple formé d’un tore maximal σ-stable de G et d’un sous-groupe de Borel σ-stable le contenant. Ce couple est conjugué à T ⊂ B par un élément h ∈ G. On a donc :

h(T, B) = ^{σ}(^{h}(T, B)) = ^{^{σ}hσ}(T, B) = ^{^{σ}hg^{−1}l}(T, B)

d’où h^{−1}^{σ}hg^{−1}l ∈ T, donc ^{σ}hg^{−1}l et h ont même action sur (L, P); on en déduit que le couple ^{h}(L, P) est σ-stable, ce qui démontre la proposition, car :

σ(^{h}(L, P)) = ^{^{σ}h}(^{σ}(L, P)) = ^{^{σ}hg^{−1}}(L, P) = ^{^{σ}hg^{−1}l}(L, P) = ^{h}(L, P).

Nous étudions maintenant les points fixes d’un automorphisme quasi-semi-simple, ce qui généralise l’étude du centralisateur d’un élément semi-simple. Notons que le (iii) de la proposition suivante montre que si un élément d’un groupe réductif est quasi-semi-simple, il l’est dans tout “Borel” le contenant.

Proposition 1.7. — Soit G un groupe algébrique réductif connexe et soit σ un automorphisme quasi-semi-simple de G stabilisant T ⊂ B, un couple formé d’un tore maximal et d’un sous-groupe de Borel le contenant; alors

(i) Soit B = U⋊T la décomposition de Levi de B. Un élément h ∈ G vérifie h^{−1}^{σ}h ∈ B si et seulement si h = unv où u ∈ U^{σ} ∩ ^{n}U^{−}, où n ∈ N_{G}(T) représente un élément σ-fixe de W_{G}(T), et où v ∈ U.

(ii) Un élément h ∈ G vérifie h^{−1}^{σ}h ∈ T si et seulement si h = unv avec u, n, v

comme dans (i) et de plus h^{−1}^{σ}h = n^{−1}^{σ}n. (iii) Tout sous-groupe de Borel σ-stable contient un tore maximal σ-stable.

Preuve. — Écrivons h sous la forme unv avec n ∈ N_{G}(T), u ∈ U ∩ ^{n}U^{−}, et v ∈ U (décomposition de Bruhat avec unicité des trois facteurs). On a alors h^{−1}^{σ}h = v^{−1}n^{−1}u^{−1}^{σ}u^{σ}n^{σ}v. Si h^{−1}^{σ}h est dans B on en déduit n^{−1}u^{−1}^{σ}u^{σ}n ∈ B. Or si B ∩ n^{−1}B^{σ}n est non vide alors n^{−1}^{σ}n est dans T d’après les axiomes des systèmes de Tits. On a donc n^{−1}u^{−1}^{σ}u^{σ}n = ^{n^{−1}}(u^{−1}^{σ}u)n^{−1}^{σ}n ∈ U^{−}T ∩ B = T, donc sa partie dans U^{−} qui est ^{n^{−1}}(u^{−1}^{σ}u) doit être triviale i.e., u ∈ U^{σ}; ceci prouve (i) (la réciproque est évidente).

Si de plus h^{−1}^{σ}h est dans T, on voit que v^{−1}n^{−1}^{σ}n^{σ}v est dans T. Cet élément de B est donc égal à sa composante dans T qui vaut n^{−1}^{σ}n, d’où (ii).

Démontrons (iii). Tout sous-groupe de Borel est de la forme ^{h}B, où h ∈ G et ^{h}B est σstable si et seulement si h^{−1}^{σ}h ∈ N_{G}(B) = B. Écrivons alors h sous la forme unv comme dans la conclusion de (i). Le tore ^{hv^{−1}}T de ^{h}B est σ-stable car (hv^{−1})^{−1}^{σ}(hv^{−1}) = n^{−1}^{σ}n est dans N_{G}(T).

Le théorème suivant, qui généralise des résultats de Steinberg [13, 8 et 9], donne la structure des points fixes d’un automorphisme quasi-semi-simple d’un groupe réductif.

Théorème 1.8. — Soit σ un automorphisme quasi-semi-simple d’un groupe réductif connexe G. Alors

(i) Le groupe G^{σ} est un groupe réductif et G^{σ}/(G^{σ})^{∘} est formé d’éléments semisimples.

(ii) Pour tout sous-groupe parabolique σ-stable de G, de radical unipotent V, le

groupe V^{σ} est connexe. (iii) Soit T ⊂ B un couple formé d’un tore maximal σ-stable de G et d’un sous-groupe

de Borel σ-stable le contenant. Alors le groupe B ∩ (G^{σ})^{∘} est un sous-groupe de Borel de (G^{σ})^{∘} et T ∩ (G^{σ})^{∘} est un tore maximal de (G^{σ})^{∘}.

(iv) Réciproquement, si S est un tore maximal de (G^{σ})^{∘}, alors C_{G}(S) est un tore maximal de G et tout sous-groupe de Borel de (G^{σ})^{∘} contenant S est inclus dans un sous-groupe de Borel σ-stable de G contenant C_{G}(S) (il y a donc bijection entre les tores maximaux de (G^{σ})^{∘} et les tores maximaux σ-stables de G inclus dans un sous-groupe de Borel σ-stable).

(v) Soit T ⊂ B un couple formé d’un tore maximal σ-stable et d’un sous-groupe de Borel σ-stable le contenant. Si α est une racine de G relativement à T, si λ ↦ x_{α}(λ) est le sous-groupe à un paramètre correspondant, et si i est le plus petit entier tel que ^{σ^{i}}α = α, on définit C_{σ,α} ∈ k^{×} par ^{σ^{i}}x_{α}(λ) = x_{α}(C_{σ,α}λ). Alors il existe une surjection naturelle de l’ensemble des orbites sous σ vérifiant la condition

C_{σ,α} = ±1,  (∗)

où −1 n’est autorisé que s’il existe deux racines de l’orbite dont la somme est une racine, sur l’ensemble des racines de (G^{σ})^{∘} relativement à (T^{σ})^{∘}. Cette surjection est bijective et tous les C_{σ,α} valent 1, sauf si le diagramme de Dynkin de G possède k composantes de type A_{2n} permutées circulairement par σ où σ^{k} agit par “retournement” de chacune de ces composantes. Alors, pour toute racine α telle que α + ^{σ^{k}}α soit une racine les orbites de α et de α + ^{σ^{k}}α ont même image et C_{σ,α} = −C_{σ,α+^{σ^{k}}α}.

Preuve. — Une grande partie de ces résultats est démontrée dans [13], précisément : La propriété (i) est démontrée dans [13, 9.4] quand G est semi-simple. Steinberg prouve

aussi que si de plus G est simplement connexe alors G^{σ} est connexe.

La propriété (ii) est démontrée dans [13, 8.2 (2)] pour le radical unipotent d’un sous-groupe de Borel, mais la démonstration s’applique aussi bien à un sous-groupe parabolique.

La propriété (iii) est démontrée dans [13, 8.2] quand G est semi-simple et simplement connexe.

La propriété (v) dans le cas d’un groupe semi-simple simplement connexe est conséquence des calculs de [13, 8.2 (2)]. Si U_{α} est l’image de x_{α} et o(α) l’orbite de α, Steinberg montre que le plus petit sous-groupe σ-stable contenant U_{α} n’a de points fixes non triviaux sous σ que si α vérifie la propriété (*), auquel cas l’ensemble des points fixes sous σ est un sous-groupe à un paramètre. Ce plus petit sous-groupe σ-stable est ∏_{β∈o(α)} U_{β} si la somme de deux racines de o(α) n’est jamais une racine. Sinon on est dans le cas décrit dans l’énoncé où G possède k composantes de type A_{2n} et le sous-groupe est ∏_{β∈o(α)} U_{β} ∏_{β∈o(α+^{σ^{k}}α)} U_{β}. À l’aide du lemme 1.9 ci-dessous on déduit facilement (v) dans le cas général en comparant G au recouvrement simplement connexe de son dérivé.

L’essentiel du travail va donc être de se ramener aux cas traités dans [13]. Pour cela nous utiliserons en particulier le résultat suivant de [13] :

Lemme 1.9. — Soit G un groupe algébrique semi-simple connexe. Soit G̃ le recouvrement simplement connexe de G et σ un automorphisme quasi-semi-simple de G. Alors σ peut se relever en un unique automorphisme de G̃ et l’image de (G̃)^{σ} dans G est (G^{σ})^{∘}.

Preuve. — Voir [13, 9.2 (a) et 9.16]

Commençons par (i). Le radical unipotent de G^{σ} étant un groupe connexe unipotent est dans D(G), et même dans (D(G)^{σ})^{∘}. Ce dernier groupe est réductif (puisque D(G) est semi-simple), donc le radical unipotent de G^{σ} est trivial. On se ramène de même au cas où G est semi-simple pour la deuxième partie de (i) : si u ∈ G^{σ} est unipotent, alors u ∈ D(G)^{σ} donc u ∈ (D(G)^{σ})^{∘} ⊂ (G^{σ})^{∘}.

Démontrons maintenant que (iii) implique (iv). Soit S un tore maximal de (G^{σ})^{∘}. Comme centralisateur d’un tore, C_{G}(S) est un sous-groupe de Levi d’un sous-groupe parabolique de G (cf. par exemple [5], 1.22). La restriction de σ à C_{G}(S) est encore un automorphisme quasi-semi-simple. En effet si T ⊂ B est un couple formé d’un tore maximal σ-stable de G et d’un sous-groupe de Borel σ-stable le contenant, d’après (iii) (T^{σ})^{∘} est un tore maximal de (G^{σ})^{∘}, donc est conjugué à S par un certain x ∈ (G^{σ})^{∘}. Alors (^{x}T,^{x}B∩C_{G}(S)) est un couple formé d’un tore maximal σ-stable de C_{G}(S) et d’un sous-groupe de Borel σ-stable le contenant, d’où notre assertion. Le groupe (C_{G}(S)^{σ})^{∘} est donc réductif par (i). Ce groupe est égal à S : en effet, soit S′ un tore maximal de ce groupe : on a nécessairement S′ ⊂ S; sinon, le produit SS′ serait un tore de G^{σ} strictement plus grand que S, d’où une contradiction. On conclut alors que C_{G}(S) est un tore par le :

Lemme 1.10. — Soit σ un automorphisme quasi-semi-simple d’un groupe réductif G tel que (G^{σ})^{∘} soit central dans G. Alors G est un tore.

Preuve. — Soit (T, B) un couple formé d’un tore maximal σ-stable de G et d’un sousgroupe de Borel σ-stable le contenant; on a Y (T^{σ}) = Y ((T^{σ})^{∘}). L’action de σ sur Y (T) induit une permutation de l’ensemble des coracines positives; si G n’est pas un tore, cet ensemble est non vide; soit α^{∨} un de ses éléments; alors la somme des éléments de l’orbite de α^{∨} sous σ est un élément σ-stable de Y (T), qui n’est pas orthogonal à toutes les racines; il correspond à un sous-groupe à un paramètre de (G^{σ})^{∘} non central dans G, d’où une contradiction.

Pour voir que tout sous-groupe de Borel B_{1} contenant S est inclus dans un sous-groupe de Borel σ-stable de G contenant C_{G}(S), notons que si T ⊂ B est un couple formé d’un tore maximal σ-stable de G et d’un sous-groupe de Borel σ-stable le contenant alors par (iii) (T^{σ})^{∘} ⊂ (B^{σ})^{∘} est un couple formé d’un tore maximal de (G^{σ})^{∘} et d’un sous-groupe de Borel le contenant, donc il existe x ∈ (G^{σ})^{∘} tel que ^{x}((T^{σ})^{∘} ⊂ (B^{σ})^{∘}) = (S ⊂ B_{1}); alors ^{x}B est un sous-groupe de Borel σ-stable contenant C_{G}(S).

Il ne reste plus qu’à démontrer (iii). Supposons d’abord G semi-simple. Soit G̃⟶^{π}G le recouvrement simplement connexe du dérivé de G. Par 1.9, σ a un relèvement unique à G̃ que nous noterons encore σ, et on a π(G̃^{σ}) = (G^{σ})^{∘}. Si T ⊂ B est un couple formé d’un tore maximal σ-stable de G et d’un sous-groupe de Borel σ-stable le contenant, alors T̃ = π^{−1}(T) et B̃ = π^{−1}(B) sont σ-stables, et, par le cas des groupes semi-simples et simplement connexes, G̃^{σ} ∩B̃ est un sous-groupe de Borel du groupe réductif (connexe car G̃ est simplement connexe) G̃^{σ}. Puisque B̃ ⊃ ker π on a π(G̃^{σ} ∩ B̃) = (G^{σ})^{∘} ∩ B, et puisque G̃^{σ}⟶^{π}(G^{σ})^{∘} est toujours une isogénie de noyau central, l’image du sous-groupe de Borel G̃^{σ} ∩ B̃ de G̃^{σ} est un sous-groupe de Borel, d’où le résultat dans ce cas.

Nous ne supposons plus maintenant G semi-simple. Soit B = U⋊T la décomposition de Levi de B; le groupe U^{σ} est un sous-groupe unipotent connexe maximal de (G^{σ})^{∘} (car un tel groupe étant unipotent est dans DG donc dans ((DG)^{σ})^{∘} où U^{σ} est maximal comme on vient de le voir) donc le groupe N_{(G^{σ})^{∘}}(U^{σ}) est un sous-groupe de Borel de (G^{σ})^{∘} qui contient B ∩ (G^{σ})^{∘}. Donc il suffit de voir qu’un tore maximal de B ∩ (G^{σ})^{∘} est un tore maximal de (G^{σ})^{∘}. Soit S′ un tore maximal de B ∩ ((DG)^{σ})^{∘}, et soit S un tore maximal de B ∩ (G^{σ})^{∘} contenant S′. Par (iv) pour un groupe semi-simple, C_{DG}(S′) est un tore, donc C_{G}(S′) = (ZG)^{∘}C_{DG}(S′) aussi, et donc C_{G}(S) ⊂ C_{G}(S′) aussi. Donc C_{G}(S) est un tore maximal de G qui est donc l’unique tore maximal contenant S, donc est égal à T. On en déduit que S est bien un tore maximal de (G^{σ})^{∘}; en effet si S′ ⊃ S est un tore de (G^{σ})^{∘} alors S′ ⊂ C_{G}(S) donc S′ ⊂ T, d’où S′ ⊂ B∩(G^{σ})^{∘} et donc S′ = S par maximalité de S dans B ∩ (G^{σ})^{∘}.

Nous donnons maintenant une conséquence pour les sous-groupes paraboliques des théorèmes précédents.

Proposition 1.11. — Sous les hypothèses de 1.8, on a

(i) Tout sous-groupe parabolique σ-stable de G possède un sous-groupe de Levi σstable.

(ii) Si L est un sous-groupe de Levi σ-stable d’un sous-groupe parabolique σ-stable P de G, alors P ∩ (G^{σ})^{∘} est un sous-groupe parabolique de (G^{σ})^{∘} ayant L ∩ (G^{σ})^{∘} comme sous-groupe de Levi.

Preuve. — Si P est le sous-groupe parabolique de (i), par 1.3 (i) P contient un sousgroupe de Borel σ-stable B. Par 1.7 (iii) B contient un tore maximal σ-stable T. L’unique sous-groupe de Levi de P contenant T est alors σ-stable.

De plus, par 1.8 (iii) on voit que B ∩ (G^{σ})^{∘} est un sous-groupe de Borel de (G^{σ})^{∘}. Étant un sous-groupe fermé de (G^{σ})^{∘} contenant un sous-groupe de Borel, le groupe P∩(G^{σ})^{∘} est un sous-groupe parabolique de (G^{σ})^{∘}. Si P = U⋊L est une décomposition de Levi de P où L est σ-stable, comme U^{σ} est connexe par 1.8 (ii) et que l’unicité de la décomposition p = lu (l ∈ L, u ∈ U) d’un élément de P donne p = ^{σ}p ⇔ l = ^{σ}l, u = ^{σ}u, d’où P ∩ (G^{σ})^{∘} = U^{σ}⋊(L ∩ (G^{σ})^{∘}), on en conclut que L ∩ (G^{σ})^{∘} est connexe et donc égal à (L^{σ})^{∘}; il est donc réductif par 1.8 (i) et est donc un complément de Levi de U^{σ}.

Proposition 1.12. — Soit σ un automorphisme quasi-semi-simple d’un groupe réductif connexe G et soit H un sous-groupe réductif connexe de rang maximum de G. Si H est σ-stable et si (H^{σ})^{∘} est un sous-groupe de rang maximum de (G^{σ})^{∘}, alors la restriction de σ à H est encore quasi-semi-simple.

Preuve. — Soit S un tore maximal de (H^{σ})^{∘}; par 1.8 (iv), le groupe T = C_{G}(S) est un tore maximal σ-stable de G inclus dans un sous-groupe de Borel σ-stable B. Ce tore contient C_{H}(S) qui est un sous-groupe de Levi de H, donc est égal à T. Donc σ stabilise (T, B ∩ H) un couple formé d’un tore maximal de H et d’un sous-groupe de Borel le contenant.

Remarque. — Le corollaire précédent s’applique en particulier au cas d’un sousgroupe de Levi σ-stable d’un sous-groupe parabolique σ-stable de G.

Proposition 1.13. —

(i) Soit σ un automorphisme quasi-semi-simple d’un groupe réductif connexe G, et soit T un tore maximal σ-stable inclus dans un sous-groupe de Borel σ stable; alors si g ∈ G vérifie g^{−1}^{σ}g ∈ T, alors g ∈ (G^{σ})^{∘}.N_{G}(T).

(ii) Deux éléments d’un “tore” T d’un groupe réductif G qui sont conjugués sous G^{∘} le sont sous N_{G^{∘}}(T^{∘}).

(ii) est l’analogue pour les groupes non connexes d’une propriété bien connue des groupes réductifs connexes.

Preuve. — (ii) est une conséquence de (i) : s’il existe g ∈ G^{∘} tel que ^{g}σ = σt où σ ∈ T et t ∈ T^{∘}, alors (i) appliqué à g^{−1} montre qu’on peut prendre g dans N_{G^{∘}}(T^{∘}).

Montrons (i). Si B est un sous-groupe de Borel σ-stable contenant T, alors le couple gT ⊂ ^{g}B est encore σ-stable puisque ^{σ}g ∈ gT. Comme (^{g}T)^{σ∘} et (T^{σ})^{∘} sont deux tores maximaux de (G^{σ})^{∘}, il existe h ∈ (G^{σ})^{∘} tel que (^{g}T)^{σ∘} = ^{h}(T^{σ})^{∘} = (^{h}T)^{σ∘}. Vu la bijection de 1.8 (iv) on a donc ^{g}T = ^{h}T, d’où g ∈ hN_{G}(T), ce qui démontre (i).

Lemme 1.14. — Soit σ = σ_{s}σ_{u} la décomposition de Jordan d’un élément d’un groupe réductif G. Alors σ est quasi-semi-simple si et seulement si il induit un automorphisme quasi-semi-simple de (G^{σ_{s}})^{∘}.

Preuve. — Supposons σ quasi-semi-simple dans G. Alors il existe T ⊂ B, un “tore” et un “Borel” contenant σ, donc σ_{s} et σ_{u}. Alors (T^{σ_{s}})^{∘} ⊂ (B^{σ_{s}})^{∘} est un couple formé d’un tore maximal σ-stable de (G^{σ_{s}})^{∘} et d’un sous-groupe de Borel σ-stable le contenant, donc σ induit un automorphisme quasi-semi-simple de (G^{σ_{s}})^{∘}.

Réciproquement, par 1.3 (i), il existe un sous-groupe de Borel B^{∘} de G^{∘} fixe par σ; ce sous-groupe de Borel est donc fixe par σ_{s} et σ_{u}. Comme σ_{s} est semi-simple il est en particulier quasi-semi-simple et donc par 1.8 (iii) (B^{σ_{s}})^{∘} est un sous-groupe de Borel de (G^{σ_{s}})^{∘}, et ce sous-groupe de Borel est par construction σ-stable. Comme σ induit un automorphisme quasi-semi-simple de (G^{σ_{s}})^{∘}, ce sous-groupe de Borel contient un tore maximal σ-stable S de (G^{σ_{s}})^{∘}. Alors C_{G^{∘}}(S) est un tore maximal σ-stable de B^{∘}, d’où le résultat.

Définition/Théorème 1.15. — Nous dirons qu’un automorphisme quasi-semi-simple σ d’un groupe réductif connexe G est quasi-central s’il vérifie une des conditions équivalentes suivantes :

(i) Il n’existe pas d’automorphisme quasi-semi-simple de la forme σ′ = σ ∘ ad g où g ∈ G tel que dim (G^{σ})^{∘} < dim(G^{σ′})^{∘}.

(ii) Tout sous-groupe de Borel de (G^{σ})^{∘} est contenu dans un unique sous-groupe de

Borel σ-stable de G. (iii) Il existe un tore maximal σ-stable T inclus dans un sous-groupe de Borel σ-stable

tel que W_{G}(T)^{σ} = W_{(G^{σ})^{∘}}((T^{σ})^{∘}) (i.e., tout élément σ-stable de N_{G}(T)/T a un représentant dans N_{(G^{σ})^{∘}}(T)).

(iii’) Tout tore maximal σ-stable T inclus dans un sous-groupe de Borel σ-stable a la

propriété (iii). (iv) Il existe T ⊂ B, un couple formé d’un tore maximal σ-stable et d’un sous-groupe

de Borel σ-stable le contenant tel que toute racine simple α de G relativement à (T, B) vérifie la condition (*) de 1.8 (v).

(iv’) Tout couple formé d’un tore maximal σ-stable et d’un sous-groupe de Borel σ-

stable le contenant a la propriété (iv). Un élément d’un groupe réductif G sera dit quasi-central s’il induit (par conjugaison)

un automorphisme quasi-central de G^{∘}.

De même que pour la notion d’élément quasi-semi-simple, la notion d’élément quasicentral est légèrement abusive.

Preuve. — Nous montrons d’abord que (i), (iv) et (iv’) sont équivalents. Soit T ⊂ B un couple formé d’un tore maximal σ-stable et d’un sous-groupe de Borel σ-stable le contenant. 1.8 (v) montre que les orbites de deux racines α et β correspondent à la même racine de (G^{σ})^{∘} si et seulement si les sommes sur l’orbite α+^{σ}α+… et β +^{σ}β +… sont proportionnelles. Donc, si nous notons Σ_{σ} l’ensemble des droites de X(T) engendrées par les sommes des racines sur chaque orbite sous σ, on a dim (G^{σ})^{∘} = dim (T^{σ})^{∘} + 2|(Σ_{σ})_{∗}| où (Σ_{σ})_{∗} dénote l’ensemble des droites de Σ_{σ} engendrées par la somme des racines d’une orbite vérifiant (*).

D’autre part, il est facile de voir en utilisant les relations de Chevalley que si toute racine simple vérifie (*) alors toute racine le vérifie †. Donc, si σ′ = σ ∘ ad t où t ∈ T, comme T^{σ′} = T^{σ}, on voit que σ′ vérifie (iv) pour le couple T ⊂ B si

† Note apportée pendant la lecture des épreuves : cette assertion n’est pas si facile a vérifier; nous la détaillerons à l’occasion d’une future publication. et seulement si dim(G^{σ′})^{∘} = dim (T^{σ})^{∘} + 2|Σ_{σ}| (et sinon la dimension de (G^{σ′})^{∘} est strictement plus petite que ce nombre). On peut toujours trouver un tel σ′ car C_{σ∘ad t,α} = α(t)^{σ}α(t) … C_{σ,α} : il suffit de choisir t tel que α(t)^{σ}α(t) … = C_{σ,α}^{−1} pour toute orbite de racines simples.

Ceci démontre l’équivalence de (iv) et de (i) pour les éléments de la forme σ ∘ ad t. Nous pouvons ramener à ce cas particulier l’équivalence de (i) et (iv’) : si σ′ = σ ∘ad g est quasi-semi-simple, quitte à remplacer σ′ par un conjugué, ce qui ne change pas dim(G^{σ′})^{∘}, on peut supposer que σ′ normalise T ⊂ B; dans ce cas ad g, étant un automorphisme intérieur qui normalise T ⊂ B, est de la forme ad t.

Voyons maintenant que (iii) pour un couple formé d’un tore maximal σ-stable et d’un sous-groupe de Borel σ-stable le contenant est équivalent à (iv) pour le même couple. Ce résultat est prouvé dans le cas des groupes semi-simples simplement connexes dans [13, 8.2] : voir (2′′′′) et (4) pour (iv)⇒(iii) et (7) pour la réciproque. Nous allons nous ramener à ce cas. Comme la propriété (*) porte sur l’action de σ sur les sous-groupes radiciels, qui sont dans DG, elle a lieu dans G si et seulement si elle a lieu dans DG. De même, si G̃ est le recouvrement simplement connexe de DG, comme σ se remonte de façon unique à G̃ (cf. 1.9) et comme la projection induit un isomorphisme des groupes radiciels de G̃ sur ceux de DG, la propriété (*) a lieu pour DG si et seulement si elle a lieu pour G̃.

De même, σ vérifie (iii) dans G si et seulement s’il le vérifie dans G̃. Voyons d’abord qu’il est équivalent qu’il le vérifie pour G ou pour DG : comme

N_{((DG)^{σ})^{∘}}(T) ⊂ N_{(G^{σ})^{∘}}(T)

et W_{G}(T)^{σ} = W_{DG}(T)^{σ}, (iii) pour DG l’implique pour G. Et, comme N_{(G^{σ})^{∘}}(T) = N_{(G^{σ})^{∘}}((T^{σ})^{∘}) (par 1.8 (iv)) et W_{G}(T)^{σ} = W_{DG}(T)^{σ}, si σ vérifie (iii) pour G alors tout élément de W_{DG}(T)^{σ} a un représentant dans N_{(G^{σ})^{∘}}((T^{σ})^{∘}); il en a donc un dans N_{D((G^{σ})^{∘})}((T^{σ})^{∘}) (puisque N_{(G^{σ})^{∘}}((T^{σ})^{∘}) = (T^{σ})^{∘}.N_{D((G^{σ})^{∘})}((T^{σ})^{∘})) d’où le résultat car D((G^{σ})^{∘}) ⊂ ((DG)^{σ})^{∘}.

Il reste à voir qu’il est équivalent que σ vérifie (iii) pour DG ou pour G̃, ce qui résulte du fait que par 1.9 la projection de G̃^{σ} = (G̃^{σ})^{∘} est ((DG)^{σ})^{∘}. On s’est bien ramené ainsi à la situation étudiée dans [13].

On voit facilement que (iii’)⇔(iii). En effet deux tores maximaux σ-stables T et T′ inclus dans des sous-groupes de Borel σ-stables vérifient T′ = ^{g}T avec g ∈ (G^{σ})^{∘} par 1.8 (iii) et (iv), d’où N_{(G^{σ})^{∘}}(T′) = ^{g}(N_{(G^{σ})^{∘}}(T)) et W_{G}(T′)^{σ} = ^{g}(W_{G}(T)^{σ}).

Il reste à voir que (iii’) est équivalent à (ii). D’après 1.8 (iii), comme σ est quasisemi-simple, tout sous-groupe de Borel de (G^{σ})^{∘} est de la forme B ∩ (G^{σ})^{∘}, où B est un sous-groupe de Borel σ-stable de G. Tout sous-groupe de Borel σ-stable contenant (B^{σ})^{∘} contient T (l’unique tore maximal de G contenant (T^{σ})^{∘}), donc est de la forme wB où w ∈ W_{G}(T)^{σ}; si σ vérifie (iii’), alors w a un représentant dans W_{(G^{σ})^{∘}}((T^{σ})^{∘}) donc ne peut fixer (B^{σ})^{∘} s’il est différent de 1. Réciproquement, si σ vérifie (ii), stabilise le couple T ⊂ B, et s’il existe un w dans W_{G}(T)^{σ} − W_{(G^{σ})^{∘}}((T^{σ})^{∘}), alors (^{w}B)^{σ∘} est un sous-groupe de Borel de (G^{σ})^{∘} contenant (T^{σ})^{∘}, donc est de la forme ^{v}(B^{σ})^{∘} avec v ∈ W_{(G^{σ})^{∘}}((T^{σ})^{∘}). Alors ^{v}B et ^{w}B sont deux sous-groupes de Borel distincts de G ayant même intersection avec (G^{σ})^{∘}.

Notons que si σ ∈ G^{∘} est un élément quasi-central d’un groupe réductif G, il est central dans G^{∘}; en effet, si T^{∘} est un tore maximal de G^{∘} contenant σ, on a W_{G^{∘}}(T^{∘})^{σ} = W_{G^{∘}}(T^{∘}) donc si σ est quasi-central c’est un élément de T^{∘} centralisé par N_{G^{∘}}(T^{∘}) donc tout G^{∘}.

Notons aussi qu’un conjugué d’un élément quasi-semi-simple (resp. quasi-central) est encore quasi-semi-simple (resp. quasi-central).

Nous montrerons ci-dessous (1.18) que dans la plupart des cas la propriété (ii) de l’énoncé 1.15 est vraie même sans la condition que le sous-groupe de Borel soit σ-stable.

Nous avons vu au début de la démonstration de 1.15 que

Proposition 1.16. — Si σ est un automorphisme quasi-semi-simple d’un groupe réductif G, et T est un tore maximal σ-stable inclus dans un sous-groupe de Borel σ-stable, alors il existe t ∈ T tel que σ ∘ ad t soit quasi-central.

Donnons un théorème général de structure des groupes réductifs non connexes.

Théorème 1.17. — Soit G un groupe réductif; alors tout “tore” T de G contient un sous-groupe fini A tel que G = G^{∘}.A et que A ∩ G^{∘} soit central dans G^{∘}.

Preuve. — Soient T ⊂ B un “tore” et un “Borel” de G, et soit (avec les notations de 1.8 (v)) A_{1} = { σ ∈ T = N_{G}(B^{∘}, T^{∘}) | ^{σ}x_{α}(λ) = x_{^{σ}α}(λ) pour tout α simple }, alors A_{1} est un groupe qui répond à la question à la finitude près. En effet on a T = T^{∘}.A_{1}. Comme il existe toujours des représentants de G/G^{∘} dans T, on a bien G = G^{∘}.A_{1}. D’autre part G^{∘} ∩ A_{1} est formé d’éléments quasi-centraux de G^{∘}, donc centraux dans G^{∘}. Enfin, d’après [Borel et Serre, “Théorèmes de finitude en cohomologie galoisienne, Comment. Math. Helv. 39 (1964), 111–164, lemme 5.11] dans le groupe algébrique A_{1} il existe un sous-groupe fini A tel que A_{1} = A_{1}^{∘}.A. Ce dernier groupe A répond aux conditions de l’énoncé.

On peut préciser 1.15 (ii) comme suit :

Remarque 1.18. — Si σ est un automorphisme quasi-central d’un groupe réductif connexe G, alors il existe un unique sous-groupe de Borel de G contenant un sousgroupe de Borel donné de (G^{σ})^{∘} sauf dans le cas où il existe une racine α dont la somme avec une autre racine de la même orbite sous σ est une racine, et C_{σ,α} = −1 (cf. 1.8 (v)).

Preuve. — Soit T ⊂ B un couple formé d’un tore maximal σ-stable de G et d’un sousgroupe de Borel σ-stable le contenant et supposons qu’il existe un sous-groupe de Borel de G autre que B contenant (B^{σ})^{∘}; cet autre sous-groupe de Borel est de la forme ^{w}B avec w ∈ W_{G}(T). Soit U le radical unipotent de B; on a U^{σ} ⊂ B∩^{w}B, d’où ^{w^{−1}}U^{σ} ⊂ B. Mais d’après l’analyse de [13, 8.2 (2′′′′)], cf. 1.8 (v), dans tous les cas où le produit de l’égalité (*) de 1.8 (v) ne vaut pas −1, pour toute racine simple α (de G par rapport à T et l’ordre déterminé par B) il existe un élément de la forme x_{α}(λ_{α})x_{^{σ}α}(λ_{^{σ}α}) … dans U^{σ} (où le produit porte sur toutes les racines de l’orbite sous σ de α) tel que λ_{α} ≠ 0. Si w ≠ 1, il existe α tel que ^{w^{−1}}α < 0 d’où une contradiction.

Comme expliqué dans 1.8 (v), pour étudier les situations où C_{σ,α} = −1 on peut supposer que G est de type A_{2n} et que α et ^{σ}α sont les deux racines du milieu avec C_{σ,α} = −1 (ce qui inclus le cas où C_{σ,α} = 1 et la caractéristique est 2). Cette situation est vraiment un contre-exemple, car

Remarque 1.19. — Sous les hypothèses ci-dessus, un sous-groupe de Borel de (G^{σ})^{∘} est contenu dans 2n sous-groupes de Borel σ-stables de G.

Preuve. — Le sous-groupe à un paramètre de U^{σ} correspondant à l’orbite {α,^{σ}α} est supporté par les x_{α+^{σ}α}(λ). Si

A_{2n} = α_{n}— ⋯ —α_{2}—α_{1}—^{σ}α_{1}—^{σ}α_{2}— ⋯ —^{σ}α_{n}

où on a posé α_{1} = α, alors tous les w de la forme s_{α_{i}}s_{α_{i−1}} … s_{α} (et tous les ^{σ}w où w est de cette forme) vérifient ^{w}B ⊃ (B^{σ})^{∘} : ils envoient toutes les racines simples sauf α (resp. ^{σ}α) sur des racines positives, ainsi que α +^{σ}α. Ce sont tous les w possibles car les w cherchés doivent être réduits par rapport au sous-système

α_{n}— ⋯ —α_{2}—(α + ^{σ}α)—^{σ}α_{2}— ⋯ —^{σ}α_{n}

qui est de type A_{2n−1}, donc il y en a au plus 2n.

Proposition 1.20. — Si σ est un automorphisme quasi-central d’un groupe réductif connexe, alors σ^{i} l’est pour tout i sauf dans le cas où il existe une racine simple telle que C_{σ,α} ≠ 1 (cf. 1.8 (v)).

En particulier, sauf dans le cas exclus dans l’énoncé ci-dessus, si σ est un élément quasi-central d’un groupe réductif G tel que σ^{i} ∈ G^{∘}, alors σ^{i} ∈ Z(G^{∘}).

Preuve. — En effet, si o(α) désigne l’orbite de α sous σ, on a C_{σ^{i},α} = C_{σ,α}^{i/ pgcd(i,|o(α)|)}. La racine α vérifie donc (*) pour σ^{i} sauf si C_{σ,α} = −1, si i/ pgcd(i, |o(α)|) est impair et si l’orbite de α sous σ^{i} ne contient pas deux racines dont la somme est une racine, ce qui arrive si α est une racine du milieu dans une composante de type A_{2n}, et |o(α)|/ pgcd(i, |o(α)|) est aussi impair.

Proposition 1.21. —

(i) Si σ est un automorphisme quasi-central d’un groupe réductif connexe G, deux couples formés d’un tore maximal σ-stable inclus dans un sous-groupe de Borel σ-stable sont conjugués sous (G^{σ})^{∘}.

(ii) Si σ est un automorphisme quasi-central d’un groupe réductif connexe G, si L est un sous-groupe de Levi σ-stable d’un sous-groupe parabolique σ-stable de G et si h ∈ G vérifie h^{−1}.^{σ}h ∈ L, alors h ∈ (G^{σ})^{∘}.L

(iii) Si L est un “Levi” d’un groupe réductif G, deux éléments quasi-centraux de G qui sont dans L et conjugués sous G^{∘} le sont sous L^{∘}.

Preuve. — (i) est une conséquence immédiate de 1.8 (iii), (iv) et de 1.15 (ii); en effet ces propriétés impliquent que T ⊂ B, un couple formé d’un tore maximal σ-stable de G et d’un sous-groupe de Borel σ-stable le contenant est l’unique tel couple contenant le couple formé d’un tore maximal de (G^{σ})^{∘} et d’un sous-groupe de Borel le contenant donné par (T^{σ})^{∘} ⊂ (B^{σ})^{∘}.

(iii) est conséquence de (ii). En effet si σ et ^{g}σ sont les deux éléments quasi-centraux, on peut appliquer (ii) à g^{−1}.

Montrons (ii) : si P est un sous-groupe parabolique σ-stable contenant L, l’hypothèse équivaut au fait que ^{h}L ⊂ ^{h}P sont encore σ-stables. L’élément σ induit encore un automorphisme quasi-semi-simple de L et de ^{h}L par la remarque qui suit 1.12, donc L (resp. ^{h}L) contient T ⊂ B (resp. T′ ⊂ B′), un couple formé d’un tore maximal σstable et d’un sous-groupe de Borel σ-stable le contenant. Les couples T ⊂ BV (resp. T′ ⊂ B′^{h}V), où V est le radical unipotent de P, étant formés d’un tore maximal de G inclus dans un sous-groupe de Borel σ-stable de G, sont d’après (i) conjugués par un élément g ∈ (G^{σ})^{∘}. Le couple ^{h^{−1}}T′ ⊂ ^{h^{−1}}B′ étant un couple formé d’un tore maximal de L et d’un sous-groupe de Borel le contenant est conjugué sous L à T ⊂ B. Il existe donc l ∈ L tel que lh^{−1}g ∈ N_{G}(T ⊂ B.V) = T, d’où le résultat.

Proposition 1.22. — Soit G un groupe réductif connexe; alors

(i) Si G n’a pas de composante quasi-simple de type A_{2n}, ou si k est de caractéristique 2, deux automorphismes quasi-centraux de G qui diffèrent par un automorphisme intérieur sont conjugués.

(ii) Si G est de type A_{2n} et char k ≠ 2, la classe modulo les automorphismes intérieurs d’automorphismes de G qui ne contient pas l’identité rencontre deux classes de conjugaison d’automorphismes quasi-centraux.

Preuve. — Soit σ un automorphisme quasi-central de G; nous voulons étudier quand σ ∘ ad g est conjugué à σ. Quitte à conjuguer par un élément de G, nous pouvons supposer que σ et σ ∘ ad g stabilisent le même couple T ⊂ B formé d’un tore maximal de G et d’un sous-groupe de Borel le contenant. Alors on a nécessairement g ∈ T. Pour démontrer la proposition, il nous suffit donc de démontrer l’énoncé suivant : σ et σ ∘ ad t sont conjugués si et seulement si C_{σ,α} = C_{σ∘ad t,α} pour toute racine simple α (en effet, si G n’a pas de composante de type A_{2n} les C_{σ,α} valent 1 pour toutes les racines simples et si G est de type A_{2n} il existe une seule orbite de racines simples où C_{σ,α} peut valoir −1, ce qui fait le nombre de possibilités annoncées dans l’énoncé). Remarquons d’abord que, par 1.21 (iii), si σ et σ ∘ ad t sont conjugués, ils le sont par un élément de T; ils sont donc conjugués si et seulement si t = ^{σ^{−1}}s.s^{−1} pour un certain s ∈ T. D’autre part, on a C_{σ∘ad t,α}/C_{σ,α} = α(t)^{σ}α(t) …; si t est de la forme ^{σ^{−1}}s.s^{−1} ce rapport vaut donc 1. Réciproquement, si ce rapport vaut 1 et si s est choisi tel que α(s) = 1, σα(s) = α(t), ^{σ^{2}}α(s) = α(t)^{σ}α(t), etc… pour toute racine simple α, alors t et ^{σ^{−1}}s.s^{−1} diffèrent par un élément sur lequel toutes les racines simples s’annulent, donc central, donc σ ∘ ad t = σ ∘ ad^{σ^{−1}}s.s^{−1} en tant qu’automorphisme et est donc conjugué à σ en tant qu’automorphisme.

La proposition précédente montre qu’un groupe réductif a un nombre fini de classes de conjugaison d’automorphismes quasi-centraux. Décrivons les classes différentes de l’identité pour les groupes quasi-simples :

• Dans le cas A_{2n+1}, il y a une classe d’automorphismes σ d’ordre 2; (G^{σ})^{∘} est de type C_{n+1}.

• Dans le cas A_{2n}, il y a deux classes si la caractéristique de k est différente de 2; σ est d’ordre 2 dans les deux cas; (G^{σ})^{∘} est de type C_{n} dans un cas et B_{n} dans l’autre. Décrivons des représentants des deux classes pour G = GL_{2n+1} : dans les deux cas σ est de la forme x ↦ g(^{t}x^{−1})g^{−1} pour un certain g ∈ G; si

on prend g = ( \begin{matrix}0 & & & & 1 \\ & . & . & . \\ 1 & & & & 0 \end{matrix} ) on obtient un automorphisme quasi-central tel que

G^{σ} ≃ O_{2n+1}, et si on prend g = ( \begin{matrix}0 & & & & & & & & −1 \\ & & & & & . & . & . \\ & & & & −1 \\ & . & . & . \\ 1 & & & & & & & & 0 \end{matrix} ) où il y a n coefficients

−1, on obtient un automorphisme quasi-central tel que G^{σ} ≃ SP_{2n} × {±1} (c’est dans ce cas qu’une des racines simples α vérifie C_{σ,α} = −1).

• Dans le cas D_{n} (n > 4), il y a une classe d’automorphismes σ d’ordre 2; (G^{σ})^{∘} est de type B_{n−1}. Si G est de type D_{4}, il y a une classe de conjugaison supplémentaire d’automorphismes quasi-centraux non triviaux dans le groupe de tous les automorphismes (6 classes de conjugaison en tout d’automorphismes quasicentraux sous les automorphismes intérieurs) qui contient des éléments d’ordre 3 tels que (G^{σ})^{∘} soit de type G_{2}.

• Enfin, dans le cas E_{6}, il y a une classe d’automorphismes σ d’ordre 2; (G^{σ})^{∘} est de type F_{4}.

Proposition 1.23. — Si σ est un automorphisme quasi-central d’un groupe réductif connexe G, et si L est un sous-groupe de Levi σ-stable d’un sous-groupe parabolique σ-stable de G, alors L = C_{G}(Rad((L^{σ})^{∘})).

Preuve. —

Lemme. — Sous les hypothèses ci-dessus, si L ⫋ G, alors (L^{σ})^{∘} ⫋ (G^{σ})^{∘}.

Preuve. — Soit T ⊂ B un couple formé d’un tore maximal σ-stable de G et d’un sousgroupe de Borel σ-stable le contenant, et soit Π la base correspondant à B des racines de G relatives à T. D’après [13, 8.3(b)], comme σ est quasi-central, si G est semi-simple alors (G^{σ})^{∘} l’est aussi et son rang est égal à |Π/σ|. Comme D((G^{σ})^{∘}) ⊂ (DG)^{σ∘} on en déduit qu’en général le rang semi-simple de (G^{σ})^{∘} est encore égal à |Π/σ|. D’après la remarque qui suit 1.12 σ est encore quasi-semi-simple dans L, donc on peut supposer dans ce qui précède que T ⊂ L. Alors L correspond à une partie σ-stable I ⫋ Π, et le rang semi-simple de (L^{σ})^{∘} est |I/σ| < |Π/σ| donc (L^{σ})^{∘} ⫋ (G^{σ})^{∘}.

Maintenant, dans la situation de la proposition, posons M = C_{G}(Rad((L^{σ})^{∘})). Comme centralisateur d’un tore, c’est un sous-groupe de Levi de G. Si S ⊂ (L^{σ})^{∘} est un tore maximal, alors L et M contiennent tous deux le tore maximal C_{G}(S) de G donc L ∩ M est encore un sous-groupe de Levi. D’autre part (M^{σ})^{∘} = C_{(G^{σ})^{∘}}(Rad((L^{σ})^{∘})) = (L^{σ})^{∘} donc le lemme prouve que L = M ∩ L = M (sinon par exemple M ∩ L ⫋ L mais (M ∩ L)^{σ∘} = (L^{σ})^{∘} ce qui contredit le lemme).

L’énoncé suivant est aussi démontré dans [12, II 3, 11].

Remarque 1.24. — Si G est un groupe réductif de la forme G^{∘}<σ>, où σ est un élément quasi-central, et L est un “Levi” de G contenant σ, alors la conclusion de la proposition précédente implique que L = C_{G}(Z(L)^{∘}).

Preuve. — En effet, on a alors L = L^{∘}<σ> donc d’après la proposition 1.23 il suffit de voir que Z(L)^{∘} ⊃ Rad((L^{σ})^{∘}); c’est aussi une conséquence de 1.23 qui dit que L^{∘} (donc L aussi) centralise Rad((L^{σ})^{∘}).

Dans le cas des automorphismes quasi-centraux nous pouvons généraliser comme suit 1.15 (ii) et 1.8 (iv) :

Corollaire 1.25. — Soit σ un automorphisme quasi-central d’un groupe réductif connexe G. Alors

(i) L’application P ↦ (P^{σ})^{∘} définit une bijection entre les sous-groupes paraboliques σ-stables de G et les sous-groupes paraboliques de (G^{σ})^{∘}.

(ii) L’application L ↦ (L^{σ})^{∘} définit une bijection entre les sous-groupes de Levi σstables de sous-groupes paraboliques σ-stables de G et les sous-groupes de Levi de (G^{σ})^{∘}. La bijection inverse est définie par L ↦ C_{G}(Rad(L)).

Preuve. — Au vu de 1.15 (ii), pour démontrer (i) on peut se limiter aux sous-groupes paraboliques de G qui contiennent un sous-groupe de Borel σ-stable B donné et aux sousgroupes paraboliques de (G^{σ})^{∘} qui contiennent (B^{σ})^{∘}. Si Π est une base du système de racines de G correspondant à B, la bijection de l’énoncé traduit alors la bijection entre les parties σ-stables de Π et les parties de Π/σ.

(ii) est une conséquence de 1.11 (ii) et de 1.23. La seule chose à vérifier est la surjectivité de l’application L ↦ (L^{σ})^{∘}. Soit M un sous-groupe de Levi d’un sous-groupe parabolique Q de (G^{σ})^{∘}. Par (i), il existe un sous-groupe parabolique σ-stable P de G tel que Q = (P^{σ})^{∘}. Soit L un sous-groupe de Levi de P : alors (L^{σ})^{∘} et M sont deux sousgroupes de Levi de (P^{σ})^{∘} = Q, donc sont conjugués par q ∈ Q, et on a M = ((^{q}L)^{σ})^{∘}, d’où la surjectivité de l’application.

Nous allons maintenant donner plusieurs applications du lemme suivant :

Lemme 1.26. — Si σ est un automorphisme d’ordre n du groupe abélien A, alors le sous-quotient H^{−1}(σ, A) de A donné par Ker(1+σ +⋯+σ^{n−1})/ Im(σ −1) est un groupe d’exposant divisant n.

Preuve. — En effet, modulo σ − 1, on a (1 + σ + ⋯ + σ^{n−1})x = nx.

Proposition 1.27. — Si σ est un automorphisme quasi-semi-simple d’ordre fini d’un groupe semi-simple connexe G, alors l’exposant de G^{σ}/(G^{σ})^{∘} divise l’ordre de σ et G^{σ}/(G^{σ})^{∘} est abélien.

Preuve. — La deuxième assertion de l’énoncé est démontrée dans [13, 9.4]. Nous la redémontrons ici. Si G̃⟶^{π}G est le recouvrement simplement connexe de G, alors par 1.9 σ se remonte de façon unique à G̃ et π(G̃^{σ}) = (G^{σ})^{∘}. Donc G^{σ}/(G^{σ})^{∘}. Ker π ≃ π^{−1}(G^{σ})/G̃^{σ}. Or π^{−1}(G^{σ}) = {x ∈ G̃ | x^{−1}^{σ}x ∈ Ker π}. L’application L_{σ} : x ↦ x^{−1}^{σ}x est une injection : π^{−1}(G^{σ})/G̃^{σ}⟶^{L_{σ}} Ker π et un morphisme de groupes (car Ker π est central). L’image contient (σ−1) Ker π = L_{σ}(Ker π) et est annulée par (1+σ+⋯+σ^{n−1}) où n est l’ordre de σ, car ^{σ}x = L_{σ}(x)x donne en itérant : ^{σ^{n}}x = ^{(1+σ+···+σ^{n−1})}L_{σ}(x)x. D’où le résultat (et on a montré que G^{σ}/(G^{σ})^{∘} est un sous-quotient de H^{−1}(σ, Ker π)).

Proposition 1.28. — Si σ est un automorphisme d’ordre fini d’un tore T, alors l’exposant de T^{σ}/(T^{σ})^{∘} divise l’ordre de σ.

T^{σ}/(T^{σ})^{∘} est isomorphe à la p′-torsion de X(T^{σ}). On a T^{σ} = Ker(L_{σ}) où L_{σ} est l’application t ↦ ^{σ}t.t^{−1}, d’où, par exactitude du foncteur X :

X(T^{σ}) = X(T)/(σ − 1)X(T).

Comme X(T)/ Ker(1 + σ + ⋯ + σ^{n−1}) est sans torsion, la torsion de X(T^{σ}) est donc égale à Ker(1 + σ + ⋯ + σ^{n−1})/(σ − 1)X(T) = H^{−1}(σ, X(T)), d’où le résultat (on a démontré que T^{σ}/(T^{σ})^{∘} est isomorphe à la p′-partie de H^{−1}(σ, X(T))).

Proposition 1.29. — Si σ est un automorphisme quasi-central d’un groupe réductif connexe G, alors G^{σ} = (G^{σ})^{∘}.Z(G^{σ}).

Preuve. — Montrons d’abord que si T ⊂ B est un couple formé d’un tore maximal σ-stable de G et d’un sous-groupe de Borel σ-stable le contenant, alors G^{σ} = T^{σ}.(G^{σ})^{∘}. En effet on peut trouver des représentants de G^{σ}/(G^{σ})^{∘} dans N_{G^{σ}}((T^{σ})^{∘} ⊂ (B^{σ})^{∘}); mais par 1.8 (iv) et 1.15 (ii) on a N_{G^{σ}}((T^{σ})^{∘} ⊂ (B^{σ})^{∘}) ⊂ N_{G}(T ⊂ B) = T.

Les éléments de T^{σ} induisent sur (G^{σ})^{∘} des automorphismes agissant trivialement sur le système de racines, donc qui sont de la forme ad t avec t ∈ (T^{σ})^{∘}. En corrigeant par ces éléments t, on obtient des éléments de C_{T^{σ}}((G^{σ})^{∘}), donc on a G^{σ} = C_{T^{σ}}((G^{σ})^{∘}).(G^{σ})^{∘}, d’où le résultat car C_{T^{σ}}((G^{σ})^{∘}) centralise aussi T^{σ}, donc tout G^{σ}.

Remarque 1.30. — Si G est semi-simple simplement connexe (resp. adjoint) et σ quasi-central, alors T^{σ}, donc G^{σ} est connexe : en effet X(T)/(σ − 1)X(T) n’a pas de torsion car σ est une permutation de la base de X(T) formée des poids fondamentaux (resp. des racines). Mais il existe des groupes semi-simples et σ quasi-centraux tels que T^{σ} (donc G^{σ}) ne soit pas connexe : par exemple G = SL_{4}/±1 et σ = transposé∘inverse∘

ad ( \begin{matrix}& & & 1 \\ & & 1 \\ & −1 \\ −1 \end{matrix} ) où T^{σ} = diag(a, b, c, d) tels que ad = bc = ±1.

Proposition 1.31. — Si σ est un automorphisme quasi-semi-simple d’un groupe réductif connexe G, alors l’exposant de G^{σ}/((Rad G)^{σ}(DG)^{σ}) est fini et divise le p.g.c.d. de l’ordre de σ et de |ZDG|.

Preuve. — Nous allons montrer que G^{σ}/((Rad G)^{σ}(DG)^{σ}) est un sous-groupe de H^{−1}(σ, ZDG).

Tout élément g ∈ G peut s’écrire g = xs où x ∈ DG et s ∈ Rad G. On a g ∈ G^{σ} ⇔ s^{−1}^{σ}s = x^{σ}x^{−1} ∈ DG ∩ Rad G ⊂ ZDG. Si g est fixé, l’élément z = s^{−1}^{σ}s est bien défini modulo (σ − 1)ZDG car s est défini à un élément de DG ∩ Rad G ⊂ ZDG près. L’application G^{σ} → ZDG/(σ − 1)ZDG qui associe à g l’image de z a pour noyau (Rad G)^{σ}(DG)^{σ}, et son image est dans Ker(1 + σ + ⋯ + σ^{n−1}) (où n est l’ordre de σ) car ^{σ}s = sz ⇒ ^{σ^{n}}s = sz^{σ}z …^{σ^{n−1}}z.

Remarque. — On peut construire des exemples tels que G^{σ} ≠ (Rad G)^{σ}(DG)^{σ}, et même G^{σ} ≠ T^{σ}(DG)^{σ} où T est un tore maximal σ-stable inclus dans un sous-groupe

de Borel σ-stable. Prenons en effet G = GL_{2}, σ = transposé ∘ inverse ∘ ad ( \begin{matrix}0 & 1 \\ 1 & 0 \end{matrix} ). Alors

(DG)^{σ} = \{( \begin{matrix}a & 0 \\ 0 & a^{−1} \end{matrix} )\}_{a∈k} et G^{σ} = (DG)^{σ} ∪ \{( \begin{matrix}0 & a \\ a^{−1} & 0 \end{matrix} )\}_{a∈k}. Ici |G^{σ}/(DG)^{σ}| = 2 et

(Rad G)^{σ} ⊂ (DG)^{σ}.

Proposition 1.32. — Soit σ un automorphisme quasi-semi-simple d’ordre fini d’un groupe réductif connexe G, et soit T un tore maximal σ-stable de G inclus dans un sous-groupe de Borel σ-stable. Alors W_{G}(T)^{σ}/(N_{G^{σ}}(T)/T^{σ}) s’injecte dans H^{−1}(σ, T).

Preuve. — Si n ∈ N_{G}(T) est un représentant quelconque d’un élément fixé w ∈ W_{G}(T)^{σ}, l’élément t = n.^{σ}n^{−1} ∈ T est défini à (σ − 1)T près. L’application ainsi définie de W_{G}(T)^{σ} dans T/(σ − 1)T (qui n’est pas en général un morphisme de groupes) a des fibres isomorphes à N_{G^{σ}}(T)/T^{σ}, et son image est dans Ker(1 + σ + ⋯ + σ^{m−1}) (où m est l’ordre de σ) car ^{σ}n = t^{−1}n ⇒ ^{σ^{m}}n = (t^{σ}t …^{σ^{m−1}}t)^{−1}n.

Corollaire 1.33. — Soit σ un élément quasi-semi-simple unipotent d’un groupe réductif G; alors σ est quasi-central, G^{∘}^{σ} est connexe, et tout autre élément quasi-semi-simple unipotent de G^{∘}.σ est conjugué à σ. Si T^{∘} est un tore maximal σ-stable de G^{∘} inclus dans un sous-groupe de Borel σ-stable, alors T^{∘} = (T^{∘})^{σ} × L_{σ}(T^{∘}).

Preuve. — Si le corps k sur lequel G est défini est de caractéristique 0, alors un unipotent quasi-semi-simple σ ∈ G est l’identité : en effet dans ce cas un unipotent est dans G^{∘} (car G/G^{∘} étant d’ordre fini ne contient que des éléments semi-simples); toutes les assertions de l’énoncé sont donc triviales. Si k est de caractéristique p alors σ est unipotent si et seulement si il est d’ordre (fini) une puissance de p, et l’énoncé est conséquence des propositions 1.27, 1.28, 1.31 et 1.32 : les groupes H^{−1} de ces propositions étant formés d’éléments semi-simples et étant d’exposant une puissance de p par 1.26 doivent être triviaux. On a donc (G^{∘})^{σ} = (G^{σ})^{∘} et si T est un “tore” contenant σ, on a W_{G^{∘}}(T^{∘})^{σ} = N_{(G^{∘})^{σ}}(T^{∘})/(T^{∘})^{σ} = N_{(G^{σ})^{∘}}(T^{∘})/(T^{σ})^{∘}, donc σ est quasi-central. D’autre part, puisque H^{−1}(σ, T^{∘}) = 1, on a Ker(1 + σ + … + σ^{n−1}) = L_{σ}(T^{∘}) où n est l’ordre de σ, et Ker(1 + σ + … + σ^{n−1}) ∩ (T^{∘})^{σ} étant formé d’éléments d’ordre n est trivial, donc le produit (T^{∘})^{σ} × L_{σ}(T^{∘}) est direct; étant de même dimension que T^{∘} ce produit est égal à T^{∘} (cette partie de l’énoncé est déjà un résultat de Grothendieck (séminaire Chevalley 1956-58 exposé 4, proposition 5 p.12)).

Pour démontrer qu’un élément quasi-central unipotent σ′ ∈ G^{∘}.σ est conjugué à σ, on peut comme dans la preuve de 1.22 supposer que σ′ = tσ où t ∈ T^{∘}. Par le résultat ci-dessu on a t = yx^{σ}x^{−1} où y ∈ (T^{∘})^{σ}, x ∈ T^{∘}. On en déduit que y = σ′.^{x}σ^{−1} est unipotent comme produit de deux éléments unipotents qui commutent, donc trivial et donc σ′ est conjugué à σ.

Remarque. — Spaltenstein [12] a étudié les éléments quasi-semi-simples unipotents et en particulier a démontré qu’ils vérifient 1.15 (ii) et (iii).

1.1 Groupes sur les corps finis

A partir de maintenant nous supposerons que G est un groupe réductif sur la clôture algébrique \overline{𝔽}_{q} d’un corps fini 𝔽_{q}, défini sur 𝔽_{q}, et nous noterons F l’endomorphisme de Frobenius correspondant.

Nous nous intéresserons au “tores” F -stables de G; notons que si T = N_{G}(T^{∘} ⊂ B^{∘}) est F -stable, alors G^{F} = G^{∘}^{F} .T^{F} et l’application naturelle (T/T^{∘})^{F} → (G/G^{∘})^{F} est surjective. Notons que même si T = N_{G}(T^{∘} ⊂ B^{∘}) est F -stable, il se peut que pour un autre choix de B^{∘}, par exemple ^{w}B^{∘} où w ∈ W_{G^{∘}}(T^{∘}), le groupe (^{w}T)^{F} /T^{∘}^{F} soit réduit à l’identité.

Proposition 1.34. — Soit G un groupe réductif connexe défini sur 𝔽_{q}, et soit σ un automorphisme rationnel de G. Alors il existe g ∈ G tel que ad g ∘ σ soit un automorphisme quasi-central rationnel.

Notons que sous les hypothèses de l’énoncé ad g est rationnel en tant qu’automorphisme, mais cela n’implique pas que g soit rationnel, seulement que g.^{F}g^{−1} ∈ Z(G).

Preuve. — Soit T ⊂ B un couple formé d’un tore maximal rationnel de G inclus dans un sous-groupe de Borel rationnel. Deux tels couples étant conjugués sous G^{F}, il existe h ∈ G^{F} tel que ^{ad h∘σ}(T ⊂ B) = (T ⊂ B). Soit alors t ∈ T tel que pour toute racine simple on ait ^{ad t∘ad h∘σ}x_{α}(λ) = x_{^{ad t∘ad h∘σ}α}(λ). Alors ad t ∘ ad h ∘ σ est quasicentral, et, si l’épinglage λ ↦ x_{α}(λ) a été choisi rationnel (i.e., ^{F}(x_{α}(λ)) = x_{^{τ}α}(λ^{q}) où F = qτ^{−1} sur X(T)) toutes les racines s’annulent sur t.^{F}t^{−1}, i.e., t est rationnel en tant qu’automorphisme, d’où le résultat.

Proposition 1.35. — Si G est un groupe réductif défini sur 𝔽_{q} tel que H^{1}(F, Z(G^{∘})) = 1, alors tout automorphisme rationnel de G^{∘} induit par un élément de G dont l’image dans G/G^{∘} est rationnelle est induit par un élément rationnel de G.

Preuve. — Un élément σ ∈ G a une image rationnelle dans G/G^{∘} s’il existe g ∈ G^{∘} tel que ^{F}σ = gσ. L’élément σ induit un automorphisme rationnel de G^{∘} si gσ et σ ont même action sur G^{∘} i.e., si g ∈ Z(G^{∘}); si H^{1}(F, Z(G^{∘})) = 1, on peut trouver z ∈ Z(G^{∘}) tel que g = ^{F}z.z^{−1}, et alors zσ est rationnel et égal à σ en tant qu’automorphisme.

Remarque. — La démonstration ci-dessus prouve de plus que si H^{1}(F, Z(G^{∘})) = 1, on peut choisir A de 1.17 tel que G^{F} = A^{F} .G^{∘}^{F}. Par contre si H^{1}(F, Z(G^{∘})) ≠ 1, alors cette propriété n’est pas toujours vraie sur 𝔽_{q}, non plus que l’existence d’éléments quasicentraux rationnels, comme le montre l’exemple de G = <SL_{n}, σ> où σ est un élément du tore diagonal de GL_{n}(𝔽_{q}) tel que GL_{n}(𝔽_{q}) = <SL_{n}(𝔽_{q}), σ>.

Proposition 1.36. — Soit G un groupe réductif connexe défini sur 𝔽_{q}, et soit σ un automorphisme rationnel de G.

(i) Si σ est quasi-semi-simple, il existe un tore maximal de G rationnel et σ-stable inclus dans un sous-groupe de Borel σ-stable.

(ii) Si σ est quasi-central, il existe un tore maximal rationnel et σ-stable de G inclus dans un sous-groupe de Borel rationnel et σ-stable.

Preuve. — (i) est une conséquence de 1.8 (iv) et (ii) une conséquence de 1.15 (ii) : soit T ⊂ B un couple formé d’un tore maximal rationnel de (G^{σ})^{∘} et d’un sous-groupe de Borel rationnel le contenant; l’unique tore maximal de G contenant T est forcément rationnel, de même que dans le cas (ii) l’unique sous-groupe de Borel σ-stable de G contenant B.

Corollaire 1.37. — Deux éléments quasi-semi-simples unipotents rationnels d’un groupe réductif G qui sont dans la même classe modulo G^{∘} sont conjugués sous G^{∘}^{F}.

Preuve. — Si σ est un tel élément, on sait par 1.33 que (G^{∘})^{σ} est connexe, donc H^{1}(F, (G^{∘})^{σ}) = 1 et tout élément rationnel géométriquement conjugué à σ lui est donc rationnellement conjugué (voir par exemple [6, 3.21 (ii)]). Comme par 1.33 il n’y a qu’une classe de conjugaison géométrique de tels éléments on obtient le résultat.

Démontrons un analogue “rationnel” de 1.6 :

Proposition 1.38. — Soit σ un automorphisme quasi-central rationnel d’un groupe réductif G et soit L ⊂ P un couple formé d’un sous-groupe de Levi rationnel d’un sousgroupe parabolique (non nécessairement rationnel) de G. Alors, si la G^{F} -orbite (pour l’action par conjugaison) du couple L ⊂ P est σ-stable, elle contient un couple σ-stable.

Preuve. — Dans le même esprit que la démonstration de 1.6 nous nous ramenons d’abord au cas des tores : supposons d’abord la proposition démontrée quand L est un tore, et démontrons qu’elle a alors lieu pour un sous-groupe de Levi L quelconque.

L’hypothèse dit qu’il existe g ∈ G^{F} tel que ^{g}σ(L, P) = (L, P). Soit T ⊂ B un couple formé d’un tore maximal rationnel de L et d’un sous-groupe de Borel de P le contenant tel que B ∩ L soit rationnel. Deux tels couples étant conjugués sous L^{F}, il existe l ∈ L^{F} tel que ^{gσ}(T, B) = ^{l}(T, B). Par la proposition dans le cas des tores, il existe h ∈ G^{F} tel que ^{h}(T, B) soit σ-stable. On en déduit alors exactement comme dans la preuve de 1.6 que le couple ^{h}(L, P) est σ-stable.

Démontrons maintenant la proposition dans le cas des tores. Soit T_{0} ⊂ B_{0} un couple fixé formé d’un tore maximal rationnel et d’un sous-groupe de Borel rationnel le contenant. Les G^{F} -orbites de couples T ⊂ B sont alors paramétrées naturellement par W_{G}(T_{0}) comme suit : soit x ∈ G tel que (T, B) = ^{x}(T_{0}, B_{0}); on associe à la G^{F} -orbite de (T, B) l’image dans W_{G}(T_{0}) de x^{−1}.^{F}x. Si le couple (T_{0}, B_{0}) a été choisi σ-stable (ce qui est possible par 1.36 (ii)), alors à une orbite σ-stable correspond un élément σ-stable de W_{G}(T_{0}). Par 1.15 (iii’), cet élément σ-stable a un représentant n ∈ N_{(G^{σ})^{∘}}(T). Soit y ∈ (G^{σ})^{∘} tel que y^{−1}.^{F}y = n. Alors le couple ^{y}(T_{0}, B_{0}) est un couple σ-stable de la G^{F} -orbite considérée, d’où le résultat.

Donnons maintenant l’analogue “rationnel” de 1.21 (ii) :

Proposition 1.39. — Si σ est un automorphisme quasi-central rationnel d’un groupe réductif connexe G, si L est un sous-groupe de Levi rationnel σ-stable d’un sous-groupe parabolique σ-stable de G et h ∈ G^{F} vérifie h^{−1}.^{σ}h ∈ L, alors h ∈ ((G^{σ})^{∘})^{F} .L^{F}.

Preuve. — Par 1.21 on a h = h′l avec l ∈ L et h′ ∈ (G^{σ})^{∘}. Alors ^{F}h = h donne h^{′−1}^{F}h′ = l^{F}l^{−1} ∈ L ∩ (G^{σ})^{∘} = (L^{σ})^{∘}. Si on écrit l^{F}l^{−1} = x^{F}x^{−1} avec x ∈ (L^{σ})^{∘} alors h′x ∈ ((G^{σ})^{∘})^{F} et x^{−1}l ∈ L^{F}, d’où le résultat.

Les propositions précédentes nous permettent de démontrer la proposition suivante qui nous aidera à classifier les caractères de Deligne-Lusztig que nous construirons :

Proposition 1.40. — Si G = G^{∘}<σ> où σ est un élément quasi-central rationnel, alors les G^{F} -classes de “Levis” rationnels rencontrant G^{∘}.σ sont en bijection avec les ((G^{σ})^{∘})^{F} -classes de sous-groupes de Levi rationnels de (G^{σ})^{∘} comme suit : tout “Levi” rationnel L a un G^{F} -conjugué L_{1} contenant σ, et la bijection est obtenue en associant la ((G^{σ})^{∘})^{F} -classe de ((L_{1})^{σ})^{∘} à la G^{F} -classe de L.

Preuve. — Montrons d’abord que toute classe rationnelle de “Levis” possède un représentant qui contient σ : c’est une conséquence de 1.38; en effet, L est un “Levi” rationnel si et seulement si L^{∘} est rationnel et L ∩ G^{∘}^{F} .σ ≠ ∅; i.e., si L = N_{G}(L^{∘} ⊂ P^{∘}), s’il existe g ∈ G^{∘}^{F} tel que ^{gσ}(L^{∘} ⊂ P^{∘}) = (L^{∘} ⊂ P^{∘}). La conclusion de 1.38 implique alors qu’un conjugué rationnel de L contient σ.

Montrons maintenant que deux “Levis” rationnels contenant σ et conjugués sous G^{F} sont conjugués sous ((G^{σ})^{∘})^{F}. Si ^{g}L = L′ où L ∋ σ et L′ ∋ σ alors ^{g^{−1}}σ ∈ σL^{∘}, i.e., g^{−1}.^{σ}g ∈ L^{∘}, d’où par 1.39 g = g′l avec l ∈ L^{∘}^{F} et g′ ∈ ((G^{σ})^{∘})^{F}, et ^{g′}L = L′, d’où le résultat.

Les deux observations ci-dessus, en conjonction avec la bijection de 1.25, construisent la bijection de l’énoncé.

2. Caractères de Deligne-Lusztig de G^{F}.

Dans cette section G désignera un groupe réductif (non nécessairement connexe) défini sur 𝔽_{q}, et nous noterons F l’endomorphisme de Frobenius correspondant. L’intérêt des notions de “Levi” et de “parabolique” de la section précédente est de permettre de définir des foncteurs d’induction et de restriction de Lusztig pour G^{F} de façon tout à fait analogue à la définition usuelle pour G^{∘}^{F}.

Définition 2.1. — Si P = U⋊L est une décomposition de Levi d’un “parabolique” de G telle que L^{∘} soit rationnel, on pose Y_{U} = {x ∈ G | x^{−1}.^{F}x ∈ U}.

Sur cette variété on a des actions qui commutent de G^{F} à gauche et de L^{F} à droite données par (g, l)x = gxl (la notation L^{F} désigne le sous-groupe de L formé des éléments fixes sous F, mais L n’est pas nécessairement fixe sous F). Notons qu’on peut faire agir N_{G}(U)^{F} = P^{F} à droite sur Y_{U}, mais que l’action de U^{F} est triviale sur la cohomologie, car restriction d’une action de U∩^{F^{−1}}U, donc l’action de P^{F} sur la cohomologie provient d’une action de L^{F} (on a P^{F} = U^{F} ⋊L^{F}, ce qui peut se voir en utilisant la décomposition unique P ∩ ^{F^{−1}}P = L.(U ∩ ^{F^{−1}}U)).

Sans la suite, si Y est une variété sur \overline{𝔽}_{q}, nous écrirons simplement H_{c}^{i}(Y) pour H_{c}^{i}(Y, \overline{ℚ}_{ℓ}), le i-ème groupe de cohomologie l-adique de Y à coefficients dans \overline{ℚ}_{ℓ}, et nous noterons H_{c}^{∗}(Y) l’espace vectoriel “virtuel” ⨁_{i}(−1)^{i}H_{c}^{i}(Y). Les foncteurs d’induction et de restriction de Deligne-Lusztig sont définis sur les caractères virtuels comme dans le cas des groupes connexes :

Définition 2.2. — Pour χ ∈ Irr(L^{F}) et ψ ∈ Irr(G^{F}), on pose

(i)  R_{L}^{G}(χ)(g) = |L^{F} |^{−1} ∑_{l∈L^{F}} χ(l^{−1}) Trace((g, l)|H_{c}^{∗}(Y_{U}))

(ii)  ^{∗}R_{L}^{G}(ψ)(l) = |G^{F} |^{−1} ∑_{g∈G^{F}} ψ(g^{−1}) Trace((g, l)|H_{c}^{∗}(Y_{U}))

Nous allons voir que l’étude de R_{L}^{G} et ^{∗}R_{L}^{G} se ramène au cas où G/G^{∘} est cyclique.

Proposition 2.3. — On a

(i) R_{L}^{G}(χ)(g) = (  ∑_{{a∈[L^{F} .G^{∘}^{F} \G^{F}]|^{a}g∈L^{F} .G^{∘}^{F} }}(R_{<L^{∘},l_{a}>}^{<G^{∘},l_{a}>} Res_{<L^{∘}^{F} ,l_{a}>}^{L^{F}} χ) ∘ ad a)(g)

où l_{a} est un élément de L^{F} tel que ^{a}g ∈ l_{a}G^{∘}^{F}.

(ii)  Res_{<L^{∘}^{F} ,l>}^{L^{F}} ^{∗}R_{L}^{G}(ψ) = ^{∗}R_{<L^{∘},l>}^{<G^{∘},l>}(Res_{<G^{∘}^{F} ,l>}^{G^{F}} ψ)

Preuve. — En appliquant le théorème de Lang dans G^{∘}, on voit que tout élément F -stable de G/G^{∘} a un représentant dans G^{F}. On en déduit que

Y_{U} = ∐_{a∈[G^{F} /G^{∘}^{F}]} a^{−1}.Y_{U}^{∘},

où Y_{U}^{∘} = {x ∈ G^{∘} | x^{−1}.^{F}x ∈ U^{∘}} est une variété de Deligne-Lusztig ordinaire, et pour g ∈ G^{F}, l ∈ L^{F} on a :

|Y_{U}^{(g,l)F^{m}}| = ∐_{a∈[G^{F} /G^{∘}^{F}]} |Y_{U}^{∘}^{(aga^{−1},l)F^{m}}|,

où la somme porte sur les a tels que ^{a}g = l^{−1} (mod. G^{∘}) i.e., l^{−1} ∈ L^{F} ∩ (^{a}g.G^{∘}^{F}), d’où, en “passant à la limite sur m” :

Trace((g, l) | H_{c}^{∗}(Y_{U})) = ∑_{a∈[G^{F} /G^{∘}^{F}]} Trace((^{a}g, l) | H_{c}^{∗}(Y_{U}^{∘}))

où la somme porte sur les mêmes a que précédemment. On a donc :

R_{L}^{G}(χ)(g) = |L^{F} |^{−1} ∑_{a∈[G^{F} /G^{∘}^{F}]} ∑_{l∈L^{F} ∩(^{a}g.G^{∘}^{F})} Trace((^{a}g, l^{−1}) | H_{c}^{∗}(Y_{U}^{∘}))χ(l) (∗)

La somme sur les l est non vide si et seulement si ^{a}g ∈ (L^{F} .G^{∘}^{F}) auquel cas il existe l_{a} ∈ L^{F} tel que L^{F} ∩ (^{a}g.G^{∘}^{F}) = L^{∘}^{F} .l_{a} et ^{a}g ∈ G^{∘}.l_{a}. La formule (*) appliquée en remplaçant G par <G^{∘}, l_{a}> et L par <L^{∘}, l_{a}> donne, si r est l’ordre de l_{a} (mod L^{∘}) :

R_{<L^{∘},l_{a}>}^{<G^{∘},l_{a}>}(Res_{<L^{∘}^{F} ,l_{a}>}^{L^{F}} χ)(^{a}g)

= |<L^{∘}^{F} , l_{a}>|^{−1} ∑_{i=1}^{i=r} ∑_{l∈L^{∘}^{F} .l_{a}} Trace((^{l_{a}^{i}a}g, l^{−1}) | H_{c}^{∗}(Y_{U}^{∘}))χ(l)

= |L^{∘}^{F} |^{−1} ∑_{l∈L^{∘}^{F} .l_{a}} Trace((^{a}g, l^{−1}) | H_{c}^{∗}(Y_{U}^{∘}))χ(l) (∗∗)

la dernière égalité car Trace((^{l_{a}^{i}a}g, l) | H_{c}^{∗}(Y_{U}^{∘})) = Trace((^{a}g,^{l_{a}^{−i}}l) | H_{c}^{∗}(Y_{U}^{∘})). On obtient le (i) de l’énoncé en réinterprétant (*) à l’aide de (**), et en remarquant que le membre de droite de (**) ne dépend que de la classe de a modulo L^{F} .G^{∘}^{F} (car les éléments l_{a} pour deux tels a peuvent être pris conjugués sous L^{F}, et χ est un caractère de L^{F}). De même, on a :

∗R_{L}^{G}(ψ)(l) = |G^{F} |^{−1} ∑_{a∈[G^{F} /G^{∘}^{F}]} ∑_{g∈G^{∘}^{F} .^{a^{−1}}l} Trace((^{a}g, l^{−1}) | H_{c}^{∗}(Y_{U}^{∘}))ψ(g)

= |G^{∘}^{F} |^{−1} ∑_{g∈G^{∘}^{F} .l} Trace((g, l^{−1}) | H_{c}^{∗}(Y_{U}^{∘}))ψ(g)

la deuxième égalité car ψ(^{a}g) = ψ(g) donc tous les termes de la somme sur a sont égaux. La même formule appliquée en remplaçant G par <G^{∘}, l_{a}> et L par <L^{∘}, l_{a}> donne le même résultat, d’où le (ii) de l’énoncé.

Notons un cas particulier de la proposition précédente :

Corollaire 2.4. —

(i)  Res_{G^{∘}^{F}}^{G^{F}} ∘R_{L}^{G} = ∑_{a∈[G^{F} /L^{F} .G^{∘}^{F}]} ad a ∘ R_{L^{∘}}^{G^{∘}} ∘ Res_{L^{∘}^{F}}^{L^{F}}

(ii)  Res_{L^{∘}^{F}}^{L^{F}} ∘^{∗}R_{L}^{G} = ^{∗}R_{L^{∘}}^{G^{∘}} ∘ Res_{G^{∘}^{F}}^{G^{F}}

Notons aussi qu’un corollaire immédiat de la proposition ci-dessus est :

Corollaire 2.5. —

dim(R_{L}^{G}(χ)) = |\frac{G^{F}}{G^{∘}^{F}} ||\frac{L^{F}}{L^{∘}^{F}} |^{−1} dim R_{L^{∘}}^{G^{∘}} Res_{L^{∘}^{F}}^{L^{F}} χ = |\frac{G^{F}}{L^{F}} ||\begin{matrix}G^{∘} & F \\ L^{∘} & F \end{matrix} |_{p}^{−1}ε_{G^{∘}}ε_{L^{∘}}χ(1)

Le bi-caractère défini par la trace de (g, l) sur la cohomologie de Y_{U} vérifie des propriétés analogues à ce qui se passe pour les groupes connexes, par exemple la formule du caractère.

Proposition (formule du caractère pour R_{L}^{G} et ^{∗}R_{L}^{G}) 2.6. — Soit L un “Levi” de G tel que L^{∘} soit rationnel. Pour u ∈ G^{F}_{u} et v ∈ L^{F}_{u} on définit Q_{L^{∘}}^{G^{∘}}(u, v) comme valant 0 si uv ∉ G^{∘} et valant Trace((u, v)|H_{c}^{∗}(Y_{U}^{∘})) sinon, où Y_{U}^{∘} est la variété de Deligne-Lusztig usuelle correspondant à R_{L^{∘}}^{G^{∘}}. Soit ψ (resp. χ) un caractère de G^{F} (resp. L^{F}), alors on a :

(i) (R_{L}^{G}χ)(g) = |L^{F} |^{−1}|(G^{s})^{∘}^{F} |^{−1} ∑_{{ h∈G^{F} |s∈^{h}L }} ∑_{v∈C_{^{h}L}(s)_{u}^{F}} Q_{((^{h}L)^{s})^{∘}}^{(G^{s})^{∘}}(u, v^{−1})^{h}χ(sv)

si g = su est la décomposition de Jordan de g ∈ G^{F}.

(ii)  (^{∗}R_{L}^{G}ψ)(l) = |(G^{t})^{∘}^{F} |^{−1} ∑_{u∈C_{G}(t)_{u}^{F}} Q_{(L^{t})^{∘}}^{(G^{t})^{∘}}(u, v^{−1})ψ(tu)

si l = tv est la décomposition de Jordan de l ∈ L^{F}.

Remarque 2.7. — On notera les différences avec la formule pour les groupes connexes (cf. par exemple [5], 12.2) : d’abord, la somme sur les v porte sur les éléments unipotents de (^{h}L)^{s}, et contrairement au cas connexe, ces éléments ne sont pas nécessairement dans ((^{h}L)^{s})^{∘}; les fonctions de Green ont dû être étendues à des éléments qui ne sont pas dans le groupe, et, surtout la formule ci-dessus peut nécessiter des fonctions de Green à 2 variables même dans le cas d’un tore, car T peut contenir des éléments unipotents (même s’ils sont quasi-semi-simples! ). Notons toutefois que si G/G^{∘} est formé d’éléments semisimples, alors tous les éléments unipotents de G sont dans G^{∘}, et, plus généralement les éléments unipotents de (^{h}L)^{s} sont dans ((^{h}L)^{s})^{∘} (par 1.8 (i)); en particulier tout élément quasi-semi-simple est alors semi-simple.

Preuve. — La démonstration suit la même démarche que dans le cas des groupes connexes. Nous démontrons d’abord le lemme suivant :

Lemme 2.8. — Avec les notations de la proposition 2.6, on a :

Trace((g, l) | H_{c}^{∗}(Y_{U})) = |(G^{t})^{∘}^{F} |^{−1} ∑_{{ h∈G^{F} |^{h}t=s^{−1} }} Q_{(L^{t})^{∘}}^{(G^{t})^{∘}}(^{h^{−1}}u, v)  (∗)

= |(G^{s})^{∘}^{F} |^{−1} ∑_{{ h∈G^{F} |^{h^{−1}}s=t^{−1} }} Q_{((^{h}L)^{s})^{∘}}^{(G^{s})^{∘}}(u,^{h}v)  (∗∗)

Preuve. — Les deux égalités sont clairement équivalentes. Démontrons la première. D’après les propriétés de la cohomologie ℓ-adique on a :

Trace((g, l) | H_{c}^{∗}(Y_{U})) = Trace((u, v) | H_{c}^{∗}(Y_{U}^{(s,t)})).

Nous allons montrer que le morphisme

φ : { h ∈ G^{F} | ^{h}t = s^{−1} } × { z ∈ (G^{t})^{∘} | z^{−1}^{F}z ∈ U } → Y_{U}^{(s,t)}

donné par (h, z) ↦ hz est surjectif. Tout d’abord ce morphisme est bien défini car, comme

Y_{U}^{(s,t)} = { x ∈ G | x^{−1}^{F}x ∈ U et sxt = x },

il est clair que φ(h, z) ∈ Y_{U}^{(s,t)}. D’autre part, si x ∈ Y_{U}^{(s,t)} alors sxt = x, donc s^{F}xt = ^{F}x = x(x^{−1}^{F}x), d’où s^{F}xt = sxt(x^{−1}^{F}x), ce qui s’écrit (x^{−1}^{F}x)t = t(x^{−1}^{F}x), i.e., x^{−1}^{F}x ∈ (G^{∘})^{t}. Comme x^{−1}^{F}x est unipotent, on a même x^{−1}^{F}x ∈ (G^{t})^{∘} (cf. 1.8, (i)). Par application du théorème de Lang dans (G^{t})^{∘}, on peut écrire x^{−1}^{F}x = z^{−1}^{F}z, où z ∈ (G^{t})^{∘}. Posons alors h = xz^{−1} ; on a h ∈ G^{F}, ^{h}t = s^{−1} et φ(h, z) = x, d’où la surjectivité de φ.

L’application φ n’est pas injective, mais si φ(h, z) = φ(h′, z′), on a : h^{−1}h′ = zz^{′−1} ∈ (G^{t})^{∘}^{F}, donc φ induit un isomorphisme

{ h ∈ G^{F} | ^{h}t = s^{−1} } ×_{(G^{t})^{∘}}^{F} { z ∈ (G^{t})^{∘} | z^{−1}^{F}z ∈ U }→^{∼}Y_{U}^{(s,t)}.

L’action de (u, v) sur (h, z) donnée par (h, z) ↦ (uhv,^{v^{−1}}z) est compatible au quotient par (G^{t})^{∘}^{F} et est transportée par cet isomorphisme sur l’action de (u, v) sur Y_{U}^{(s,t)}. L’isomorphisme donne une décomposition

Y_{U}^{(s,t)} ≃ ∐_{{ h∈G^{F} /(G^{t})^{∘}^{F} |^{h}t=s^{−1} }}{ z ∈ (G^{t})^{∘} | z^{−1}^{F}z ∈ U }_{h}

= ∐_{{ h∈G^{F} /(G^{t})^{∘}^{F} |^{h}t=s^{−1} }} L_{(G^{t})^{∘}}^{−1}(U ∩ (G^{t})^{∘})_{h},

où (u, v) ∈ (G^{s})_{u}^{F} × (L^{t})_{u}^{F} envoie le morceau indexé par h sur le morceau indexé par uhv = h.^{h^{−1}}uv, donc le stabilise si et seulement si ^{h^{−1}}uv ∈ (G^{t})^{∘}, et dans ce dernier cas agit par z ↦ ^{h^{−1}}uzv. On obtient donc

Trace((g, l) | H_{c}^{∗}(Y_{U})) =

|(G^{t})^{∘}^{F} |^{−1} ∑_{{ h∈G^{F} |^{h}t=s^{−1} et ^{h^{−1}}uv∈(G^{t})^{∘} }} Trace((^{h^{−1}}u, v)|H_{c}^{∗}(L_{(G^{t})^{∘}}^{−1}(U ∩ (G^{t})^{∘}))).

D’où le lemme (remarquons que le fait qu’on ait posé Q_{L^{∘}}^{G^{∘}}(u, v) = 0 si uv ∉ G^{∘} impose h^{−1}uv ∈ (G^{t})^{∘} dans les sommations de l’énoncé).

Montrons alors la proposition 2.6. En appliquant le lemme 2.8 dans les sommes (i) et (ii) de 2.2 et en échangeant les sommations, on obtient

(R_{L}^{G}χ)(g) = |L^{F} |^{−1}|(G^{s})^{∘}^{F} |^{−1} ∑_{{ h∈G^{F} |^{h^{−1}}s∈L^{F} }}

∑_{v∈C_{L}(^{h^{−1}}s^{−1})_{u}^{F}} Q_{((^{h}L)^{s})^{∘}}^{(G^{s})^{∘}}(u,^{h}v)χ(^{h^{−1}}sv^{−1}),

d’après (∗∗) et

(^{∗}R_{L}^{G}ψ)(l^{−1}) = |G^{F} |^{−1}|(G^{t})^{∘}^{F} |^{−1} ∑_{h∈G^{F}} ∑_{u∈C_{G}(^{h}t)_{u}^{F}} Q_{(L^{t})^{∘}}^{(G^{t})^{∘}}(^{h^{−1}}u, v)ψ(^{h}t^{−1}u),

d’après (∗).

On obtient le résultat en prenant ^{h}v comme variable dans la somme de la première formule et en prenant ^{h^{−1}}u comme variable dans la somme de la deuxième formule.

Corollaire 2.9. — Sous les hypothèses de 2.6 (ii), on a :

(^{∗}R_{L}^{G}ψ)(tv) = (^{∗}R_{(L^{t})^{∘}.<tv>}^{(G^{t})^{∘}.<tv>}ψ)(tv)

Preuve. — En effet, la formule du caractère (ii) s’écrit :

(^{∗}R_{L}^{G}ψ)(l) = |(G^{t})^{∘}^{F} |^{−1} ∑_{u∈((G^{t})^{∘}.v)_{u}^{F}} Q_{(L^{t})^{∘}}^{(G^{t})^{∘}}(u, v^{−1})ψ(tu)

car Q_{(L^{t})^{∘}}^{(G^{t})^{∘}}(u, v^{−1}) est nul si uv^{−1} ∉ (G^{t})^{∘}. Donc tous les u de la somme sont dans (G^{t})^{∘}.<tv> qui contient (G^{t})^{∘}.v. D’autre part (L^{t})^{∘}.<tv> est bien un “Levi” de (G^{t})^{∘}.<tv> : en effet, si L = N_{G}(P^{∘}, L^{∘}) alors on a

(L^{t})^{∘}.<tv> = N_{(G^{t})^{∘}.<tv>}((P^{t})^{∘}, (L^{t})^{∘}).

On obtient alors le résultat en remarquant que la formule du caractère (ii) appliquée aux deux membres de l’égalité de l’énoncé donne le même résultat.

2.1 Cas où G/G^{∘} est cyclique

La proposition 2.3 montre que les fonctions sur G^{∘}^{F} .g qui sont données par les R_{L}^{G} s’expriment en fonction des fonctions analogues dans les groupes <G^{∘},^{a}g>. En d’autres termes, pour l’étude des caractères de Deligne-Lusztig généralisés sur l’élément g, on peut se ramener au cas où G/G^{∘} est cyclique, engendré par un élément rationnel, i.e., G = G^{∘}<σ>, où σ ∈ G^{F}. Nous nous intéressons aux fonctions de classe que nous pouvons construire sur G^{∘}^{F} .σ, i.e., aux “fonctions de σ-classe” que nous pouvons construire sur G^{∘}^{F}. Si g ∈ G^{∘}^{F} .σ alors par 2.3 (i) on a R_{L}^{G}(χ)(g) = 0 si L ∩ G^{∘}^{F} .σ = ∅. Nous pouvons donc nous limiter aux “Levis” rationnels rencontrant G^{∘}.σ.

Si G = G^{∘}<σ> où σ est un élément quasi-central rationnel, on peut donc, d’après 1.40 se limiter aux fonctions données par R_{L}^{G} où L ∋ σ. Dans ce cas R_{L}^{G} définit une application des fonctions de σ-classe sur L^{∘}^{F} dans les fonctions de σ-classe sur G^{∘}^{F} que nous noterons R\begin{matrix}G^{∘} & .σ \\ L^{∘} & .σ \end{matrix}. Si G^{∘} est à centre connexe, il existe un élément quasi-central rationnel dans G^{∘}.σ par 1.34; en général, on peut plonger G dans un groupe G̃ à centre connexe et les R_{L}^{G} sont restriction des mêmes foncteurs pour G̃ (par une démonstration analogue à [6], 13.22); donc on “n’aura pas de nouvelles fonctions” par rapport au cas de G̃.

Dans la suite, nous supposerons que G = G^{∘}<σ> avec σ quasi-central rationnel. Rappelons que d’après la proposition 1.40, les foncteurs R_{L^{∘}.σ}^{G^{∘}.σ} sont classifiés dans ce cas par les ((G^{σ})^{∘})^{F} -classes de sous-groupes de Levi rationnels de (G^{σ})^{∘}. Dans ce contexte, les formules 2.2, (i) et (ii) et la formule du caractère deviennent :

Proposition 2.10. — Si χ est une fonction de σ-classe sur L^{∘}^{F}, ψ une fonction de σ-classe sur G^{∘}^{F}, g ∈ G^{∘}^{F} et l ∈ L^{∘}^{F}, on a :

(i)  R\begin{matrix}G^{∘} & .σ \\ L^{∘} & .σ \end{matrix}(χ)(gσ) = |L^{∘}^{F} |^{−1} ∑_{l∈L^{∘}^{F}} χ(lσ) Trace((g, l^{−1})σ|H_{c}^{∗}(Y_{U}^{∘}))

(ii)  ^{∗}R\begin{matrix}G^{∘} & .σ \\ L^{∘} & .σ \end{matrix}(ψ)(lσ) = |G^{∘}^{F} |^{−1} ∑_{g∈G^{∘}^{F}} ψ(gσ) Trace((g, l^{−1})σ|H_{c}^{∗}(Y_{U}^{∘}))

où dans les deux formules ci-dessus, l’action de σ sur la variété de Deligne-Lusztig ordinaire Y_{U}^{∘} est par conjugaison (action naturelle de l’automorphisme σ de G^{∘}). (iii) Si gσ = su est la décomposition de Jordan de gσ, on a

(R_{L}^{G}χ)(gσ) = |L^{∘}^{F} |^{−1}|((G^{s})^{∘})^{F} |^{−1} ∑_{{ k∈G^{∘}^{F} |s∈^{k}L }} ∑_{v∈((^{k}L)^{s})_{u}^{F}} Q_{((^{k}L)^{s})^{∘}}^{(G^{s})^{∘}}(u, v^{−1})^{k}χ(sv).

Preuve. — Les formules (i) et (ii) sont une conséquence immédiate des formules (*) et (**) qui apparaissent dans la démonstration de 2.3. Prouvons (iii) : puisque G = G^{∘}.<σ>, si on écrit un élément h ∈ G dans la somme de droite de la formule du caractère sous la forme k.σ^{i}, les termes de la somme de droite ne dépendent pas de i, et il y a |L^{F} /L^{∘}^{F} | valeurs de i.

Proposition 2.11. — Soit f une fonction de classe sur G^{F} vérifiant f(su) = f(s) si su est la décomposition de Jordan d’un élément de G^{F}. Soit L un “Levi” F -stable de G contenant σ. Alors on a :

(i) R\begin{matrix}G^{∘} & .σ \\ L^{∘} & .σ \end{matrix}(π. Res\begin{matrix}G^{∘}^{F} & .σ \\ L^{∘}^{F} & .σ \end{matrix} f) = R\begin{matrix}G^{∘} & .σ \\ L^{∘} & .σ \end{matrix}(π).f pour toute fonction de classe π sur L^{F}.

(ii) (^{∗}R\begin{matrix}G^{∘} & .σ \\ L^{∘} & .σ \end{matrix}(ϕ)). Res\begin{matrix}G^{∘}^{F} & .σ \\ L^{∘}^{F} & .σ \end{matrix} f = ^{∗}R\begin{matrix}G^{∘} & .σ \\ L^{∘} & .σ \end{matrix}(ϕ.f) pour toute fonction de classe ϕ sur G^{F}.

(iii) ^{∗}R\begin{matrix}G^{∘} & .σ \\ L^{∘} & .σ \end{matrix}(f) = Res\begin{matrix}G^{∘}^{F} & .σ \\ L^{∘}^{F} & .σ \end{matrix} f.

Preuve. — (i) et (ii) sont des conséquences immédiates de la formule du caractère. (iii) résulte de (ii) et du résultat que ^{∗}R_{L}^{G}(Id_{G}) = Id_{L}. En effet ^{∗}R_{L}^{G}(Id_{G}) est le caractère du L^{F} -module H_{c}^{∗}(L^{−1}(U))^{G^{F}}. Par [6], 10.10 ce module est isomorphe à H_{c}^{∗}(L^{−1}(U)/G^{F}) et L induit un isomorphisme de L^{−1}(U)/G^{F} sur U, d’où le résultat par [6], 10.11.

Proposition 2.12. — Soit L un “Levi” F -stable contenant σ, et soit x ∈ G^{∘}^{F}. Soient σ = σ_{s}σ_{u} (resp. σx = su) la décomposition de Jordan de σ (resp. de σx) et supposons que G^{s} ⊂ G^{σ_{s}}. Alors

R_{L}^{G}(χ)(σx) = R_{L^{σs}}^{G^{σs}} (χ|_{L^{σs,F}})(σx).

Preuve. — Nous allons transformer 2.10 (iii) à l’aide des lemmes suivants :

Lemme 2.13. — Si s semi-simple commute à σ quasi-central, alors σs est quasi-semi-simple.

Preuve. — L’élément s induit un endomorphisme semi-simple de (G^{σ})^{∘} donc stabilise un couple (T^{σ})^{∘} ⊂ (B^{σ})^{∘} formé d’un tore maximal et d’un sous-groupe de Borel de (G^{σ})^{∘}. Il stabilise donc l’unique couple T ⊂ B contenant ce couple formé d’un tore maximal et d’un sous-groupe de Borel σ-stables de G^{∘} (cf. 1.8 (iv) et 1.15 (ii) pour l’unicité).

Lemme 2.14. — Si σ et σs sont deux éléments quasi-semi-simples (avec s ∈ G^{∘}) tels que (G^{σs})^{∘} ⊂ (G^{σ})^{∘}, alors tout “Levi” de G qui contient σs contient σ et s.

Preuve. — Soit L un “Levi” contenant σs; par 1.11 (ii), L contient un tore maximal (T^{σs})^{∘} de (G^{σs})^{∘} inclus dans un unique tore maximal T^{∘} de G^{∘}. L’hypothèse (G^{σs})^{∘} ⊂ (G^{σ})^{∘} implique (G^{σs})^{∘} ⊂ (G^{σ})^{∘} ∩ (G^{s})^{∘} donc (T^{∘}^{σs})^{∘} ⊂ (T^{∘}^{s})^{∘} donc s ∈ C_{G^{∘}}((T^{∘}^{σs})^{∘}) = T^{∘} ⊂ L^{∘}; donc s ∈ L et donc σ aussi.

Si on applique le lemme 2.13 à σ_{s} et s et le lemme 2.14 à σ_{s} et σ_{s}^{−1}s, on voit que s ∈ ^{k}L implique σ_{s} ∈ ^{k}L. Par 1.39, σ_{s} ∈ ^{k}L équivaut à k ∈ ((G^{σ_{s}})^{∘})^{F} .L^{∘}^{F}. Posant k = hl avec h ∈ ((G^{σ_{s}})^{∘})^{F} et l ∈ L^{∘}^{F}, on obtient, en tenant compte de |((G^{σ_{s}})^{∘})^{F} ∩L^{∘}^{F} | = |(L^{σ_{s}})^{∘}^{F} | et de (^{h}L)^{s} = ((^{h}L)^{σ_{s}})^{s} = (^{h}(L^{σ_{s}}))^{s}

(R_{L}^{G}χ)(σx) = |L^{∘}^{F} |^{−1}|(L^{σ_{s}})^{∘}^{F} |^{−1}|((G^{s})^{∘})^{F} |^{−1} ∑_{{h∈((G^{σs})^{∘})^{F} |s∈^{h}L}}

∑_{l∈L^{∘}^{F}} ∑_{v∈((^{h}(L^{σs}))^{s})_{u}^{F}} Q_{((^{h}(L^{σs}))^{s})^{∘}}^{(G^{s})^{∘}}(u, v^{−1})^{hl}χ(sv).

Simplifiant la somme sur l, et remarquant que s ∈ ^{h}L est équivalent à s ∈ (^{h}L)^{σ_{s}}, on obtient

|(L^{σ_{s}})^{∘}^{F} |^{−1}|(G^{σ_{s}})^{s∘}^{F} |^{−1} ∑_{{h∈((G^{σs})^{∘})^{F} |s∈(^{h}L)^{σs} }}

∑_{v∈((^{h}(L^{σs}))^{s})_{u}^{F}} Q_{((^{h}(L^{σs}))^{s})^{∘}}^{((G^{σs})^{s})^{∘}}(u, v^{−1})^{h}χ(sv).

On reconnaît sur cette dernière égalité le développement du deuxième membre de l’énoncé obtenu en appliquant la formule du caractère dans G^{σ_{s}}, d’où la proposition.

Remarque. — Notons que la condition G^{s} ⊂ G^{σ_{s}} dans l’hypothèse de 2.12 est plus forte que (G^{s})^{∘} ⊂ (G^{σ_{s}})^{∘}. Un exemple d’un σ quasi-central semi-simple et d’un s ∈ (G^{∘})^{σ}.σ semi-simple tels que (G^{s})^{∘} ⊂ (G^{σ})^{∘} mais G^{s} ⊄ G^{σ} est par exemple, dans

PGL_{4} en caractéristique différente de 2, σ = ad ( \begin{matrix}0 & 0 & 0 & −1 \\ 0 & 0 & −1 & 0 \\ 0 & 1 & 0 & 0 \\ 1 & 0 & 0 & 0 \end{matrix} )∘ transposé ∘ inverse

et s = diag(1, i, −i, 1) ∘ σ, où i désigne une racine carrée de −1 : on a (G^{s})^{∘} ⊂ (G^{σ})^{∘} (et

de plus s ∈ (G^{σ})^{∘}.σ) mais l’élément n = ( \begin{matrix}1 & 0 & 0 & 0 \\ 0 & 0 & −i & 0 \\ 0 & i & 0 & 0 \\ 0 & 0 & 0 & 1 \end{matrix} ) est dans G^{s} − G^{σ}.

Le théorème précédent montre une “correspondance de caractères” entre G et G^{σ_{s}} pour les éléments semi-simples. Nous verrons qu’une telle correspondance existe dans un cadre plus large à la section 4. Pour les éléments unipotents, le point de départ sera la proposition suivante :

Proposition 2.15. — Supposons maintenant que σ est unipotent. Soit T un “tore” F -stable de G contenant σ, et soit x ∈ G^{∘}^{F} tel que σx soit unipotent. Alors :

(R_{T}^{G}(θ))(σx) = |(T^{∘}^{σ})^{F} |^{−1}Q_{T^{∘}}^{G^{∘}}(σx, σ^{−1})θ(σ).

Preuve. — On a par la formule du caractère

(R_{T}^{G}(θ))(σx) = |T^{∘}^{F} |^{−1} ∑_{v∈(T^{F})_{u}} Q_{T^{∘}}^{G^{∘}}(σx, v)θ(v^{−1})

où Q_{T^{∘}}^{G^{∘}}(σx, v) n’est non nul que si σxv ∈ G^{∘}, ce qui implique σv ∈ T^{∘}. Mais, d’après la démonstration de 1.37, les éléments unipotents v ∈ T^{F} tels que σv ∈ T^{∘} sont les ^{t}σ^{−1} où t ∈ T^{∘}^{F}. On a donc

(R_{T}^{G}(θ))(σx) = |(T^{∘}^{σ})^{F} |^{−1}Q_{T^{∘}}^{G^{∘}}(σx, σ^{−1})θ(σ).

Notons que si T^{∘} est quasi-déployé on a H_{c}^{∗}(Y_{U}^{∘}) ≃ \overline{ℚ}_{ℓ}[G^{∘}^{F} /U^{∘}^{F}] et on trouve alors (R_{T}^{G}(θ))(σ) = θ(σ)|(G^{∘}^{F} /B^{∘}^{F})^{σ}| ce qui vaut encore θ(σ) dim(R_{(T^{σ})^{∘}}^{(G^{σ})^{∘}}(Id_{(T^{σ})^{∘}})) puisque σ est quasi-central. Nous verrons à la section 4 que cette égalité a lieu pour tous les tores.

3. Théorie “de Harish-Chandra”; dualité.

Nous supposons dans ce paragraphe que G est un groupe réductif défini sur 𝔽_{q} de la forme G = G^{∘}.<σ> où σ est un élément quasi-central rationnel.

Nous démontrons d’abord une formule de Mackey pour les composés du type ^{∗}R_{M^{∘}.σ}^{G^{∘}.σ} ∘ R_{L^{∘}.σ}^{G^{∘}.σ} dans le cas où L et M sont des “Levis” de “paraboliques” rationnels contenant σ. Pour cette démonstration, nous suivons de près le cas des groupes connexes (cf. [6, chapitre 5]). Remarquons que dans le cas où le “parabolique” est rationnel, par le théorème de Lang appliqué dans U, la variété Y_{U} est égale à U.G^{F}, donc sa cohomologie est, à un décalage près, la même que celle de G^{F} /U^{F} c’est-à-dire est isomorphe à \overline{ℚ}_{ℓ}[G^{F} /U^{F}]. Dans ce cas R_{L^{∘}.σ}^{G^{∘}.σ} est donc une induction à la Harish-Chandra.

Nous définissons ensuite l’analogue de la dualité pour les fonctions sur G^{∘}^{F} .σ; les démonstrations de ses propriétés sont analogues à celles du cas connexe ([cf. 6, 8]). Nous montrons qu’on peut “recoller” les dualités définies sur les différentes tranches de G.

Enfin nous introduisons l’analogue du caractère de Steinberg pour les groupes non connexes, suivant, là encore, le cas connexe (cf. [6, 9]). Donnons d’abord deux définitions.

Définition 3.1. —

(i) Si H est un groupe réductif connexe et L et M deux sous-groupes de Levi de H, on pose

S_{H}(L, M) = { x ∈ H | L ∩ ^{x}M ⊃ un tore maximal de H }.

(ii) Si L et M sont deux “Levis” de G, nous appellerons formule de Mackey pour L et M l’égalité

∗R_{L^{∘}.σ}^{G^{∘}.σ}R_{M^{∘}.σ}^{G^{∘}.σ} = ∑_{x∈[(L^{σ})^{∘}^{F} \S_{(G^{σ})^{∘}} ((L^{σ})^{∘},(M^{σ})^{∘})^{F} /(M^{σ})^{∘}^{F}]} R_{(L^{∘}∩^{x}M^{∘}).σ}^{L^{∘}.σ}^{∗}R_{(L^{∘}∩^{x}M^{∘}).σ}^{^{x}M^{∘}.σ} ad x.

Remarquons que le deuxième membre de la formule de Mackey a un sens. En effet, si Q est un “parabolique” de G ayant M comme “Levi”, alors L∩^{x}Q est un “parabolique” de L ayant L ∩ ^{x}M = (L^{∘} ∩ ^{x}M^{∘}).<σ> comme “Levi” (cette dernière égalité car l’élément x est σ-stable).

Théorème 3.2. — Soient L et M deux “Levis” rationnels contenant σ de deux “paraboliques” rationnels P et Q respectivement; alors la formule de Mackey pour L et M est vraie.

Preuve. — Comme rappelé ci-dessus, si le “parabolique” P est rationnel R_{L}^{G} est donné par le bimodule \overline{ℚ}_{ℓ}[G^{F} /U^{F}]. Donc le premier membre de la formule de Mackey est donné par le L^{F} -module-M^{F}

\overline{ℚ}_{ℓ}[U^{F} \G^{F}] ⊗_{G^{F}} \overline{ℚ}_{ℓ}[G^{F} /V^{F}] ≃ \overline{ℚ}_{ℓ}[U^{F} \G^{F} /V^{F}].

L’autre membre est donné par

⨁_{x} \overline{ℚ}_{ℓ}[L^{F} /(L^{∘}^{F} ∩ ^{x}V^{F}) ×_{L^{F} ∩^{x}M^{F}} (U^{F} ∩ ^{x}M^{∘}^{F})\^{x}M^{F}]_{x},

où la somme porte sur x ∈ [(L^{σ})^{∘}^{F} \S_{(G^{σ})^{∘}}((L^{σ})^{∘}, (M^{σ})^{∘})^{F} /(M^{σ})^{∘}^{F}] et où m ∈ M^{F} agit sur le terme d’indice x par l’action de ^{x}m ∈ ^{x}M^{F}.

Nous décomposons le bimodule correspondant au membre de gauche en utilisant les doubles classes de G^{F} par rapport à P^{∘F} et Q^{∘F}. Seules les doubles classes σstables donnent une contribution non nulle à la trace sur ce bimodule d’un élément de L^{∘}^{F} .σ × M^{∘}^{F} .σ. La double classe de l’élément gσ^{i}, avec g ∈ G^{∘}^{F} est σ-fixe si et seulement si celle de g l’est. Si la double classe de g est σ-stable, on peut regrouper les termes correspondant aux doubles classes des éléments gσ^{i} quand i varie, en utilisant l’égalité P^{F} .g.Q^{F} = P^{∘F} .g<σ>.Q^{∘F}, et on en déduit que le membre de gauche de la formule de Mackey est donné par

\overline{ℚ}_{ℓ}[(U^{F} \G^{∘}^{F} <σ>/V^{F})^{σ}] = ⨁_{x∈[(P^{∘F} \G^{∘}^{F} /Q^{∘F})^{σ}]} \overline{ℚ}_{ℓ}[U^{F} \P^{∘F} x<σ>Q^{∘F} /V^{F}].

Remarquons aussi que P^{∘F} \G^{∘}^{F} /Q^{∘F} s’identifie à l’ensemble des doubles classes rationnelles (P^{∘}\G^{∘}/Q^{∘})^{F} car P^{∘}, Q^{∘} et P^{∘} ∩ ^{x}Q^{∘} sont connexes, pour tout x ∈ G^{∘}. Appliquons alors le lemme suivant :

Lemme 3.3. — L’application naturelle

((L^{σ})^{∘})^{F} \S_{(G^{σ})^{∘}}((L^{σ})^{∘}, (M^{σ})^{∘})^{F} /((M^{σ})^{∘})^{F} → ((P^{∘}\G^{∘}/Q^{∘})^{F})^{σ}

est une bijection.

Preuve. — Nous démontrons d’abord l’analogue géométrique de cette assertion, c’està-dire

Lemme 3.4. — L’application naturelle

(L^{σ})^{∘}\S_{(G^{σ})^{∘}}((L^{σ})^{∘}, (M^{σ})^{∘})/(M^{σ})^{∘} → (P^{∘}\G^{∘}/Q^{∘})^{σ}

est une bijection.

Preuve. — On sait que L^{∘}\S_{G^{∘}}(L^{∘}, M^{∘})/M^{∘} → P^{∘}\G^{∘}/Q^{∘} est une bijection (cf., par exemple, [6] 5.6). Cette bijection étant clairement compatible à l’action de σ, il suffit donc de montrer que

(L^{σ})^{∘}\S_{(G^{σ})^{∘}}((L^{σ})^{∘}, (M^{σ})^{∘})/(M^{σ})^{∘} → (L^{∘}\S_{G^{∘}}(L^{∘}, M^{∘})/M^{∘})^{σ}  (1)

est une bijection. Soit x ∈ (G^{σ})^{∘} tel que les sous-groupes de Levi ^{x}(L^{σ})^{∘} et (M^{σ})^{∘} de (G^{σ})^{∘} aient un tore maximal de (G^{σ})^{∘} en commun. Alors ^{x}L^{∘} et M^{∘} contiennent le centralisateur de ce tore qui est un tore maximal σ-stable de G^{∘} inclus dans un sous-groupe de Borel σ-stable. Comme S_{G^{∘}}(^{x}L^{∘}, M^{∘}) = xS_{G^{∘}}(L^{∘}, M^{∘}), on est ramené à démontrer le lemme dans le cas où L^{∘} ∩ M^{∘} contient un tore maximal σ-stable T^{∘} inclus dans un sous-groupe de Borel σ-stable B^{∘}. Dans ce cas B^{∘} définit une base Π du système de racines de G^{∘} par rapport à T^{∘}, les groupes L^{∘} et M^{∘} correspondent à des parties σ-stables I et J de Π, et on sait que L^{∘}\S_{G^{∘}}(L^{∘}, M^{∘})/M^{∘}→^{∼}W_{I}\W/W_{J}, où W est le groupe de Weyl de G^{∘} par rapport à T^{∘} (cf., par exemple, [6], 5.5 et 5.6). Toutes ces bijections sont compatibles à l’action de σ. Les doubles classes dans W_{I}\W/W_{J} ont des représentants uniques I-réduits-J (cf. [6, 5.5]), donc le représentant I-réduit-J d’une double classe σ-stable est σ-fixe. Comme σ est quasi-central, un élément σ-fixe de W se relève dans N_{(G^{σ})^{∘}}(T^{∘}). Donc l’application (1) est surjective.

Elle est injective car si x et lxm sont dans S_{(G^{σ})^{∘}}((L^{σ})^{∘}, (M^{σ})^{∘}), avec l ∈ L^{∘}, m ∈ M^{∘}, alors en particulier x et lxm sont σ-stables, d’où l^{−1}^{σ}l = ^{x}(m.^{σ}m^{−1}) ∈ L^{∘}∩^{x}M^{∘}. D’après 1.21, on peut écrire l = l′y avec l′ ∈ (L^{σ})^{∘} et y ∈ L^{∘}∩^{x}M^{∘}. On a alors m = ^{x^{−1}}y^{−1}m′ avec m′ ∈ M^{∘}^{σ}, et lxm = l′xm′. Cette dernière égalité montre que m′ est dans (G^{σ})^{∘} ∩ M^{∘}, donc dans (M^{σ})^{∘}, d’où l’injectivité.

Le lemme 3.3 est alors une conséquence de 3.4 et du théorème de Lang car les groupes (L^{σ})^{∘}, (M^{σ})^{∘} et (L^{σ})^{∘} ∩ ^{x}(M^{σ})^{∘}, sont connexes pour tout x ∈ (G^{σ})^{∘}.

On déduit du lemme 3.3 et des remarques qui le précèdent que le membre de gauche de la formule de Mackey est donné par

⨁_{x∈[(L^{σ})^{∘}^{F} \S_{(G^{σ})^{∘}} ((L^{σ})^{∘},(M^{σ})^{∘})^{F} /(M^{σ})^{∘}^{F}]} \overline{ℚ}_{ℓ}[U^{F} \P^{∘F} x<σ>Q^{∘F} /V^{F}].

Utilisons alors le lemme suivant.

Lemme 3.5. — Pour tout x ∈ S_{(G^{σ})^{∘}}((L^{σ})^{∘}, (M^{σ})^{∘})^{F} l’application

(l(L^{∘} ∩ ^{x}V)^{F} , (^{x}M^{∘} ∩ U)^{F} .^{x}m) ↦ U^{F} lxmV^{F}

est un isomorphisme du produit amalgamé L^{∘}^{F} <σ>/(L^{∘} ∩^{x}V)^{F} ×_{(L^{∘}∩^{x}M^{∘})^{F} <σ>} (^{x}M^{∘} ∩ U)^{F} \^{x}M^{∘}^{F} <σ> sur U^{F} \P^{∘F} xQ^{∘F} <σ>/V^{F}.

Preuve. — L’ensemble de départ est isomorphe à

(L^{∘}^{F} /(L^{∘} ∩ ^{x}V)^{F} ×_{(L^{∘}∩^{x}M^{∘})^{F}} (^{x}M^{∘} ∩ U)^{F} \^{x}M^{∘}^{F})<σ>,

et l’ensemble d’arrivée est isomorphe à (U^{F} \P^{∘F} xQ^{∘F} /V^{F})<σ>. Chacun de ces ensembles est égal au produit de <σ> par l’ensemble analogue pour les groupes connexes P^{∘}, Q^{∘}, L^{∘}, M^{∘}. On sait (cf. [6, 5.7]) que l’analogue du lemme pour les groupes connexes est vrai; on en déduit le résultat.

On obtient alors

(U^{F} \G^{∘}^{F} <σ>/V^{F})^{σ}→^{∼}

∐_{x∈[(L^{σ})^{∘}^{F} \S_{(G^{σ})^{∘}} ((L^{σ})^{∘},(M^{σ})^{∘})^{F} /(M^{σ})^{∘}^{F}]} L^{∘}^{F} <σ>/(L^{∘} ∩ ^{x}V)^{F} ×_{(L^{∘}∩^{x}M^{∘})^{F} <σ>} (^{x}M^{∘} ∩ U)^{F} \^{x}(M^{∘}^{F} <σ>),

et cette bijection est compatible avec les actions de L^{∘}^{F} <σ> et M^{∘}^{F} <σ>. D’où la formule de Mackey.

3.1 Dualité

Donnons d’abord deux définitions qui seront utilisées pour définir l’opérateur de dualité.

Définition 3.6. — Soit H un groupe algébrique linéaire défini sur 𝔽_{q} (non nécessairement connexe, ni réductif) et soit H^{∘}.x une classe rationnelle de H modulo H^{∘};

(i) Si τ ∈ H^{∘}.x est un élément quasi-semi-simple d’un “tore” rationnel inclus dans un “Borel” rationnel et induisant un automorphisme rationnel de H^{∘}, on pose

ε_{H^{∘}.x} = (−1)^{𝔽_{q}-rang de H^{∘}^{τ}} .

(ii) Si \overline{H} est le quotient semi-simple de H, on pose

η_{H^{∘}.x} = ε\overline{H^{∘}.x}.

Remarquons d’abord qu’un τ comme dans (i) existe toujours car, comme H^{∘} est connexe, la classe H^{∘}.x a un représentant rationnel; notons-le encore x; deux couples formés d’un tore maximal rationnel inclus dans un sous-groupe de Borel rationnel étant conjugués sous H^{∘}^{F}, on peut trouver un élément h ∈ H^{∘}^{F} tel que τ = hx soit dans un “tore” rationnel inclus dans un “Borel” rationnel. D’autre part le 𝔽_{q}-rang de (H^{τ})^{∘} ne dépend pas de l’élément τ choisi comme dans l’énoncé; en effet par le même raisonnement tout élément quasi-semi-simple comme dans (i) peut être ramené par une conjugaison rationnelle dans le même “tore” T rationnel que τ. Il est alors de la forme tτ avec t ∈ T^{∘}, donc les 𝔽_{q}-rangs considérés sont égaux.

La proposition suivante donne une interprétation de η_{H^{∘}.x} dans le cas où H admet une décomposition de Levi rationnelle H = L.U, où U est le radical unipotent de H.

Proposition 3.7. — Avec les notations précédentes, soit H^{∘}.x une classe rationnelle et soit τ ∈ L ∩ (H^{∘}.x) induisant un automorphisme rationnel de H^{∘}, dont la restriction à L^{∘} soit quasi-centrale. Alors

η_{H^{∘}.x} = (−1)^{𝔽_{q}-rang semi-simple de (H^{τ})^{∘}}.

Remarquons que L ∩ (H^{∘}.x) est une seule classe modulo L^{∘} car U est connexe.

Preuve. — Rappelons que

𝔽_{q}-rang semi-simple de (H^{τ})^{∘} = 𝔽_{q}-rang de (H^{τ})^{∘} − 𝔽_{q}-rang de Rad((H^{τ})^{∘}).

Pour démontrer la proposition on peut supposer H réductif; en effet on a (H^{τ})^{∘} = (L^{τ})^{∘}(U^{τ})^{∘}, donc Rad((H^{τ})^{∘}) = Rad((L^{τ})^{∘})(U^{τ})^{∘}, d’où

𝔽_{q}-rang semi-simple de (H^{τ})^{∘} = 𝔽_{q}-rang semi-simple de (L^{τ})^{∘}.

La proposition est alors conséquence du fait que si τ induit un automorphisme quasicentral rationnel, d’après la proposition 1.23 appliquée à H (considéré comme “Levi” de lui-même), le radical de (H^{τ})^{∘} est (Rad(H)^{τ})^{∘}.

Dans le cas où H = G, nous donnons un autre résultat sur la valeur de ces signes.

Proposition 3.8. — Soit (T^{∘}, B^{∘}) un couple formé d’un tore maximal de G^{∘} et d’un sous-groupe de Borel de G^{∘} le contenant, tous deux rationnels et σ-stables et soit E = X(T^{∘}) ⊗ ℚ; on note τ l’automorphisme de E tel que F induise qτ^{−1} sur E. Alors le 𝔽_{q}-rang semi-simple de G^{σ} est égal à dim(E^{τ,σ}) − dim(<Φ^{∨}>^{⊥} ∩ E^{τ,σ}).

Lemme 3.9. — Si T^{∘} est un tore rationnel σ-stable de G, alors

𝔽_{q}-rang((T^{σ})^{∘}) = rang(X(T^{∘})^{σ,τ}).

Preuve. — On a Y (T^{∘})^{σ} = Y ((T^{σ})^{∘}). Donc le 𝔽_{q}-rang de T^{∘}^{σ∘} est égal au rang de Y (T^{∘})^{σ,τ}. Comme X(T^{∘}) et Y (T^{∘}) sont duaux l’un de l’autre et que les actions de σ (resp. de τ) sur ces deux groupes sont transposées l’une de l’autre, on en déduit le résultat.

Une conséquence du lemme précédent et de la démonstration de 3.7 est que le 𝔽_{q}-rang de Rad(G^{σ}) est égal à dim(<Φ^{∨}>^{⊥} ∩ E^{τ,σ}). On en déduit la proposition.

Nous n’utiliserons pas cette proposition dans la suite. On pourrait l’utiliser pour démontrer le lemme 3.15 par un argument analogue à celui de [6, 8.12].

Définition 3.10. — On définit l’opérateur de dualité sur les fonctions de G^{∘}^{F} -classe sur G^{∘}^{F} .σ par

D_{G^{∘}}_{.σ} = ∑_{P⊃B} η_{P^{∘}}_{.σ}R_{L^{∘}.σ}^{G^{∘}.σ} ∘ ^{∗}R_{L^{∘}.σ}^{G^{∘}.σ}

où B est un “Borel” rationnel contenant σ fixé de G et où P décrit l’ensemble des “paraboliques” rationnels de G contenant B; on a noté L un “Levi” rationnel de P contenant σ.

Notons que si dans cette définition on écrit B ∩ G^{∘}.σ au lieu de B^{∘}.σ et P ∩ G^{∘}.σ au lieu de P^{∘}.σ, alors le membre de droite a un sens même si B ne contient pas σ, et définit toujours le même opérateur car deux “Borels” rationnels sont conjugués sous G^{F} et deux “Levis” rationnels de P sont conjugués sous U^{F} si U est le radical unipotent de P.

D’autre part l’opérateur R_{L^{∘}.σ}^{G^{∘}.σ}∘^{∗}R_{L^{∘}.σ}^{G^{∘}.σ} ne dépend pas du “Levi” (rationnel), contenant σ, considéré de P; en effet si L et M sont deux “Levis” rationnels de P, alors leurs intersections avec (G^{σ})^{∘} sont des sous-groupes de Levi rationnels de P ∩ (G^{σ})^{∘} d’après 1.11 (ii), donc sont conjuguées par un élément p ∈ P^{F} ∩ (G^{σ})^{∘}; d’après 1.25 p conjugue L^{∘} sur M^{∘}, et donc L sur M. On pourrait aussi déduire cette assertion des égalités suivantes :

(R_{L}^{G} ∘ ^{∗}R_{L}^{G}χ)(x) = |P^{∘F} |^{−1} ∑_{\{g∈G^{∘}^{F} |^{g}P∋x\}}(^{∗}R_{L}^{G}χ)(\overline{^{g^{−1}}x}) = ∑_{\{P′∼_{_{G^{∘}}F} P|P′∋x\}}(^{∗}R_{L′}^{G}χ)(\overline{x})

= ∑_{{P′∼_{_{G^{∘}}F} P|P′∋x}} |U_{P′}^{F}|^{−1} ∑_{u∈U_{P′}^{F}} χ(xu),

où \overline{x} est la projection de x sur le “Levi” L′ de P′.

Théorème 3.11. — Soit L un “Levi” rationnel de G contenant σ; si la formule de Mackey pour L et pour un “Levi” rationnel quelconque M d’un “parabolique” rationnel de G est vraie, on a

ε_{G^{∘}}_{.σ}D_{G^{∘}}_{.σ} ∘ R_{L^{∘}.σ}^{G^{∘}.σ} = ε_{L^{∘}}_{.σ}R_{L^{∘}.σ}^{G^{∘}.σ} ∘ D_{L^{∘}.σ}.

En particulier si L est un “Levi” d’un “parabolique” rationnel la dualité et R_{L^{∘}.σ}^{G^{∘}.σ} commutent.

Nous verrons que la formule de Mackey 3.1 (ii) pour L un tore maximal et M un “Levi” rationnel quelconque est vraie (cf. 4.4), ce qui nous donnera un cas d’application de l’énoncé ci-dessus où ε_{G^{∘}}_{.σ}ε_{L^{∘}}_{.σ} n’est pas toujours égal à 1.

Preuve. — En appliquant la formule de Mackey, on obtient

D_{G^{∘}}_{.σ} ∘ R_{L^{∘}.σ}^{G^{∘}.σ} = ∑_{Q⊃B} η_{Q^{∘}}_{.σ}R_{M^{∘}.σ}^{G^{∘}.σ}

∑_{x∈[(L^{σ})^{∘}^{F} \S_{(G^{σ})^{∘}} ((L^{σ})^{∘},(M^{σ})^{∘})^{F} /(M^{σ})^{∘}^{F}]} R_{M^{∘}.σ∩^{x}L}^{M^{∘}.σ}^{∗}R_{M^{∘}.σ∩^{x}L}^{^{x}(L^{∘}.σ)} ad x,

où M est un “Levi” rationnel de Q. En faisant commuter ad x avec tous les termes dans le membre de droite et en utilisant la transitivité de R_{L^{∘}.σ}^{G^{∘}.σ}, ce membre s’écrit :

R_{L^{∘}.σ}^{G^{∘}.σ} ∑_{Q} η_{Q^{∘}}_{.σ} ∑_{x∈[(L^{σ})^{∘}^{F} \S_{(G^{σ})^{∘}} ((L^{σ})^{∘},(M^{σ})^{∘})^{F} /(M^{σ})^{∘}^{F}]} R_{(L^{∘}∩^{x}M^{∘})σ}^{L^{∘}.σ}^{∗}R_{(L^{∘}∩^{x}M^{∘})σ}^{L^{∘}.σ}

(on a aussi changé x en x^{−1}). D’après 1.25 Q ↦ (Q^{σ})^{∘} est une bijection des “paraboliques” rationnels de G contenant B sur les sous-groupes paraboliques de (G^{σ})^{∘} contenant (B^{σ})^{∘}. D’après les égalités au-dessus de 3.11 le foncteur R_{(L^{∘}∩^{x}M^{∘})σ}^{L^{∘}.σ}^{∗}R_{(L^{∘}∩^{x}M^{∘})σ}^{L^{∘}.σ} ne dépend que de Q, donc que de (Q^{σ})^{∘}; notons ce foncteur f((Q^{σ})^{∘}). D’après 3.7 on a (notons que la restriction de σ à L^{∘} est encore quasi-centrale comme on le voit en utilisant la définition 1.15 (iii))

η_{Q^{∘}}_{.σ} = (−1)^{𝔽_{q}-rang semi-simple de (Q^{σ})^{∘}}.

Nous pouvons donc réécrire la sommation ci-dessus comme

∑_{Q′} η_{Q′} ∑_{x∈[L^{′F} \S_{(G^{σ})^{∘}} (L′,M′)^{F} /M^{′F}]} f(Q′),

où la somme porte sur les sous-groupes paraboliques rationnels Q′ de (G^{σ})^{∘} contenant (B^{σ})^{∘}, où l’on a posé L′ = (L^{σ})^{∘}, où M′ est un sous-groupe de Levi de Q′ et η_{Q′} = (−1)^{𝔽_{q}-rang semi-simple de Q′}. Pour l ∈ ((L^{σ})^{∘})^{F} on a f((Q^{σ})^{∘}) = f(((^{l}Q)^{σ})^{∘}). La formule ci-dessus est donc formellement du même type que la formule qui apparaît dans la démonstration de l’énoncé analogue à 3.11 pour le cas des groupes connexes (cf. par exemple [6, 8.11] et plus particulièrement les formules qui précèdent [6, 8.12]). On peut donc suivre la démonstration de loc. cit., et en appliquant 1.25 aux “paraboliques” de L, on trouve que la somme ci-dessus est égale à

ε_{(G^{σ})^{∘}}ε_{(L^{σ})^{∘}} ∑_{Q′⊃B∩L} η_{(Q′)^{∘}.σ}R_{M^{′∘}.σ}^{L^{∘}.σ}^{∗}R_{M^{′∘}.σ}^{L^{∘}.σ},

où la première somme porte sur des “paraboliques” rationnels Q′ de L et où M′ est un “Levi” rationnel contenant σ de Q′. Le théorème s’en déduit car ε_{(G^{σ})^{∘}} et ε_{(L^{σ})^{∘}} valent respectivement ε_{G^{∘}}_{.σ} et ε_{L^{∘}}_{.σ}, par définition.

Comme la dualité est autoadjointe le théorème précédent montre aussi que sous les mêmes hypothèses

ε_{L^{∘}}_{.σ}D_{L^{∘}.σ} ∘ ^{∗}R_{L^{∘}.σ}^{G^{∘}.σ} = ε_{G^{∘}}_{.σ}^{∗}R_{L^{∘}.σ}^{G^{∘}.σ} ∘ D_{G^{∘}.σ},

et qu’en particulier la dualité commute à ^{∗}R_{L^{∘}.σ}^{G^{∘}.σ} quand L est un “Levi” d’un “parabolique” rationnel.

Corollaire 3.12. — La dualité est une involution isométrique.

Preuve. — D’après la remarque précédente on a

D_{G^{∘}}_{.σ} ∘ D_{G^{∘}}_{.σ} = ∑_{P⊃B} η_{P^{∘}}_{.σ}R_{L^{∘}.σ}^{G^{∘}.σ}^{∗}R_{L^{∘}.σ}^{G^{∘}.σ} ∘ D_{G^{∘}}_{.σ} = ∑_{P⊃B} η_{P^{∘}}_{.σ}R_{L^{∘}.σ}^{G^{∘}.σ}D_{L^{∘}}_{.σ}^{∗}R_{L^{∘}.σ}^{G^{∘}.σ} =

∑_{P⊃B} ∑_{Q⊃B∩L} η_{P^{∘}}_{.σ}η_{Q^{∘}}_{.σ}R_{L^{∘}.σ}^{G^{∘}.σ}R_{M^{∘}.σ}^{L^{∘}.σ}^{∗}R_{M^{∘}.σ}^{L^{∘}.σ}^{∗}R_{L^{∘}.σ}^{G^{∘}.σ}

où Q est un “parabolique” rationnel contenant σ de L et M un “Levi” rationnel contenant σ de Q. En utilisant la transitivité de l’induction on obtient

D_{G^{∘}}_{.σ} ∘ D_{G^{∘}}_{.σ} = ∑_{P⊃B} ∑_{Q⊃B∩L} η_{P^{∘}}_{.σ}η_{Q^{∘}}_{.σ}R_{M^{∘}.σ}^{G^{∘}.σ}^{∗}R_{M^{∘}.σ}^{G^{∘}.σ} =

∑_{Q′⊃B}( ∑_{P⊃Q′} η_{P^{∘}}_{.σ})η_{Q^{′∘}.σ}R_{M^{∘}.σ}^{G^{∘}.σ}^{∗}R_{M^{∘}.σ}^{G^{∘}.σ}

où Q′ est un “parabolique” rationnel contenant σ de G (on a posé Q′ = QU si U est le radical unipotent de B^{∘}). Nous obtiendrons donc que la dualité est une involution si nous montrons que la somme (∑_{P⊃Q′} η_{P^{∘}}_{.σ}) est nulle quand P ≠ Q′. Si Π est la base définie par B^{∘} du système de racines de G^{∘} par rapport à T^{∘}, d’après 1.25, les “paraboliques” P rationnels contenant B sont en bijection avec les parties τ et σ-stables de Π, c’est-à-dire avec les parties de Π/<τ, σ>. D’après 1.8, (v) (voir aussi 3.9), le 𝔽_{q}-rang semi-simple de (L^{σ})^{∘} est égal au cardinal de la partie correspondante de Π/<τ, σ>. La somme porte sur toutes les parties contenant une partie fixée, elle est donc bien nulle si la partie fixée n’est pas égale à tout. Étant donc une involution et de plus autoadjointe vu sa définition et le fait que l’adjoint de R\begin{matrix}G^{∘} & .σ \\ L^{∘} & .σ \end{matrix} est ^{∗}R\begin{matrix}G^{∘} & .σ \\ L^{∘} & .σ \end{matrix}, la dualité est une isométrie.

On a vu dans la démonstration précédente que

D_{G^{∘}}_{.σ} = ∑_{I∈P(\overline{Π})^{σ}}(−1)^{|I/σ|}R_{L_{I}^{∘}.σ}^{G^{∘}.σ} ∘ ^{∗}R_{L_{I}^{∘}.σ}^{G^{∘}.σ},

où \overline{Π} est l’ensemble des orbites de τ dans la base Π du système de racines de G^{∘} par rapport à T^{∘} ⊂ B^{∘} et où P(\overline{Π}) est l’ensemble des parties de \overline{Π}. Nous allons montrer, en utilisant cette formule que les dualités définies sur chaque tranche se recollent en une dualité globale définie sur G. Certains des arguments ci-dessous ont déjà été employés par G. Malle pour construire la représentation de Steinberg St_{G} (cf. ci-dessous 3.16).

Proposition 3.13. — Pour tout χ ∈ Irr(G^{F}) ayant une restriction irréductible à G^{∘}^{F}, la fonction de classe ψ sur G^{F} définie par :

ψ(x) = D_{G^{∘}.σ^{i}}(χ|_{G^{∘}^{F} .σ^{i}})(x), si x ∈ G^{∘}^{F} .σ^{i}

est au signe près un caractère irréductible de G^{F}.

Preuve. — Il suffit de prouver que ψ est un caractère virtuel (on conclut alors car son carré scalaire est 1). Notons \overline{σ} l’image de σ dans G/G^{∘} (comme σ est quasi-central l’action de <σ> sur Π se factorise par <\overline{σ}>). Soit I une partie de \overline{Π} et soit S_{I} le sousgroupe de <\overline{σ}> qui stabilise I. Pour chaque I choisissons un caractère η_{I} de <\overline{σ}> dont la restriction à S_{I} soit le caractère d’ordre 2 de S_{I} (resp. soit triviale) si S_{I} est d’ordre pair (resp. d’ordre impair). Nous considérerons η_{I} comme un caractère de <σ>. Nous allons montrer que ψ est donné par la formule suivante :

ψ = ∑_{I∈P(\overline{Π})}(−1)^{|I|}η_{I}^{|I|+|I/S_{I}|}R_{L_{I}}^{G} ∘ ^{∗}R_{L_{I}}^{G} χ.  (1)

Sur la tranche G^{∘}^{F} .σ^{i} cette formule vaut

∑_{I∈P(\overline{Π})^{σ^{i}}}(−1)^{|I|}η_{I}^{|I|+|I/S_{I}|}R_{L_{I}^{∘}.σ^{i}}^{G^{∘}.σ^{i}} ∘ ^{∗}R_{L_{I}^{∘}.σ^{i}}^{G^{∘}.σ^{i}}χ|_{G^{∘}^{F} .σ^{i}},

car si I n’est pas σ^{i}-stable le terme correspondant est nul. Si I est σ^{i}-stable il faut voir que (−1)^{|I|}η_{I}(σ^{i})^{|I|+|I/S_{I}|} est égal à (−1)^{|I/σ^{i}|}.

Pour le montrer, quitte à remplacer σ par sa plus petite puissance qui stabilise I, on peut supposer que S_{I} = <\overline{σ}>. Remarquons d’abord que

(−1)^{|I/σ^{i}|} = \{ \begin{matrix}(−1)^{|I|} & si i est pair, \\ (−1)^{|I/σ|} & si i est impair, \end{matrix}

car si I est une orbite sous σ on a |I/σ^{i}| = pgcd(i, |I|) et le cas général se déduit du cas où I est une seule orbite. Si \overline{σ} est d’ordre impair alors η_{I} est trivial et on a bien (−1)^{|I/σ^{i}|} = (−1)^{|I|} d’après la remarque précédente. Si \overline{σ} est d’ordre pair il faut montrer que (−1)^{|I/σ^{i}|} = (−1)^{|I|+i(|I|+|I/σ|)}, ce qui est aussi une conséquence de la remarque précédente.

Comme η_{I} est un caractère du groupe <\overline{σ}> = G^{F} /G^{∘}^{F}, la formule (1) exprime bien ψ comme un caractère virtuel de G^{F}.

Proposition 3.14. — Si x = su est la décomposition de Jordan d’un élément de G^{∘}^{F} .σ, alors :

ε_{G^{∘}}_{.σ}(D_{G^{∘}}_{.σ}χ)(x) = ε_{(G^{s})^{∘}.x}(D_{(G^{s})^{∘}.x} ∘ Res_{(G^{s})^{∘}.x}^{G^{∘}.σ} χ)(x).

Preuve. — On a (cf. égalités au-dessus de 3.11) :

(R_{L}^{G} ∘ ^{∗}R_{L}^{G}χ)(x) = ∑_{\{P′∼_{_{G^{∘}}F} P|P′∋x\}}(^{∗}R_{L′}^{G}χ)(\overline{x})

où \overline{x} est la projection de x sur L′, et cette expression ne dépend pas du choix du sousgroupe de Levi L′ de P′ car (^{∗}R_{L′}^{G}χ)(\overline{x}) = |U_{P′}^{F}|^{−1} ∑_{u∈U_{P′}^{F}} χ(xu). On peut donc supposer

que L′ ∋ s. On a alors (\overline{x})_{s} = s. En effet si u = vv′ est la décomposition de u, où v ∈ L′ et v′ ∈ U_{P′}, vu l’unicité de cette décomposition, s commute à v et v′ séparément, donc \overline{x} = sv est une décomposition de Jordan. On obtient alors par 2.9 :

(^{∗}R_{L′}^{G}χ)(\overline{x}) = (^{∗}R_{(L^{′s})^{∘}.<\overline{x}>}^{(G^{s})^{∘}.<\overline{x}>}χ)(\overline{x}) = |(U_{P′}^{s})^{F} |^{−1} ∑_{u∈U_{P′}^{s}} χ(\overline{x}u) = (^{∗}R_{(L^{′s})^{∘}.<x>}^{(G^{s})^{∘}.<x>}χ)(x),

cette dernière égalité car \overline{x} = xv^{′−1} où v′ ∈ U_{P′}^{s}. Comme η_{P^{∘}.σ} = η_{P^{′^{∘}} .x} on a donc :

(D_{G^{∘}}_{.σ}χ)(x) = ∑_{P′∋x} η_{P′^{∘}.x}(^{∗}R_{L′}^{G}χ)(\overline{x})

= ∑_{P′∋x} η_{P′^{∘}.x}(^{∗}R_{(L^{′s})^{∘}.<x>}^{(G^{s})^{∘}.<x>}χ)(x)

= ∑_{Q∋x}( ∑_{{ P′|P′∩(G^{s})^{∘}.<x>=Q }} η_{P′^{∘}.x})(^{∗}R_{(L^{′s})^{∘}.<x>}^{(G^{s})^{∘}.<x>}χ)(x)

où dans la première somme Q est un “parabolique” de (G^{s})^{∘}.<x> et dans la deuxième somme P′ est un “parabolique” de G. Remarquons que (L^{′s})^{∘} est un sous-groupe de Levi de Q^{∘}. On en déduit le résultat par la première égalité appliquée dans (G^{s})^{∘}.<x> et par le lemme suivant :

Lemme 3.15. — Soit x ∈ G^{∘}^{F} .σ et soit H = (G^{s})^{∘}.<x>, où s est la partie semi-simple de x; soit Q′ un “parabolique” rationnel de H contenant x; alors on a

ε_{G^{∘}.x} ∑_{{ Q|Q∩H=Q′ }} η_{Q^{∘}.x} = ε_{H^{∘}.x}η_{Q^{′∘}.x},

où Q dans la somme parcourt l’ensemble des sous-groupes paraboliques rationnels de G.

Preuve. — Soit S un “tore” rationnel de Q′ (donc de H) inclus dans un “Borel” rationnel de H et soit y ∈ S^{F} ∩ (Q^{′∘}.x). Alors la partie unipotente y_{u} de y est quasisemi-simple unipotente, donc quasi-centrale dans H. Donc sy_{u} est quasi-central rationnel dans H et Q^{′∘}.sy_{u} = Q^{′∘}.x car y et x ont même image modulo Q^{′∘}, donc leurs parties unipotentes aussi. Les termes de l’égalité à démontrer ne changent pas si on y remplace x par sy_{u} et on est donc ramené au cas où x est quasi-central dans H, donc quasi-semi-simple dans G par 1.14. Ramenons-nous maintenant à x semi-simple. Soit x = su la décomposition de Jordan de x; la partie unipotente de σ est rationnelle et est dans G^{∘}.u car x et σ sont égaux modulo G^{∘} donc leurs parties unipotentes aussi. Donc la partie unipotente de σ est conjuguée sous G^{∘}^{F} à u d’après 1.37. Donc il existe un conjugué sous G^{∘}^{F} de x, que nous noterons encore x, qui a même partie unipotente que σ. Alors

ε_{G^{∘}.x} = (−1)^{𝔽_{q}-rang de (G^{σ})^{∘}} = ε_{G^{∘}^{u}.σ} = ε_{G^{∘}^{u}.x},

l’avant-dernière égalité car (G^{∘}^{u})^{σ} = G^{∘}^{σ}. Le même argument s’applique aux signes η_{Q^{∘}.x}, ε_{H^{∘}.x} et η_{Q^{′∘}.x}. D’autre part, comme u est quasi-central dans G et dans H les groupes Q et Q′ sont caractérisés par leurs points fixes sous u, et, si Q est un “parabolique” contenant x, on a Q ∩ H = Q′ si et seulement si (Q^{u})^{∘} ∩ (H^{u})^{∘} = (Q^{′u})^{∘}. On est donc ramené, en considérant les groupes (G^{u})^{∘}.<x>, (H^{u})^{∘}.<x>, (Q^{u})^{∘}.<x> et (Q^{′u})^{∘}.<x> au cas où x = su et u est central, et de plus σ ∈ (G^{u})^{∘}.x. Nous nous plaçons dans ce cas.

Par définition on a

ε_{G^{∘}.x} = (−1)^{𝔽_{q}-rang de (G^{σ})^{∘}} et η_{Q^{∘}.x} = (−1)^{𝔽_{q}-rang semi-simple de (Q^{σ})^{∘}}.

Remarquons aussi que ε_{H^{∘}.x} = ε_{H^{∘}} et η_{Q^{′∘}.x} = η_{Q^{′∘}}, car x agit trivialement sur H^{∘}. Comme H^{∘} est un sous-groupe réductif de rang maximum de (G^{σ})^{∘}, la formule résulte de la formule analogue dans le groupe (G^{σ})^{∘} (cf. [6, 8.12]).

3.2 Caractère de Steinberg

Définition 3.16. — On appelle caractère de Steinberg de G^{F}, noté St_{G}, le dual de l’identité. On note St_{G^{∘}}_{.σ} = D_{G^{∘}}_{.σ} Id_{G^{∘}}_{.σ}, la restriction du caractère de Steinberg à G^{∘}.σ.

Le caractère de Steinberg est un caractère irréductible car il l’est au signe près d’après 3.13 et sa restriction à G^{∘}^{F} est un vrai caractère (c’est le caractère de Steinberg du groupe G^{∘}^{F}).

Proposition 3.17. — Soient T ⊂ B un “tore” et un “Borel” contenant σ et rationnels de G. Alors :

Res\begin{matrix}G^{∘}^{F} & .σ \\ B^{∘}^{F} & .σ \end{matrix} St_{G^{∘}}_{.σ} = Ind\begin{matrix}B^{∘}^{F} & .σ \\ T^{∘}^{F} & .σ \end{matrix} Id_{T^{∘}}_{.σ} .

Preuve. — Posons \overline{Π} = Π/\{τ, σ\} où Π est la base des racines de G^{∘} par rapport à T^{∘} définie par B^{∘} et où τ est la permutation des racines définie par F (cf. remarques au dessus de 3.13), et notons I′ ⊂ Π l’image réciproque de I ⊂ \overline{Π}. On a

St_{G^{∘}}_{.σ} = ∑_{I⊂\overline{Π}}(−1)^{|I|} Ind_{P_{I}^{∘F} .σ}^{G^{∘}^{F} .σ} Id_{P_{I}.σ}

Nous avons besoin de la formule de Mackey pour les fonctions de σ-classe : si B, P sont deux sous-groupes σ-stables du groupe fini G muni d’un automorphisme σ, alors

Res_{B.σ}^{G.σ} ∘ Ind_{P.σ}^{G.σ} = ∑_{w∈[B\G/P]^{σ}} Ind_{B.σ∩^{w}(P.σ)}^{B.σ} ∘ Res_{B∩^{w}(P.σ)}^{^{w}(P.σ)} ∘ ad w.

En utilisant cette formule et en tenant compte de ce que (B^{∘}^{F} \G^{∘}^{F} /P_{I}^{∘}^{F})^{σ} a pour représentants les éléments réduits-I′ de W_{G^{∘}}(T^{∘}) qui sont σ et F -stables, et de ce que (cf. preuve de [6], 9.2) pour de tels w on a B^{∘} ∩ ^{w}P_{I}^{∘} = B^{∘} ∩ ^{w}B^{∘}, on trouve

Res\begin{matrix}G^{∘}^{F} & .σ \\ B^{∘}^{F} & .σ \end{matrix} St_{G^{∘}}_{.σ} = ∑_{w∈W^{σ,F}} ( ∑_{\{ I⊂\overline{Π}|w est réduit-I′ \}}(−1)^{|I|}) Ind_{B^{∘}^{F} .σ∩^{w}(B^{∘}^{F} .σ)}^{B^{∘}^{F} .σ} Id .

On peut maintenant se placer dans le système de racines de base \overline{Π} dont le groupe de Weyl est W^{σ,F}. L’élément w est réduit-I pour ce système de racines si et seulement si il est réduit-I′. En faisant le même raisonnement que dans le cas d’un groupe connexe (cf. [6], 9.2) on trouve alors que la somme de signes ci-dessus est nulle sauf pour w l’élément de plus grande longueur (par rapport à la base \overline{Π}) de W^{σ,F}, qui coïncide avec l’élément de plus grande longueur de W, auquel cas elle vaut 1, et alors B^{∘}^{F} .σ ∩^{w}(B^{∘}^{F} .σ) = T^{∘}^{F} .σ, d’où le résultat.

La proposition suivante confirme l’analogie entre St_{G^{∘}}_{.σ} et le caractère de Steinberg d’un groupe réductif connexe.

Proposition 3.18. — Si x ∈ G^{∘}^{F} .σ, on a :

St_{G^{∘}}_{.σ}(x) = \{ \begin{matrix}ε_{(G^{σ})^{∘}}ε_{(G^{x})^{∘}}|(G^{x})^{∘}|_{p} & si x est quasi-semi-simple, \\ 0 & sinon. \end{matrix}

Preuve. — Soit x = su la décomposition de Jordan de x; par 3.14 et 1.14 il suffit de prouver cette formule quand s est central. Alors x est dans un “Borel” rationnel de G. En effet si B est un “Borel” rationnel de G, alors (B^{F})_{p} est un p-sous-groupe de Sylow de G car |(B^{F})_{p}| = |B^{∘}^{F} |_{p}|(B/B^{∘})^{F} |_{p} et |B^{∘}^{F} |_{p} = |G^{∘}^{F} |_{p} et B/B^{∘} ≃ G/G^{∘}; tous les p-sous-groupes de Sylow étant conjugués, ce sont donc les (B^{F})_{p} quand B parcourt les “Borels”rationnels de G, donc u est dans un (B^{F})_{p}, et x est dans un B^{F}.

Donc si σ′ est un élément quasi-central rationnel tel que σ′x^{−1} ∈ B^{∘}, on a par 3.17 (en notant T un “tore” rationnel contenant σ′ et inclus dans B)

St_{G^{∘}}_{.σ}(x) = \{ \begin{matrix}Ind_{T^{∘}^{F} .σ′}^{B^{∘}^{F} .σ′} Id_{T^{∘}^{F} .σ′}(σ′) = |(B^{σ′∘})^{F} |_{p} & si x est conjugué sous B^{∘}^{F} à σ′, \\ 0 & sinon, \end{matrix}

car si x est conjugué à un élément de T^{∘}^{F} .σ′, il est quasi-semi-simple, donc quasi-central (puisque dans ce cas u est unipotent semi-simple, donc quasi central, que s est central et que le produit d’un élément central par un élément quasi-central est quasi-central), donc conjugué à σ′ par 1.37. On obtient la proposition en remarquant que par le raisonnement ci-dessus x est quasi-semi-simple si et seulement si il est conjugué à σ′.

Définition 3.19. — Dans ce qui suit, si x ∈ G, un groupe fini, nous notons π_{x}^{G} la fonction caractéristique “normalisée” de la classe de x :

π_{x}^{G}(y) = \{ \begin{matrix}|C_{G}(x)| & si y est conjugué à x, \\ 0 & sinon; \end{matrix}

et si σ est un automorphisme de G, et x ∈ G.σ, nous notons π_{x}^{G.σ} l’équivalent pour les σ-classes :

π_{x}^{G.σ}(y) = \{ \begin{matrix}|C_{G}(x)| & si y est conjugué à x, \\ 0 & sinon. \end{matrix}

Proposition 3.20. — Le dual D_{G^{∘}}_{.σ}(π_{σ}^{G^{∘}^{F} .σ}) est la fonction γ_{u}^{σ} sur G^{∘}^{F} .σ qui est nulle hors des éléments dont la partie semi-simple est conjuguée à celle de σ, et qui vaut |((G^{σ})^{∘})^{F} |_{p′} sur ces éléments.

Preuve. — Si f est une fonction qui ne dépend que de la partie semi-simple, on a par 2.11 D_{G^{∘}}_{.σ}(g.f) = D_{G^{∘}}_{.σ}(g).f. En particulier D_{G^{∘}}_{.σ}(γ_{u}^{σ}) = D_{G^{∘}}_{.σ}(Id_{G^{∘}}_{.σ})γ_{u}^{σ} = St_{G^{∘}}_{.σ} .γ_{u}^{σ}. Soit σ_{s}σ_{u} la décomposition de Jordan de σ et soit σ_{s}u un élément de G^{∘}.σ de même partie semi-simple que σ. Alors St_{G^{∘}}_{.σ}(σ_{s}u) est non nul si et seulement si σ_{s}u est quasi-semi-simple, ce qui équivaut par 1.14 à ce que u soit quasi-central dans G^{σ_{s}}. Comme u ∈ G^{∘}^{σ_{s}}.σ_{u}, que G^{∘}^{σ_{s}}/(G^{σ_{s}})^{∘} ne contient que des éléments semi-simples (cf. 1.8 (i)) et que G^{σ_{s}}/(G^{σ_{s}})^{∘} est abélien (cf. 1.27), on en déduit que u ∈ (G^{σ_{s}})^{∘}.σ_{u}. Par 1.37 u est donc conjugué à σ_{u} sous (G^{σ_{s}})^{∘}, donc σ_{s}u est conjugué à σ. Donc finalement les seuls éléments de partie semi-simple conjuguée à celle de σ sur lesquels St_{G^{∘}}_{.σ} est non nul sont les conjugués de σ; or St_{G^{∘}}_{.σ} vaut |(G^{σ})^{∘}|_{p} sur ces éléments, d’où le résultat.

4. Formule de Mackey pour les foncteurs de Lusztig.

Nous nous plaçons sous les mêmes hypothèses que dans le paragraphe précédent. Nous allons étudier maintenant la formule de Mackey quand les sous-groupes paraboliques P^{∘} et Q^{∘} ne sont pas supposés rationnels. Nous allons suivre la démarche du chapitre 11 de [6] en montrant que les décompositions successives des variétés et des modules qui y interviennent sont compatibles avec l’action de σ. Le point essentiel qui nous permet d’étendre la démonstration est la remarque 1.24 (voir preuve de 4.3). Nous pourrons en déduire que la formule de Mackey est vraie sous des hypothèses analogues, c’est-à-dire quand l’un des “Levis” est un “tore”.

Soient L et L′ deux “Levis” rationnels contenant σ de deux “paraboliques” P et P′ respectivement. Considérons d’abord le membre de gauche de la formule de Mackey pour L et L′, c’est-à-dire le foncteur composé ^{∗}R_{L^{∘}.σ⊂P^{∘}.σ}^{G^{∘}.σ} ∘ R_{L^{′∘}.σ⊂P^{′∘}.σ}^{G^{∘}.σ} où U et U′ sont les radicaux unipotents respectifs de P et P′. Alors par [6, 4.4], ce foncteur composé est associé au L^{F} -module-L^{′F} donné par H_{c}^{∗}((L^{−1}(U))^{∨}) ⊗_{\overline{ℚ}_{ℓ}[G^{F}]} H_{c}^{∗}(L^{−1}(U′)) où (g, l′) ∈ G^{F} × L^{′F} agit sur L^{−1}(U′) par x′ ↦ gx′l′ et où (L^{−1}(U))^{∨} est défini comme après [6, 11.3]. Ce produit tensoriel d’espaces de cohomologie est isomorphe d’après la formule de Kunneth [6, 10.9] et par [6, 10.10] (cf. preuve de [6, 11.5]) au L^{F} - module-L^{′F} donné par H_{c}^{∗}(L^{−1}(U) ×_{G^{F}} L^{−1}(U′)) (le quotient par l’action de g ∈ G^{F} sur L^{−1}(U) × L^{−1}(U′) identifie (x, x′) à (gx, gx′)).

Lemme 4.1. — Soit Z = {(u, u′, g) ∈ U × U′ × G | u.^{F}g = gu′}. L’application φ : (x, x′) ↦ (L(x), L(x′), x^{−1}x′) est un isomorphisme de L^{F} -variétés-L^{′F} de L^{−1}(U) ×_{G^{F}} L^{−1}(U′) sur Z; elle envoie l’action de (l, l′) ∈ L^{F} × L^{′F} sur l’action sur Z donnée par (u, u′, g) ↦ (^{l}u,^{l′}u′, lgl^{′−1}).

Preuve. — La démonstration de [6, 11.7] n’utilise pas le fait que les groupes considérés sont connexes, donc s’applique encore ici.

Nous décomposons alors la variété Z en utilisant les doubles classes de G^{∘} par rapport à ^{F^{−1}}P^{∘} et ^{F^{−1}}P^{′∘}. On a

Z = ∐_{w∈[^{F^{−1}}P^{∘}\G^{∘}/^{F^{−1}}P^{′∘}]} Z_{w},

une union des sous-variétés localement fermées

Z_{w} = { (u, u′, g) ∈ U × U′ × ^{F^{−1}}P^{∘}w^{F^{−1}}P′ | u.^{F}g = gu′ }.

L’action de L^{F} × L^{′F} sur Z permute les pièces Z_{w} et seules les pièces indexées par des doubles classes σ-stables contribuent au caractère sur L^{∘}^{F} .σ × L^{′∘}^{F} .σ par [6, 10.7 (iii)] (comparer avec la démonstration de 3.2). Par 3.4, les doubles classes σ-stables ont pour représentants les éléments w ∈ (L^{σ})^{∘}\S_{(G^{σ})^{∘}}((L^{σ})^{∘}, (L^{′σ})^{∘})/(L^{′σ})^{∘}. Le membre de gauche de la formule de Mackey est donc donné par l’action de L^{∘}^{F} .σ × L^{′∘}^{F} .σ sur Z = ∐_{w∈(L^{σ})^{∘}\S_{(G^{σ})^{∘}} ((L^{σ})^{∘},(L^{′σ})^{∘})/(L^{′σ})^{∘}} Z_{w}.

Nous continuons à suivre la démonstration de [6, 11] : en introduisant les nouvelles variables w′ = w.^{F}w^{−1}, F′ = w′F et (u_{1}, u′_{1}, g_{1}) = (u,^{w}u′, gw^{−1}), on obtient Z_{w} ≃ Z′_{w}, où

Z′_{w} = {(u_{1}, u′_{1}, g_{1}) ∈ U × ^{w}U′ × ^{F^{−1}}P^{F′^{−1}}(^{w}P′) | u_{1}.^{F}g_{1} = g_{1}u′_{1}w′}

(on a utilisé l’égalité ^{wF^{−1}}P′ = ^{F′^{−1}}(^{w}P′) et l’égalité ^{F^{−1}}P^{∘}w^{F^{−1}}P′ = ^{F^{−1}}Pw^{F^{−1}}P′ valable si w est σ-stable).

Alors pour tout élément fixé w de (L^{σ})^{∘}\S_{(G^{σ})^{∘}}((L^{σ})^{∘}, (L^{′σ})^{∘})/(L^{′σ})^{∘}, l’action de L^{F} × L^{′F} devient sur Z′_{w} après changement de variables

(l, l′)(u, u′, g) = (^{l}u,^{l′}u′, lgl^{′^{−1}}).

Comme dans le cas de [6], on peut “oublier w” i.e., tout exprimer à l’aide des nouvelles variables V = ^{w}U′, Q = ^{w}P′ et M = ^{w}L′. Avec ces notations, la variété Z′_{w} où

Z′_{w} = { (u_{1}, v_{1}, g_{1}) ∈ U × V × ^{F^{−1}}P^{F′^{−1}}Q | u_{1}.^{F}g_{1} = g_{1}v_{1}w′ }

est munie d’une action de (l, m) ∈ L^{F} × M^{F′} donnée par

(u_{1}, v_{1}, g_{1}) ↦ (^{l}u_{1},^{m}v_{1}, lg_{1}m^{−1}).

Nous allons utiliser maintenant la décomposition ^{F^{−1}}P^{F′^{−1}}Q = ^{F^{−1}}ULM^{F′^{−1}}V; le lemme qui suit est identique à un détail près de sa démonstration au lemme 11.8 de [6].

Lemme 4.2. — La cohomologie de la variété Z′′_{w} où Z′′_{w} = { (u, v, u′, v′, n) ∈ U × V × ^{F^{−1}}U × ^{F′^{−1}}V × LM | u.^{F}n = u′nv′vw′ } est isomorphe comme L^{F} -module-M^{F′} à la cohomologie de Z′_{w}; l’isomorphisme des espaces de cohomologie est induit par la fibration π : Z′′_{w} → Z′_{w} : (u, v, u′, v′, n) ↦ (u.^{F}u^{′−1}, v.^{F′}v′, u′nv′), et l’isomorphisme de L^{F} -modules-M^{F′} est pour l’action induite par l’action de (l, m) ∈ L^{F} × M^{F′} sur Z′′_{w} donnée par (u, v, u′, v′, n) ↦ (^{l}u,^{m}v,^{l}u′,^{m}v′, lnm^{−1}).

Preuve. — Une fois obtenu l’isomorphisme des cohomologies, le reste résulte du calcul. Pour obtenir cet isomorphisme nous allons utiliser [6, 10.12]; pour cela nous devons calculer les fibres de π i.e., déterminer les quintuplets (u, v, u′, v′, n) qui sont envoyés par π sur (u_{1}, v_{1}, g_{1}). Comme, une fois donnés u_{1} et v_{1}, u et v sont déterminés par u′ et v′, il est équivalent de trouver les triplets (u′, v′, n) tels que g_{1} = u′nv′, Ce qui est à son tour équivalent à trouver les couples (u′, v′) tels que u^{′−1}g_{1}v^{′−1} ∈ LM. Choisissons une décomposition g_{1} = u′_{1}lmv′_{1} où u′_{1} ∈ ^{F^{−1}}U, v′_{1} ∈ ^{F′^{−1}}V, l ∈ L et m ∈ M; la condition sur (u′, v′) peut s’écrire l^{l^{−1}}(u^{′−1}u′_{1})^{m}(v′_{1}v^{′−1})m ∈ LM; introduisant les nouvelles variables u′′ = ^{l^{−1}}(u^{′−1}u′_{1}) et v′′ = ^{m}(v′_{1}v^{′−1}) la condition sur le couple (u′′, v′′) ∈ ^{F^{−1}}U × ^{F′^{−1}}V devient u′′v′′ ∈ LM i.e., u^{′′−1}L ∩ v′′M ≠ ∅ ce qui est équivalent à u^{′′−1}L^{∘} ∩ v′′M^{∘} ≠ ∅, car L = L^{∘}.<σ> et M = M^{∘}.<σ>. En utilisant [6, 5.8] pour les “paraboliques”^{F^{−1}}P et ^{F′^{−1}}Q on voit que les solutions sont tous les couples de la forme (^{y}x^{−1}a^{−1}, ay) où x ∈ ^{F^{−1}}U ∩ M, y ∈ ^{F′^{−1}}V ∩ L et a ∈ ^{F^{−1}}U ∩ ^{F′^{−1}}V. Donc toutes les fibres de π sont isomorphes à l’espace affine (^{F^{−1}}U∩M)×(^{F′^{−1}}V∩L)×(^{F^{−1}}U∩^{F′^{−1}}V), d’où le lemme.

Comme dans [6, 11], nous ne savons pas, sans hypothèse supplémentaire, transformer le membre de gauche de la formule de Mackey, et comme dans [loc. cit.] nous allons essayer de trouver une action sur Z′′_{w} d’un sous-groupe de L^{∘} × M^{∘} dont la composante neutre soit un tore qui commute à L^{F} × M^{F′}; en utilisant [6, 10.15] on peut alors remplacer Z′′_{w} par ses points fixes sous ce tore. Ceci marchera dans les cas où nous pourrons trouver un tore suffisamment grand. Notons que l’image du quintuplet (u, v, u′, v′, n) ∈ Z′′_{w} par (l, m) ∈ L × M est dans Z′′_{w} si et seulement si ^{^{F}n^{−1}}(l^{−1}.^{F}l) = ^{w^{′−1}}(m^{F′}m^{−1}).

Soit Z(L) (resp. Z(M)) le centre de L (resp. de M); nous posons

H_{w} = { (l, m) ∈ Z(L)^{∘} × Z(M)^{∘} | l^{−1}.^{F}l = ^{w^{′−1}}(m^{F′}m^{−1}) }

Alors la composante neutre H_{w}^{∘} est un tore (comme sous-groupe connexe de Z(L)^{∘} × Z(M)^{∘}), et l’image de (u, v, u′, v′, n) ∈ Z′′_{w} par (l, m) ∈ H_{w} est encore dans Z′′_{w}; en effet si nous écrivons n = λμ avec (λ, μ) ∈ L × M, la condition pour que l’image de

(u, v, u′, v′, n) sous (l, m) soit dans Z′′_{w} peut s’écrire ^{^{F}λ^{−1}}(l^{−1}^{F}l) = ^{w^{′−1}^{F′}μ}(m^{F′}m^{−1}) ce qui a lieu quand (l, m) ∈ H_{w} car l^{−1}^{F}l ∈ Z(L) et m^{F′}m^{−1} ∈ Z(M).

Le tore H_{w}^{∘} est assez grand pour nos besoins quand un des “Levis” est inclus dans l’autre, par exemple M ⊂ L (ce qui équivaut à M^{∘} ⊂ L^{∘} car L et M contiennent tous deux σ). Nous faisons maintenant cette hypothèse (attention! avec les notations initiales cela signifie que ^{w}L′ ⊂ L pour l’élément w considéré). Nous allons calculer H_{w}^{∘} dans ce cas.

Lemme 4.3. —

(i) La première projection est surjective de H_{w}^{∘} sur Z(L)^{∘}.

(ii) Si H_{w}^{∘} a un point fixe dans Z′′_{w} alors

H_{w}^{∘} = { (l, l^{−1}) | l ∈ Z(L)^{∘} }.

Preuve. — Si l ∈ Z(L)^{∘} alors ^{w′}(l^{−1}^{F}l) ∈ ^{w′}Z(L)^{∘} = ^{w′F}Z(L)^{∘} ⊂ ^{F′}Z(M)^{∘} = Z(M)^{∘}. Donc par le théorème de Lang-Steinberg il existe m ∈ Z(M)^{∘} tel que ^{w′}(l^{−1}^{F}l) = m^{F′}m^{−1}, donc la première projection envoie surjectivement H_{w} sur Z(L)^{∘}. Comme Z(L)^{∘} est connexe, cette projection est encore surjective restreinte à H_{w}^{∘} d’où (i).

S’il existe (u, u′, v, v′, n) ∈ Z′′_{w} fixé par H_{w}^{∘}, alors en particulier pour tout (l, m) ∈ H_{w}^{∘} on a lnm = n. Comme n ∈ LM et l ∈ Z(L), m ∈ Z(M), on obtient lm = 1, d’où H_{w}^{∘} ⊂ { (l, l^{−1}) | l ∈ Z(L)^{∘} }. Comme la première projection est surjective, ceci donne (ii).

Comme expliqué plus haut, les L^{F} -modules-M^{F′} virtuels donnés par H^{∗}(Z′′_{w}) et par H^{∗}((Z′′_{w})^{H_{w}^{∘}}) sont donc isomorphes. Par 4.3 (ii), si l’élément (u, v, u′, v′, n) ∈ Z′′_{w} est fixe par H_{w}^{∘} alors u, u′, v et v′ centralisent Z(L)^{∘}. Mais, puisque σ est quasi-central, par 1.24 on a C_{G}(Z(L)^{∘}) = L, ce qui donne u ∈ U ∩ L = {1}, u′ ∈ ^{F^{−1}}U ∩ L = {1}, v ∈ V ∩ L et v′ ∈ ^{F′^{−1}}V ∩ L. Donc les éléments de (Z′′_{w})^{H_{w}^{∘}} sont de la forme (1, v, 1, v′, n) avec ^{F}n = nv′vw′, ce qui prouve que w′ ∈ L (donc dans L^{∘}^{σ}), puisque n ∈ L.M = L. Comme w est déterminé à multiplication à gauche près par un élément de L^{∘}^{σ}, on peut supposer que w′ = 1 et donc F′ = F. On obtient donc (Z′′_{w})^{H_{w}^{∘}} ≃ { (v, v′, n) ∈ (V ∩ L) × (^{F^{−1}}V ∩ L) × L | ^{F}n = nv′v }, où l’action de (l, m) ∈ L^{F} × M^{F} sur (Z′′_{w})^{H_{w}^{∘}} est donnée par (v, v′, n) ↦ (^{m}v,^{m}v′, lnm^{−1}).

Regardons maintenant un terme du membre de droite de la formule de Mackey, de la forme R_{(L^{∘}∩^{w}L^{′∘}).σ⊂(L^{∘}∩^{w}P^{′∘}).σ}^{L^{∘}.σ} ∘ ^{∗}R_{(L^{∘}∩^{w}L^{′∘}).σ⊂(P^{∘}∩^{w}L^{′∘}).σ}^{^{w}L^{′∘}.σ} ∘ ad w, indexé par un

w ∈ S_{(G^{σ})^{∘}}((L^{σ})^{∘}, (L^{′σ})^{∘})^{F} (nous ne faisons plus d’hypothèse particulière sur L et L′ jusqu’à la fin du paragraphe courant). Tout comme pour le membre de gauche, nous commençons par écrire le L^{F} -module-(^{w}L′)^{F} auquel ce foncteur est associé comme H_{c}^{∗}(L_{L}^{−1}(L∩^{w}U′)×_{(L∩^{w}L′)^{F}} L_{^{w}L′}^{−1}(U∩^{w}L′)). Comme précédemment, en notant V = ^{w}U′, M = ^{w}L′ et Q = ^{w}P′ nous pouvons “oublier w”; avec ces notations, le module que nous étudions est la cohomologie de la variété

S_{w} = {(l, m) ∈ L × M | l^{−1}.^{F}l ∈ L ∩ V, m^{−1}.^{F}m ∈ U ∩ M}/(L^{F} ∩ M^{F})

sur laquelle (λ, μ) ∈ L^{F} × M^{F} agit par (l, m) ↦ (λl, μ^{−1}m).

Le lemme suivant montre que les termes correspondant au même élément w des deux membres de la formule de Mackey sont égaux quand ^{w}L′(= M) ⊂ L.

Lemme 4.4. — Sous l’hypothèse ci-dessus (M ⊂ L) les espaces de cohomologie ⊕_{i}H_{c}^{i}(S_{w}) et ⊕_{i}H_{c}^{i}(Z′′_{w}^{H_{w}^{∘}}) sont isomorphes comme L^{F} -modules-M^{F}.

Preuve. — Montrons d’abord que l’application φ de

(Z′′_{w})^{H_{w}^{∘}} ≃ { (v, v′, n) ∈ (V ∩ L) × (^{F^{−1}}V ∩ L) × L | ^{F}n = nv′v }

dans L_{L}^{−1}(V ∩ L) donnée par (v, v′, n) ↦ nv′ est surjective, avec toutes ses fibres isomorphes au même espace affine. En effet, l’image de φ est où nous l’affirmons puisque nv′ ∈ L et L(nv′) = v^{′−1}n^{−1}^{F}n^{F}v′ = v^{F}v′ ∈ V∩L; réciproquement, si n_{1} ∈ L_{L}^{−1}(V∩L), alors φ^{−1}(n_{1}) = { (n_{1}^{−1}^{F}n_{1}^{F}v^{′−1}, v′, n_{1}v^{′−1}) | v′ ∈ ^{F^{−1}}V ∩ L }, ce qui est isomorphe à l’espace affine ^{F^{−1}}V ∩ L.

La L^{F} -action-M^{F} sur Z′′_{w} est clairement envoyée par φ sur la L^{F} -action-M^{F} naturelle sur L_{L}^{−1}(L ∩ V) (en se souvenant que M ⊂ L), et par conséquent pour cette action les espaces de cohomologie de Z′′_{w} et L_{L}^{−1}(L ∩ V) sont isomorphes comme L^{F} -modules-M^{F}.

Mais M ⊂ L donne aussi M ∩ U = {1} d’où S_{w} ≃ { (l, m) ∈ L × M^{F} | l^{−1}^{F}l ∈ L ∩ V }/M^{F} ≃ { l ∈ L | l^{−1}^{F}l ∈ L ∩ V }, ce qui donne le résultat.

Les lemmes 4.1 à 4.4 donnent en particulier :

Théorème 4.5. — La formule de Mackey pour un “tore” et un “Levi” est vraie.

Preuve. — Si L′ est un “tore”, alors ^{w}L′ ⊂ L pour w ∈ S_{G^{∘}}(L, L′)^{σ} et tous les lemmes précédent s’appliquent. Comme l’adjoint de la formule de Mackey est la même formule avec L et L′ échangés, la formule de Mackey est aussi vraie quand L est un “tore”(puisque dans ce cas c’est son adjoint qui est vrai par le même argument).

Comme remarqué dans [6, 6.1], la formule de Mackey pour L et L implique que R_{L^{∘}.σ⊂P^{∘}.σ}^{G^{∘}.σ} ne dépend pas de P, ce qui permettra d’omettre P de la notation dans le cas “de Harish-Chandra” et dans le cas où L est un “tore”.

Notons encore la conséquence suivante de la formule de Mackey :

Corollaire 4.6. — On a

D_{G^{∘}}_{.σ} ∘ R\begin{matrix}G^{∘} & .σ \\ T^{∘} & .σ \end{matrix} = ε_{G^{∘}}_{.σ}ε_{T^{∘}}_{.σ}R\begin{matrix}G^{∘} & .σ \\ T^{∘} & .σ \end{matrix}.

Preuve. — C’est une conséquence de 3.11 et de 4.5.

4.1 Fonctions uniformes

Dans la fin de ce paragraphe nous étudions les restrictions à la tranche G^{∘}^{F} .σ des caractères de Deligne-Lusztig généralisés. Nous montrons que l’identité, la fonction St_{G^{∘}}_{.σ} et la fonction caractéristique de la classe de σ sont combinaisons linéaires de ces caractères et nous mettons en évidence des analogies, portant en particulier sur les valeurs des fonctions de Green, entre la théorie de Deligne-Lusztig de G^{∘}.σ et la théorie de Deligne-Lusztig classique de (G^{σ})^{∘}. Commençons par généraliser la définition usuelle des fonctions uniformes.

Définition 4.7. — Nous appellerons uniformes les fonctions de σ-classe qui sont combinaison linéaire de R\begin{matrix}G^{∘} & .σ \\ T^{∘} & .σ \end{matrix}(θ).

Remarquons que si θ ∈ Irr(T^{F}), on a R\begin{matrix}G^{∘} & .σ \\ T^{∘} & .σ \end{matrix}(θ) = 0 si θ|_{T^{∘}^{F} .σ} = 0. Comme T^{F} = T^{∘}^{F} .<σ>, on a θ|_{T^{∘}^{F} .σ} ≠ 0 seulement si θ est l’extension à T^{F} d’un élément de Irr(T^{∘}^{F})^{σ}.

La formule de Mackey pour deux “tores” donne le produit scalaire des caractères de Deligne-Lusztig :

Proposition 4.8. — Soient T et T′ deux “tores” rationnels contenant σ; alors si θ ∈ Irr(T^{F}) et θ′ ∈ Irr(T′^{F}) sont des extensions respectives de θ_{∘} ∈ Irr(T^{∘}^{F})^{σ} et θ′_{∘} ∈ Irr(T′^{∘F})^{σ} on a

⟨ R\begin{matrix}G^{∘} & .σ \\ T^{∘} & .σ \end{matrix}(θ), R_{T^{′0}.σ}^{G^{∘}.σ}(θ′) ⟩_{G^{∘}^{F} .σ} = 0

si (T^{∘}, θ_{∘}) et (T^{′∘}, θ′_{∘}) ne sont pas conjugués sous ((G^{σ})^{∘})^{F}, et

⟨ R\begin{matrix}G^{∘} & .σ \\ T^{∘} & .σ \end{matrix}(θ), R\begin{matrix}G^{∘} & .σ \\ T^{∘} & .σ \end{matrix}(θ) ⟩_{G^{∘}^{F} .σ} = |(T^{σ})^{∘}^{F} |^{−1}#\{ n ∈ N_{((G^{σ})^{∘})^{F}} (T) | ^{n}θ_{∘} = θ_{∘} \}.

Preuve. — C’est juste une autre manière d’écrire la formule de Mackey.

Si σ est unipotent, alors par 1.33 T^{∘} = L_{σ}(T^{∘}) × (T^{∘})^{σ}, et les deux termes du produit sont connexes, d’où T^{∘}^{F} = L_{σ}(T^{∘}^{F}) × ((T^{σ})^{∘})^{F}. On en déduit qu’un caractère σ-invariant de T^{∘}^{F} est déterminé par sa restriction à (T^{σ})^{∘}, et que par conséquent

⟨ R\begin{matrix}G^{∘} & .σ \\ T^{∘} & .σ \end{matrix}(θ), R\begin{matrix}G^{∘} & .σ \\ T^{∘} & .σ \end{matrix}(θ) ⟩_{G^{∘}^{F} .σ} = ⟨ R_{(T^{σ})^{∘}}^{(G^{σ})^{∘}}(θ|_{(T^{σ})^{∘}}), R_{(T^{σ})^{∘}}^{(G^{σ})^{∘}}(θ|_{(T^{σ})^{∘}}) ⟩_{((G^{σ})^{∘})^{F}}

donc l’application R\begin{matrix}G^{∘} & .σ \\ T^{∘} & .σ \end{matrix}(θ) ↦ R_{(T^{σ})^{∘}}^{(G^{σ})^{∘}}(θ|_{(T^{σ})^{∘}}) est dans ce cas une isométrie entre les fonctions de σ-classe uniformes sur G^{F} et les fonctions uniformes sur ((G^{σ})^{∘})^{F}.

L’objet des énoncés suivants est de généraliser pour un σ non unipotent le paramétrage ci-dessus des fonctions uniformes en généralisant aux groupes non connexes l’utilisation de la notion de groupe dual.

Proposition 4.9. — Choisissons un ensemble de représentants des ((G^{σ})^{∘})^{F} -classes de conjugaison de couples (T^{∘}, θ_{∘}) où T^{∘} est un tore maximal rationnel σ-stable inclus dans un sous-groupe de Borel σ-stable et θ_{∘} ∈ (Irr(T^{∘}^{F}))^{σ}, et pour chaque représentant choisissons une extension θ de θ_{∘} à T^{∘}^{F} .<σ>; alors l’ensemble des fonctions R\begin{matrix}G^{∘} & .σ \\ T^{∘} & .σ \end{matrix}(θ) obtenues est une base orthogonale de l’espace des fonctions de σ-classe uniformes.

Preuve. — Deux extensions d’un même caractère diffèrent par un ζ ∈ Irr(<σ>) et, par la formule du caractère, on a R\begin{matrix}G^{∘} & .σ \\ T^{∘} & .σ \end{matrix}(θζ) = ζ(σ)R\begin{matrix}G^{∘} & .σ \\ T^{∘} & .σ \end{matrix}(θ). L’espace des fonctions uniformes est donc engendré par les R\begin{matrix}G^{∘} & .σ \\ T^{∘} & .σ \end{matrix}(θ), où T^{∘} est un tore maximal σ-stable inclus dans un sous-groupe de Borel σ-stable et où θ parcourt un ensemble formé d’une extension de chaque θ_{∘} ∈ Irr(T^{∘}^{F})^{σ}. Comme R_{T}^{G}(θ) ne dépend que de la G^{F} -classe de conjugaison du couple (T, θ), on obtient le résultat en utilisant les propositions 4.8 et 1.40.

Comme annoncé, nous allons paramétrer la base décrite dans l’énoncé précédent en utilisant la notion de groupe dual. On fixe un couple formé d’un tore maximal T^{∘} et d’un sous-groupe de Borel le contenant, tout deux rationnels et σ-stables. Soit T^{∘}^{∗} un tore dual de T^{∘} et soit G^{∘}^{∗} un groupe dual de G^{∘} contenant T^{∘}^{∗} et muni d’un endomorphisme de Frobenius dual de F, noté encore F. Par dualité σ définit, à T^{∘}^{∗} près, un automorphisme σ^{∗} de G^{∘}^{∗} qu’on peut prendre rationnel en utilisant le théorème de Lang. Cet automorphisme stabilise un sous-groupe de Borel rationnel de G^{∘}^{∗} et, comme dans la preuve de 1.34, on peut le modifier par un élément de T^{∘}^{∗} pour qu’il devienne quasi-central en restant rationnel. Nous supposons donc dans la suite que σ^{∗} est quasi-central rationnel. Remarquons que nous n’avons pas spécifié la classe de conjugaison de σ^{∗} dans Aut(G^{∘}^{∗}), en particulier quand G^{∘} est de type A_{2n} les deux classes possibles d’automorphismes quasi-centraux non triviaux (cf. 1.22) donnent lieu à la même classification.

Pour chaque représentant (T^{σ})^{∘} d’une ((G^{σ})^{∘})^{F} -classe de tores maximaux rationnels de (G^{σ})^{∘}, nous devons paramétrer les N_{((G^{σ})^{∘})^{F}} ((T^{σ})^{∘})-classes (c’est-à-dire les W (T^{∘})^{σ,F} -classes) de caractères σ-stables de T^{∘}^{F}. Les caractères irréductibles σ-stables de T^{∘}^{F} correspondent aux éléments σ^{∗}-fixes de (T^{∘}^{∗})^{F} où T^{∘}^{∗} est un tore maximal rationnel de G^{∘}^{∗} dual de T^{∘}. Les W (T^{∘})^{σ,F} -classes de tels caractères correspondent aux W (T^{∘}^{∗})^{σ^{∗},F} (c’est-à-dire, puisque σ^{∗} est quasi-central, aux N_{(G^{∘}^{∗})^{σ})^{∘}}(T^{∘}^{∗})^{F} -classes) d’éléments de (T^{∘}^{∗})^{σ^{∗},F}. On a donc démontré :

Proposition 4.10. — La base des fonctions uniformes donnée dans 4.9 est paramétrée par les ((G^{∘}^{∗})^{σ})^{∘})^{F} -classes de couples (s, S), où S est un tore rationnel maximal de (G^{∘}^{∗}^{σ})^{∘} et où s ∈ (C_{G^{∘}}^{∗}(S)^{σ})^{F}.

Remarquons que dans l’énoncé précédent on peut remplacer les (((G^{∘}^{∗})^{σ})^{∘})^{F} -classes par les ((G^{∘}^{∗})^{σ})^{F} -classes qui sont les mêmes puisque (G^{∘}^{∗})^{σ}/((G^{∘}^{∗})^{σ})^{∘} = (C_{G^{∘}}^{∗}(S)^{σ})/S.

Dans la suite nous paramétrerons les G^{F} -classes de “tores” rationnels ou, ce qui revient au même par 1.40, les ((G^{σ})^{∘})^{F} -classes de tores maximaux rationnels de (G^{σ})^{∘} par les F -classes du groupe W (T)^{σ} où T est un “tore” fixé contenant σ. Nous écrirons W pour W (T) et, pour w ∈ W^{σ}, nous noterons T_{w} un “tore” de type w par rapport à T (i.e., T_{w}^{σ∘} est de type w dans (G^{σ})^{∘} par rapport à (T^{σ})^{∘}). Avec ces notations on peut réécrire 4.8 sous la forme

⟨ R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(1), R_{T_{w′}^{∘} .σ}^{G^{∘}.σ}(1) ⟩_{G^{∘}^{F} .σ} = \{ \begin{matrix}|C_{W^{σ}}(wF)| & si w et w′ sont F -conjugués dans W^{σ}, \\ 0 & sinon. \end{matrix}

Nous allons exprimer l’identité et la fonction caractéristique de la classe de σ comme combinaison linéaire de caractères Deligne-Lusztig. Là encore la théorie est parallèle à celle des groupes connexes. Nous avons d’abord besoin du résultat suivant :

Proposition 4.11. — La projection orthogonale des fonctions de σ-classe sur le sousespace des fonctions uniformes est donnée par

p = |W^{σ}|^{−1} ∑_{w∈W^{σ}} R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix} ∘ ^{∗}R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix} = ∑_{(w)} |C_{W^{σ}}(wF)|^{−1}R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix} ∘ ^{∗}R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}

où dans la deuxième somme w parcourt des représentants des classes de F -conjugaison de W^{σ}.

Preuve. — Les deux expressions sont clairement égales. Voyons que la seconde définit bien le projecteur souhaité. Comme p(χ) est clairement uniforme pour toute fonction de σ-classe χ, il suffit de voir que

⟨ χ, R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(θ) ⟩_{G^{∘}}^{F} _{.σ} = ⟨ p(χ), R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(θ) ⟩_{G^{∘}}^{F} _{.σ}

pour tout (w, θ). Par 4.8 on a :

⟨ p(χ), R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(θ) ⟩_{G^{∘}}^{F} _{.σ} = |C_{W^{σ}}(wF)|^{−1}⟨ R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix} ∘ ^{∗}R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(χ), R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(θ) ⟩_{G^{∘}}^{F} _{.σ}

= ⟨ χ, |C_{W^{σ}}(wF)|^{−1}R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix} ∘ ^{∗}R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix} ∘ R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(θ) ⟩_{G^{∘}}^{F} _{.σ}

et il reste à voir que |C_{W^{σ}}(wF)|^{−1}^{∗}R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix} ∘ R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(θ) = θ ce qui est une conséquence de 4.8.

Proposition 4.12. — On a :

Id_{G^{∘}}^{F} _{.σ} = |W^{σ}|^{−1} ∑_{w∈W^{σ}} R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(Id_{T_{w}^{∘}.σ}).

Preuve. — Comme par 2.11 (iii) on a ^{∗}R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(Id_{G^{∘}}_{.σ}) = Id_{T_{w}^{∘}.σ}, l’expression de l’énoncé représente la projection de Id_{G^{∘}}_{.σ} sur les fonctions uniformes. Il suffit donc de vérifier qu’elle a produit scalaire 1 avec Id_{G^{∘}}_{.σ}. Mais

⟨ Id_{G^{∘}}_{.σ}, |W^{σ}|^{−1} ∑_{w∈W^{σ}} R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(Id_{T_{w}^{∘}.σ}) ⟩_{G^{∘}}^{F} _{.σ} =

|W^{σ}|^{−1} ∑_{w∈W^{σ}} ⟨^{∗}R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(Id_{G^{∘}}_{.σ}), Id_{T_{w}^{∘}.σ} ⟩_{T_{w}^{∘}^{F} .σ} = 1,

la dernière égalité à nouveau par 2.11 (iii).

Dans les énoncés suivants nous comparons certaines valeurs des caractères de Deligne-Lusztig et des fonctions de Green sur G^{∘}.σ aux valeurs des fonctions analogues de (G^{σ})^{∘} sur les mêmes éléments. Cela nous amène à formuler deux conjectures (4.17 et 4.19) que nous prouvons en partie.

Théorème 4.13. — Si T est un “tore” contenant σ, pour tout θ ∈ Irr(T^{∘}^{F})^{σ} on a

R\begin{matrix}G^{∘} & .σ \\ T^{∘} & .σ \end{matrix}(θ)(σ) = dim R_{(T^{σ})^{∘}}^{(G^{σ})^{∘}}(Id_{(T^{σ})^{∘}})θ(σ).

Preuve. — En appliquant 2.12 on obtient R_{T}^{G}(θ)(σ) = R_{(T^{σs})^{∘}.<σ>}^{(G^{σs})^{∘}.<σ>}(θ)(σ), ce qui est

égal, comme σ_{s} est central dans G^{σ_{s}} à R_{T^{σs∘}.<σ_{u}>}^{(G^{σs})^{∘}.<σ_{u}>}(θ)(σ_{u})θ(σ_{s}). Ce calcul montre que le théorème résulte du cas où σ est unipotent ce que nous supposerons dans la suite de la preuve.

On a :

R\begin{matrix}G^{∘} & .σ \\ T^{∘} & .σ \end{matrix}(θ)(σ) = ⟨ π_{σ}^{G^{∘}.σ}, R\begin{matrix}G^{∘} & .σ \\ T^{∘} & .σ \end{matrix}(θ) ⟩_{G^{∘}}^{F} _{.σ}

= ⟨ D_{G^{∘}}_{.σ}(π_{σ}^{G^{∘}.σ}), D_{G^{∘}}_{.σ}(R\begin{matrix}G^{∘} & .σ \\ T^{∘} & .σ \end{matrix}(θ)) ⟩_{G^{∘}}^{F} _{.σ}

= ⟨ γ_{u}^{σ}, ε_{G^{∘}}_{.σ}ε_{T^{∘}}_{.σ}R\begin{matrix}G^{∘} & .σ \\ T^{∘} & .σ \end{matrix}(θ) ⟩_{G^{∘}}_{.σ}

= ⟨^{∗}R\begin{matrix}G^{∘} & .σ \\ T^{∘} & .σ \end{matrix}(γ_{u}^{σ}), ε_{G^{∘}}_{.σ}ε_{T^{∘}}_{.σ}θ ⟩_{T^{∘}}_{.σ}

= ⟨ γ_{u}^{σ}, ε_{G^{∘}}_{.σ}ε_{T^{∘}}_{.σ}θ ⟩_{T^{∘}}_{.σ}

en utilisant successivement 3.20, 4.6 et 2.11. Pour calculer le dernier terme obtenu, remarquons que les éléments de T^{F} sur lesquels γ_{u}^{σ} n’est pas nul sont les éléments unipotents de T^{F}, et qu’ils sont donc tous conjugués à σ sous T^{∘}^{F}. Le dernier terme vaut donc |T^{∘}^{F} |^{−1}|((G^{σ})^{∘})^{F} |_{p′}ε_{G^{∘}}_{.σ}ε_{T^{∘}}_{.σ}|T^{∘}^{F} |/|((T^{σ})^{∘})^{F} |θ(σ). Comme par définition (cf. 3.6)on a ε_{G^{∘}}_{.σ}ε_{T^{∘}}_{.σ} = ε_{(G^{σ})^{∘}}ε_{(T^{σ})^{∘}}, on obtient le résultat.

Proposition 4.14. — On a :

π_{σ}^{G^{∘}^{F} .σ} = |W^{σ}|^{−1} ∑_{w∈W^{σ}} R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(Id_{T_{w}^{∘}.σ})(σ)R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(π_{σ}^{T_{w}^{∘}.σ})

= |((G^{σ})^{∘})^{F} |_{p}^{−1} ∑_{S⊂(G^{σ})^{∘}} ε_{(G^{σ})^{∘}}ε_{S}R\begin{matrix}G^{∘} & .σ \\ C_{G^{∘}} (S) & .σ \end{matrix}(π_{σ}^{C_{G^{∘}} (S).σ})

où la seconde somme porte sur tous les tores rationnels maximaux de (G^{σ})^{∘}.

Preuve. — Voyons d’abord que le membre de droite de l’expression ci-dessus est la projection sur les fonctions uniformes de π_{σ}^{G^{∘}^{F} .σ}. Pour cela il suffit de voir que

R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(Id_{T_{w}^{∘}.σ})(σ)R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(π_{σ}^{T_{w}^{∘}.σ}) = R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(^{∗}R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(π_{σ}^{(G^{σ})^{∘}})),

ce qui a son tour résulterait de R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(Id_{T_{w}^{∘}.σ})(σ)π_{σ}^{T_{w}^{∘}.σ} = ^{∗}R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(π_{σ}^{(G^{σ})^{∘}}). Cette dernière égalité est vraie, car elle exprime qu’en faisant le produit scalaire avec une fonction de σ-classe θ quelconque sur T_{w}^{∘}^{F} on a R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(Id_{T_{w}^{∘}.σ})(σ)θ(σ) = R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(θ)(σ) ce qui résulte de 4.13.

Il suffit maintenant de vérifier que l’expression du théorème a un produit scalaire avec π_{σ}^{G^{∘}^{F} .σ} égal à ⟨ π_{σ}^{G^{∘}^{F} .σ}, π_{σ}^{G^{∘}^{F} .σ} ⟩_{G^{∘}}^{F} _{.σ} = |(G^{∘})^{σ,F} |. Ce produit scalaire vaut

|W^{σ}|^{−1} ∑_{w∈W^{σ}}R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(Id_{T_{w}^{∘}.σ})(σ)R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(π_{σ}^{T_{w}^{∘}.σ})(σ)

= |W^{σ}|^{−1} ∑_{w∈W^{σ}} |T_{w}^{∘}^{σ,F} |R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(Id_{T_{w}^{∘}.σ})(σ)R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(Id_{T_{w}^{∘}.σ})(σ)

= |(G^{∘})^{σ,F} |/|((G^{σ})^{∘})^{F} ||W^{σ}|^{−1} ∑_{w∈W^{σ}} |(T_{w}^{σ})^{∘}^{F} |R_{(T_{w}^{σ})^{∘}}^{(G^{σ})^{∘}}(Id_{(T_{w}^{σ})^{∘}})(1)^{2}

en utilisant 4.13 ainsi que l’égalité |(G^{∘})^{σ,F} |/|((G^{σ})^{∘})^{F} | = |T_{w}^{∘}^{σ,F} |/|(T_{w}^{σ})^{∘}^{F} | démontrée au cours de sa démonstration. On reconnaît dans la formule qui reste à démontrer une relation d’orthogonalité des fonctions de Green dans (G^{σ})^{∘}, d’où la première égalité de l’énoncé.

La deuxième égalité s’obtient en remarquant que par 4.13 on a :

R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(Id_{T_{w}^{∘}.σ})(σ) = |C_{W^{σ}}(w)||((G^{σ})^{∘})^{F} |_{p}^{−1}

ε_{(G^{σ})^{∘}}ε_{(T_{w}^{σ})^{∘}}#{nombre de tores rationnels de (G^{σ})^{∘} de type w}.

Nous généralisons maintenant 4.13 à un “Levi”quelconque.

Proposition 4.15. — Soit L un “Levi” rationnel de G qui contient σ, et soit φ ∈ Irr(L^{F}); alors

(R\begin{matrix}G^{∘} & .σ \\ L^{∘} & .σ \end{matrix}φ)(σ) = ε_{(G^{σ})^{∘}}ε_{(L^{σ})^{∘}}|((G^{σ})^{∘})^{F} /((L^{σ})^{∘}^{F})|_{p′}φ(σ) = dim(R_{(L^{σ})^{∘}}^{(G^{σ})^{∘}}(Id_{L}))φ(σ).

Preuve. — On a

(R\begin{matrix}G^{∘} & .σ \\ L^{∘} & .σ \end{matrix}φ)(σ) = ⟨ R\begin{matrix}G^{∘} & .σ \\ L^{∘} & .σ \end{matrix}φ, π_{σ}^{G^{∘}.σ} ⟩_{G^{∘}}^{F} _{.σ} =

⟨ R_{L}^{G}φ, |((G^{σ})^{∘})^{F} |_{p}^{−1} ∑_{S⊂(G^{σ})^{∘}} ε_{(G^{σ})^{∘}}ε_{S}R\begin{matrix}G^{∘} & .σ \\ C_{G^{∘}} (S) & .σ \end{matrix}(π_{σ}^{C_{G^{∘}} (S).σ}) ⟩_{G^{∘}}^{F} _{.σ}

(la dernière égalité par la proposition précédente). Transformant la dernière égalité par adjonction, et appliquant la formule de Mackey, on obtient

(R\begin{matrix}G^{∘} & .σ \\ L^{∘} & .σ \end{matrix}φ)(σ)

= |((G^{σ})^{∘})^{F} |_{p}^{−1} ∑_{S⊂(G^{σ})^{∘}} ε_{(G^{σ})^{∘}}ε_{S}⟨^{∗}R\begin{matrix}G^{∘} & .σ \\ C_{G^{∘}} (S) & .σ \end{matrix} ∘ R\begin{matrix}G^{∘} & .σ \\ L^{∘} & .σ \end{matrix}(φ), π_{σ}^{C_{G^{∘}} (S).σ} ⟩_{C_{G^{∘}} (S)}^{F} _{.σ}

= |((G^{σ})^{∘})^{F} |_{p}^{−1} ∑_{S⊂(G^{σ})^{∘}} ε_{(G^{σ})^{∘}}ε_{S}

⟨ ∑_{((L^{σ})^{∘})^{F} \{ x∈((G^{σ})^{∘})^{F} |^{x}S⊂(L^{σ})^{∘} }} ∘^{∗}R_{C_{L^{∘}} (^{x}S).σ}^{L^{∘}.σ}φ, π_{σ}^{C_{L^{∘}} (^{x}S).σ} ⟩_{C_{L^{∘}} (^{x}S)^{F} .σ}

= |((G^{σ})^{∘})^{F} |_{p}^{−1} ∑_{S⊂(G^{σ})^{∘}} ε_{(G^{σ})^{∘}}ε_{S}

∑_{((L^{σ})^{∘})^{F} \{ x∈((G^{σ})^{∘})^{F} |^{x}S⊂(L^{σ})^{∘} }} ⟨ φ, R_{C_{L^{∘}} (^{x}S).σ}^{L^{∘}.σ}π_{σ}^{C_{L^{∘}} (^{x}S).σ} ⟩_{L^{∘}}^{F} _{.σ}.

Dans la dernière expression nous pouvons prendre pour nouvelle variable ^{x}S, ce qui revient à sommer sur tous les tores maximaux rationnels de (L^{σ})^{∘}, à condition de multiplier par |((G^{σ})^{∘})^{F} |/|((L^{σ})^{∘})^{F} |. On obtient

|((G^{σ})^{∘})^{F} |_{p′}|((L^{σ})^{∘})^{F} |^{−1}ε_{(G^{σ})^{∘}}⟨ φ, ∑_{S⊂(L^{σ})^{∘}} ε_{S}R_{C_{L^{∘}} (S).σ}^{L^{∘}.σ}π_{σ}^{C_{L^{∘}} (S).σ} ⟩_{L^{∘}}^{F} _{.σ},

d’où le résultat par 4.14 appliqué dans L.

Proposition 4.16. — Supposons σ unipotent, soit L un “Levi” de G contenant σ, et v un élément unipotent de L^{∘}.σ. Alors :

Q_{L^{∘}}^{G^{∘}}(σ, v^{−1}) = \{ \begin{matrix}Q_{(L^{σ})^{∘}}^{(G^{σ})^{∘}}(1, 1) & si v est conjugué sous (L^{∘})^{F} à σ \\ 0 & sinon \end{matrix}

Preuve. — Par la proposition précédente, on a :

⟨ R\begin{matrix}G^{∘} & .σ \\ L^{∘} & .σ \end{matrix}(φ), π_{σ}^{G^{∘}.σ} ⟩_{G^{∘}}^{F} _{.σ} = ε_{(G^{σ})^{∘}}ε_{(L^{σ})^{∘}}|((G^{σ})^{∘})^{F} /((L^{σ})^{∘})^{F} |_{p′}⟨ φ, π_{σ}^{L^{∘}.σ} ⟩_{L^{∘}}_{.σ}

d’où

∗R\begin{matrix}G^{∘} & .σ \\ L^{∘} & .σ \end{matrix}(π_{σ}^{G^{∘}.σ}) = ε_{(G^{σ})^{∘}}ε_{(L^{σ})^{∘}}|((G^{σ})^{∘})^{F} /((L^{σ})^{∘})^{F} |_{p′}π_{σ}^{L^{∘}.σ}.

Mais par la formule du caractère :

∗R\begin{matrix}G^{∘} & .σ \\ L^{∘} & .σ \end{matrix}(π_{σ}^{G^{∘}.σ})(v) = Q_{L^{∘}}^{G^{∘}}(σ, v^{−1})

d’où le résultat.

La proposition précédente démontre dans un cas particulier la conjecture suivante :

Conjecture 4.17. — Supposons σ unipotent et soit x un élément unipotent de G^{∘}^{F} tel que C_{G}(σx) ⊂ C_{G}(x), alors

Q_{L^{∘}}^{G^{∘}}(σx, ∗) = Ind_{(L^{σ})^{F}}^{L^{F}} Q_{(L^{σ})^{∘}}^{(G^{σ})^{∘}}(σx, ∗),

où les fonctions de Green sont considérées comme des fonctions centrales de leur deuxième variable.

Nous savons aussi démontrer une propriété voisine de cette conjecture dans le cas où L est un “tore”et où σx est unipotent régulier, i.e., appartient à un seul “Borel”, ce qui implique que x est régulier dans (G^{σ})^{∘} (rappelons que cette hypothèse implique par [3, 9.16] que les fonctions de Green ordinaires du groupe connexe (G^{σ})^{∘} valent 1 sur x, ce qui avec notre normalisation des fonctions de Green s’écrit Q_{(T^{σ})^{∘}}^{(G^{σ})^{∘}}(x, 1) = |(T^{σ})^{∘}^{F} |). Dans ce cas l’énoncé suivant montre que la conclusion de la conjecture est vraie, sans hypothèse sur les centralisateurs.

Proposition 4.18. — On suppose σ unipotent. Soit u un élément unipotent tel que σu soit régulier, alors on a

Q_{T^{∘}}^{G^{∘}}(σu, σ^{−1}) = |((T^{σ})^{∘})^{F} |.

Preuve. — Par un argument identique à la démonstration de [3, 9.16] on obtient

|T^{∘}^{F} |^{−1} ∑_{t∈T^{∘}^{F}} Trace((uσ, σ^{−1}t)|H_{c}^{∗}(Y_{U})) > 0.

Un terme de la somme ci-dessus est nul si σ^{−1}t n’est pas unipotent car alors la partie semi-simple de (uσ, σ^{−1}t) n’a pas de point fixe sur la variété Y_{U}. Si σ^{−1}t est unipotent, il est quasi-semi-simple car dans T, donc quasi-central et conjugué à σ^{−1} sous T^{∘}^{F} par 1.37. On voit que les termes non nuls de la somme sont tous égaux. Donc on a Trace((uσ, σ^{−1})|H_{c}^{∗}(Y_{U})) > 0.

D’autre part, par 4.12, on a |W^{σ}| = ∑_{w∈W^{σ}} R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(Id_{T_{w}^{∘}.σ})(σu). Chaque terme de cette somme est un entier positif car

R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(Id_{T_{w}^{∘}.σ})(σu) = Trace(σu|H_{c}^{∗}(Y_{U}/T_{w}^{F})).

Comme il y a exactement |W^{σ}| termes dans la somme, on en déduit le résultat.

Nous allons montrer que la conjecture 4.17 est équivalente au cas particulier où σ et x sont unipotents de la conjecture générale suivante dont 2.12, 4.13 et 4.15 sont des cas particuliers. Nous verrons plus tard (discussion précédant 4.23) que, au moins dans le cas où G^{∘} est simplement connexe, la conjecture 4.19 se ramène au cas où σ et x sont unipotents, c’est-à-dire qu’elle est conséquence de son cas particulier énoncé en 4.17.

Conjecture 4.19. — Soit L un “Levi” rationnel contenant σ; soit x un élément de G^{∘}^{F} tel que C_{G}(σx) = C_{G}(σ)∩C_{G}(x), alors pour toute fonction de σ-classe χ sur L^{∘}^{F} .σ on a

R\begin{matrix}G^{∘} & .σ \\ L^{∘} & .σ \end{matrix}(χ)(σx) = R_{L^{σ}}^{G^{σ}}(χ)(σx).

Proposition 4.20. — La conjecture 4.19 pour σ et x unipotents est équivalente à la conjecture 4.17.

Preuve. — Sous les hypothèses de 4.17 l’élément σx est unipotent, donc la formule du caractère s’écrit

R\begin{matrix}G^{∘} & .σ \\ L^{∘} & .σ \end{matrix}(χ)(σx) = |L^{F} |^{−1} ∑_{v∈L^{F} _{u}} Q_{L^{∘}}^{G^{∘}}(σx, v^{−1})χ(v).

D’autre part, par la formule du caractère dans G^{σ}, on a

R_{L^{σ}}^{G^{σ}}(χ)(σx) = |(L^{σ})^{F} |^{−1} ∑_{v∈(L^{σ})_{u}^{F}} Q_{(L^{σ})^{∘}}^{(G^{σ})^{∘}}(σx, v^{−1})χ(v).

Dans ce cas la conjecture 4.19 est donc équivalente à l’égalité suivante pour tout χ :

|L^{F} |^{−1} ∑_{v∈L^{F} _{u}} Q_{L^{∘}}^{G^{∘}}(σx, v^{−1})χ(v) = |(L^{σ})^{F} |^{−1} ∑_{v∈(L^{σ})_{u}^{F}} Q_{(L^{σ})^{∘}}^{(G^{σ})^{∘}}(σx, v^{−1})χ(v).

Elle est donc équivalente à l’égalité suivante pour tout v unipotent de L^{F}, obtenue en prenant pour χ la fonction caractéristique de la classe de v :

|C_{L^{F}} (v)^{F} |^{−1}Q_{L^{∘}}^{G^{∘}}(σx, v^{−1}) = |(L^{σ})^{F} |^{−1} ∑_{{ v′∈(L^{σ})_{u}^{F} |v′ ∼_{L^{F}} v }} Q_{(L^{σ})^{∘}}^{(G^{σ})^{∘}}(σx, v′^{−1}),

ce qui est bien équivalent à

Q_{L^{∘}}^{G^{∘}}(σx, v^{−1}) = |(L^{σ})^{F} |^{−1} ∑_{{ l∈L^{F} |^{l}v∈(L^{σ})^{F} }} Q_{(L^{σ})^{∘}}^{(G^{σ})^{∘}}(σx,^{l}v^{−1}).

Remarque 4.21. — On voit facilement que l’énoncé ci-dessus est encore vrai si σ et x ne sont pas unipotents mais ont des parties semi-simples centrales dans G.

Proposition 4.22. — Soit L un “Levi” de G contenant σ unipotent rationnel, et soit x ∈ G^{∘} un élément commutant à σ; soit x = tu (resp. σ = σ_{s}σ_{u}) la décomposition de Jordan de x (resp. de σ). supposons que l’identité 4.17 sur les fonctions de Green ait lieu pour σ_{u} et u; alors

R\begin{matrix}G^{∘} & .σ \\ L^{∘} & .σ \end{matrix}(χ)(σx) = R_{L^{σu}}^{G^{σu}} (χ)(σx)

Donc, en particulier, la formule ci-dessus a lieu inconditionnellement si u = 1 ou si u est unipotent régulier.

Preuve. — Notons que sous l’hypothèse de l’énoncé (σ_{s}t).(σ_{u}u) est la décomposition de Jordan de σx. Posons s = tσ_{s}.

Montrons d’abord que la formule du caractère donne

(R\begin{matrix}G^{∘} & .σ \\ L^{∘} & .σ \end{matrix}(χ))(sσ_{u}u) = |L^{∘}^{F} |^{−1}|((G^{s})^{∘})^{F} |^{−1} ∑_{\{ h∈G^{∘}^{F} |s∈^{h}L \}} |((^{h}L)^{s})^{∘F} |f(h)

où f(h) = R_{((^{h}L)^{s})^{∘F} .σ}^{(G^{s})^{∘}.σ}(^{h}χ)(sσ_{u}u).

En effet, par 2.10 (iii), la formule du caractère s’écrit

(R\begin{matrix}G^{∘} & .σ \\ L^{∘} & .σ \end{matrix}(χ))(sσ_{u}u) =

|L^{∘}^{F} |^{−1}|((G^{s})^{∘})^{F} |^{−1} ∑_{{ h∈G^{∘}^{F} |s∈^{h}L }} ∑_{v∈((^{h}L)^{s})_{u}^{F}} Q_{((^{h}L)^{s})^{∘}}^{(G^{s})^{∘}}(σ_{u}u, v^{−1})^{h}χ(sv).

D’autre part, par 2.10 (iii) appliqué dans (G^{σ})^{∘}.σ on a

|((^{h}L)^{s})^{∘F} |f(h) = |((G^{s})^{∘})^{F} |^{−1}

∑_{{ k∈((G^{s})^{∘})^{F} |s∈^{k}(((^{h}L)^{s})^{∘}<σ>) }} ∑_{v∈(^{k}((^{h}L)^{s})^{∘}<σ>)_{u}^{F}} Q_{^{k}((^{h}L)^{s})^{∘}}^{(G^{s})^{∘}}(σ_{u}u, v^{−1})^{kh}χ(sv);

si on prend ^{k^{−1}}v comme nouvelle variable dans la deuxième somme, tous les k ∈ ((G^{s})^{∘})^{F} vérifient la condition de la première somme et l’on obtient

|((^{h}L)^{s})^{∘F} |f(h) = ∑_{v∈(((^{h}L)^{s})^{∘}<σ>)_{u}^{F}} Q_{((^{h}L)^{s})^{∘}}^{(G^{s})^{∘}}(σ_{u}u, v^{−1})^{h}χ(sv),

ce qui donne la formule annoncée.

On a f(h) = f(hl) = f(gh) si l ∈ L^{∘}^{F} et g ∈ (G^{s})^{∘}^{F}. De plus les fonctions de Green sont nulles, donc f(h) = 0, si ^{h}L ∩ ((G^{s})^{∘}.σ_{u}u) = ∅. Comme u ∈ (G^{s})^{∘} (cf. 1.8 (i)), si f(h) ≠ 0 alors ^{h}L ∩ ((G^{s})^{∘}.σ_{u}) ≠ ∅. Il existe alors un élément x quasi-central rationnel unipotent de (^{h}L)^{s} dans la tranche ^{h}L ∩ ((G^{s})^{∘}.σ_{u}) (il suffit de prendre la partie unipotente d’un élément quasi-semi-simple rationnel de cette tranche de (^{h}L)^{s}). Cet élément est encore quasi-semi-simple dans G^{s} (car il est dans un “tore” de (^{h}L)^{s} qui est inclus dans un “tore” de G^{s}, cf. remarques après 1.5), donc il est quasi-central dans G^{s}, donc conjugué sous (G^{s})^{∘}^{F} à σ_{u} (cf. 1.37). Donc si f(h) ≠ 0 il existe g ∈ (G^{s})^{∘}^{F} tel que ^{g^{−1}}σ_{u} ∈ (^{h}L)^{s}. Comme f(h) = f(gh), on peut remplacer la somme sur les h par une somme sur les éléments g′ = gh (tous les éléments h ∈ (G^{s})^{∘}^{F} .g′ vérifient s ∈ ^{h}L). En tenant compte du fait que dans (G^{s})^{∘}^{F} g′ il y a |(G^{sσ_{u}})^{∘F} ||((^{h}L)^{s})^{∘F} ||((^{h}L)^{σ_{u}s})^{∘F} |^{−1} éléments kg′ tels que σ_{u} ∈ (^{kg′}L)^{s} (car, en tenant compte de σ_{u} ∈ (^{g′}L)^{s}, cette condition se réécrit k^{−1}.^{σ_{u}}k ∈ ((^{g′}L)^{∘})^{s} et on applique 1.39), on trouve :

(R\begin{matrix}G^{∘} & .σ \\ L^{∘} & .σ \end{matrix}(χ))(sσ_{u}u) = |L^{∘}^{F} |^{−1}|(G^{sσ_{u}})^{∘F} |^{−1} ∑_{\{g′∈G^{∘}^{F} |^{g′}L∋sσ_{u}\}} |((^{g′}L)^{sσ_{u}})^{∘F} |f(g′).

Mais σ_{u} ∈ ^{g′}L se réécrit g^{′−1}.^{σ_{u}}g′ ∈ L^{∘} et en appliquant à nouveau 1.39 on a g′ = gl où g ∈ (G^{σ_{u}})^{∘F} et l ∈ L^{∘}^{F}. Les termes de la somme ne dépendent pas de l, et il y a |L^{∘}^{F} |/|(L^{σ_{u}})^{∘F} | couples (g, l) donnant le même g′. On a donc :

(R\begin{matrix}G^{∘} & .σ \\ L^{∘} & .σ \end{matrix}(χ))(sσ_{u}u) = |(L^{σ_{u}})^{∘F} |^{−1}|(G^{sσ_{u}})^{∘F} |^{−1} ∑_{\{g∈(G^{σu})^{∘F} |^{g}(L^{σu})∋s\}} |((^{g}(L^{σ_{u}}))^{s})^{∘F} |f(g).

On applique maintenant 4.21 qui dit que si l’identité sur les fonctions de Green supposée dans l’énoncé a lieu alors f(g) = R_{^{g}(L^{σu})∩(G^{σus})^{∘}}^{(G^{σus})^{∘}}(^{g}χ)(sσ_{u}u) et on reconnaît alors la formule du caractère appliquée dans G^{σ_{u}}, d’où le résultat.

Nous allons maintenant montrer comme annoncé que, au moins dans le cas où G^{∘} est simplement connexe, la démonstration de la conjecture 4.19 se ramène au cas où σ et x sont unipotents, c’est-à-dire que la conjecture est conséquence de son cas particulier énoncé en 4.17.

Nous nous plaçons sous les hypothèses de 4.19. La proposition 4.22 montre que si 4.17 est vraie, on a

(R\begin{matrix}G^{∘} & .σ \\ L^{∘} & .σ \end{matrix}χ)(σx) = (R_{L^{σu}}^{G^{σu}} χ)(σx),

si σ_{u} est la partie unipotente de σ. D’autre part le cas particulier où σ est semi-simple de la conjecture, appliqué avec la partie semi-simple de σ dans le groupe G^{σ_{u}} implique (par un raisonnement analogue à celui de 4.21) que

(R_{L^{σu}}^{G^{σu}} χ)(σx) = R_{L^{σ}}^{G^{σ}}χ(σx),

donc la conjecture est conséquence de son cas particulier où σ est semi-simple.

Nous voulons maintenant utiliser 2.12 pour démontrer ce cas particulier. Pour cela il suffit de voir que l’hypothèse de 4.19 implique l’hypothèse de 2.12. Pour l’instant nous ne savons le faire que quand G^{∘} est simplement connexe. C’est l’objet de la proposition suivante.

Proposition 4.23. — Supposons G^{∘} simplement connexe et σ semi-simple; soit x ∈ G^{∘} tel que C_{G}(σx) ⊂ C_{G}(σ), alors C_{G}(σs) ⊂ C_{G}(σ), si s est la partie semi-simple de x.

Preuve. — On a C_{G^{∘}}(σx) = C_{G^{∘}}^{σs}(u), si x = su car (σs)u est la décomposition de Jordan de σx. Donc par hypothèse on a C_{G^{∘}}^{σs}(u) = C_{G^{∘}}^{σ}(x) = C_{(G^{∘}^{σ})^{s}}(u). On a (G^{σ})^{s} = G^{∘}^{σ}σ. Donc si (G^{σ})^{s} n’est pas égal à G^{σs}, alors (G^{∘}^{σ})^{s} n’est pas égal à H = G^{∘}^{σs}. Alors (G^{∘}^{σ})^{s} est un sous-groupe propre de H qui contient le centralisateur de u dans H. Comme G^{∘} est simplement connexe les groupes (réductifs) (G^{∘}^{σ})^{s} et H sont connexes d’après [13, 8.1]. Or dans un groupe réductif connexe H le centralisateur d’un élément unipotent ne peut pas être dans un sous-groupe réductif propre. Il suffit de voir cette assertion pour un sous-groupe réductif propre K maximal et pour H quasi-simple. Si K est un sous-groupe de Levi le résultat est clair car l’élément unipotent est dans un sous-groupe de Borel d’un sous-groupe parabolique de H ayant K comme sous-groupe de Levi, et le centre du radical unipotent de ce sous-groupe de Borel n’est pas dans K. Si K n’est pas un sous-groupe de Levi, soit B un sous-groupe de Borel contenant l’élément unipotent et soit T un tore de B; soit Π la base du système de racines de H par rapport à T correspondant à un sous-groupe de Borel contenant B et soit α_{0} l’opposé de la plus grande racine. D’après la classification de Borel-de Siebenthal des sous-groupes réductifs maximaux propres, il existe β ∈ Π tel que le groupe K soit engendré par T et les U_{α} où α parcourt les racines du système Φ_{K} de base (Π ∪ {α_{0}}) − {β}. Alors U_{−β} commute à tous les U_{α} pour α ∈ Φ_{K} (car α−β n’est jamais une racine), donc commute à l’unipotent considéré, et U_{−β} n’est pas inclus dans K.

Les énoncés précédents démontrent la conjecture 4.19 dans le cas où x est semi-simple.

5. Caractères unipotents.

Comme dans les sections 3 et 4, nous supposons dans cette section que G est un groupe réductif défini sur 𝔽_{q} de la forme G^{∘}.<σ>, où σ est quasi-central rationnel. Nous allons étudier la décomposition en caractères irréductibles des caractères de Deligne-Lusztig unipotents de G^{F} (voir définition ci-dessous).

Rappelons que l’ensemble des caractères irréductibles unipotents de G^{∘}^{F} est par définition E(G^{∘}^{F} , 1) = { χ ∈ Irr(G^{∘}^{F}) | ∃w ∈ W, ⟨ χ, R_{T_{w}^{∘}}^{G}(Id) ⟩_{G^{∘}}^{F} ≠ 0 }. L’ensemble

des tores maximaux rationnels de G^{∘}^{F} étant invariant par l’action de G^{F}, l’ensemble E(G^{∘}^{F} , 1) est conservé par l’action de G^{F}. Il en résulte, pour ρ ∈ Irr(G^{F}), que si Res_{G^{∘}^{F}}^{G^{F}} ρ contient un caractère unipotent dans sa décomposition en irréductibles, alors

Res_{G^{∘}^{F}}^{G^{F}} ρ est somme de caractères irréductibles unipotents. Nous appellerons unipotents de tels caractères irréductibles de G^{F}, et, si σ est un élément quasi-central rationnel, nous appellerons unipotentes les fonctions de σ-classe qui sont combinaison linéaire de restrictions à G^{∘}^{F} .σ de caractères unipotents. Une base des fonctions de σ-classe unipotentes est donc formée par la restriction à G^{∘}^{F} .σ d’une extension à G^{∘}^{F} <σ> de chaque caractère irréductible unipotent σ-invariant de G^{∘}^{F}. Nous noterons E(G^{∘}^{F} .σ, 1) une telle base.

Il résulte par exemple de la démonstration de 2.3 que R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(Id_{T^{∘}}_{.σ})(gσ) où g ∈ G^{∘}^{F}

est la trace de gσ sur la partie fixe par T^{∘}^{F} de la cohomologie de la variété de Deligne-Lusztig Y_{U}^{∘} associée à G^{∘}. Il résulte alors de la disjonction des espaces de cohomologie (cf. par exemple [6, 13.3]) que la fonction de σ-classe R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(Id_{T^{∘}}_{.σ}) est unipotente. Nous

allons nous intéresser à la décomposition de R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(Id_{T^{∘}}_{.σ}) dans la base E(G^{∘}^{F} .σ, 1). En utilisant les résultats des sections 1 à 4 du présent article, G. Malle [10] a calculé cette décomposition dans le cas où G est de type A_{l}.2 (l ≤ 5), ^{2}A_{l}.2 (l ≤ 5), D_{4}.3, ^{3}D_{4}.3, ^{2}D_{l}.2 (l ≤ 5), E_{6}.2 et ^{2}E_{6}.2 et émis une conjecture sur la décomposition pour tous les groupes linéaires et unitaires. Dans cette section, nous démontrerons cette conjecture, puis nous donnerons une formule valable dans tous les cas en utilisant des résultats d’Asai. Nous verrons que, la situation est très différente du cas connexe : il existe des caractères unipotents irréductibles σ-invariants ρ ∈ Irr(G^{∘}^{F}) tels que ρ̃ |_{G^{∘}}^{F} _{.σ} soit orthogonal à tous les R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(Id_{T^{∘}}_{.σ}) pour toute extension ρ̃ de ρ à G^{F}.

Définition 5.1. — Soit ψ une fonction de F -classe sur W^{σ}. On pose :

R_{ψ}^{G^{∘}^{F} .σ} = |W^{σ}|^{−1} ∑_{w∈W^{σ}} ψ(w)R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(Id_{T^{∘}}_{.σ}).

D’après les remarques qui précèdent 4.11, on a

⟨ R_{ψ}^{G^{∘}^{F} .σ}, R_{ψ′}^{G^{∘}^{F} .σ} ⟩_{G^{∘}}^{F} _{.σ} = ⟨ ψ, ψ′ ⟩_{W^{σ}.F} .

Dans la suite de cette section nous supposons que G est quasi-simple et que σ induit un automorphisme non trivial du diagramme sur G^{∘} (donc G est d’un des types A_{l}.2, 2A_{l}.2, D_{4}.3, ^{3}D_{4}.3, D_{l}.2, ^{2}D_{l}.2, E_{6}.2 ou ^{2}E_{6}.2). Nous choisissons un tore de référence quasi-déployé; alors l’endomorphisme F agit trivialement sur W si G^{∘} est déployé, sinon comme σ, ou éventuellement σ^{−1} dans le cas ^{3}D_{4}.3, et agit trivialement sur W^{σ}. Une base orthonormée des fonctions de σ-classe uniformes unipotentes est donc formée dans tous les cas des {R_{ψ}^{G^{∘}^{F} .σ}}_{ψ∈Irr(W^{σ})}.

Jusqu’à l’énoncé du théorème 5.2, nous supposons que G est de type A_{n}.2 ou ^{2}A_{n}.2. Il existe alors un tore maximal rationnel de G^{∘} (dit diagonal) tel que F agisse trivialement sur W. Si nous prenons un tel tore comme tore de référence, alors les types des tores maximaux rationnels de G^{∘} sont les classes du groupe de Weyl W du tore choisi et les types des tores maximaux rationnels de (G^{σ})^{∘} sont des classes de W^{σ}. Toutes les fonctions de classe sur G^{∘}^{F} sont uniformes et les caractères unipotents de G^{∘}^{F} sont (au signe près dans le cas ^{2}A_{n}) les {R_{χ}^{G^{∘}^{F}} }_{χ∈Irr(W)} définis par R_{χ}^{G^{∘}^{F}} = |W |^{−1} ∑_{w∈W} χ(w)R_{T_{w}^{∘}}^{G^{∘}}(Id_{T_{w}^{∘}}) (cf., par exemple [6, 15.4]). Dans le cas des groupes unitaires (type ^{2}A_{n}), si B^{∘} est un sous-groupe de Borel rationnel de G^{∘}, on a End_{G^{∘}}^{F} (Ind\begin{matrix}G^{∘} & ^{F} \\ B^{∘} & ^{F} \end{matrix} Id) ≃ \overline{ℚ}_{ℓ}[W^{σ}] donc les caractères unipotents de la série principale sont aussi indexés par les ψ ∈ Irr(W^{σ}). Ceci définit une injection π : Irr(W^{σ}) → Irr(W). Le résultat conjecturé par G. Malle que nous démontrons dans cette section est :

Théorème 5.2. — Si G est de type A_{n}.2 ou ^{2}A_{n}.2, alors R_{ψ}^{G^{∘}^{F} .σ} (ψ ∈ Irr(W^{σ})) est

une extension à G^{∘}^{F} .σ de R_{π(ψ)}^{G^{∘}^{F}}.

Ce théorème signifie que les extensions (σ agissant par un automorphisme intérieur sur le groupe de Weyl, tous les R_{χ}^{G^{∘}^{F}} sont σ-invariants) à G^{∘}^{F} .σ d’un caractère unipotent

R_{χ}^{G^{∘}^{F}} de G^{∘}^{F} sont uniformes si χ est dans l’image de π, et sont orthogonales à toutes les fonctions uniformes sinon.

Le résultat général sur la décomposition des R_{ψ}^{G^{∘}^{F} .σ} est analogue : R_{ψ}^{G^{∘}^{F} .σ} est une extension d’un “caractère fantôme” de G^{∘}^{F}. Cependant donner un énoncé précis demande plus de préliminaires. Voir le théorème 5.11.

5.1 Descentes de Shintani

Pour démontrer 5.2 l’idée est de relier les R_{ψ}^{G^{∘}^{F} .σ} aux descentes de Shintani de la série principale. Nous suivons une démarche analogue à celle de [5]; comparer en particulier les énoncés 5.4, 5.5 et 5.6 (et leurs démonstrations) avec ceux de [loc. cit., III].

Rappelons que si H est un groupe réductif connexe, muni de deux endomorphismes de Frobenius qui commutent F et F′, et si x ∈ H est tel que g = x.^{F′}x^{−1} ∈ H^{F}, alors g′ = x^{−1}.^{F}x ∈ H^{F′}; la correspondance ainsi définie (dite correspondance de Shintani) induit une bijection des F′-classes de H^{F} sur les F -classes de H^{F′}. Cette bijection sera notée N_{F/F′} et on notera N_{F/F′}(g) un élément quelconque qui correspond à g. La bijection N_{F/F′}(g) induit par composition une isométrie des fonctions de F -classe sur H^{F′} sur les fonctions de F′-classe sur H^{F} qui sera notée Sh_{F′/F}.

Nous appliquerons ces notions à H = G^{∘} et les endomorphismes de Frobenius considérés qui commutent deux à deux seront F, σF, F^{m} et σF^{m} où m est un entier strictement positif. Notons que si f est une fonction de F -classe sur G^{∘}^{σF^{m}}, alors Sh_{σF^{m}/F} f est une fonction de σ-classe sur G^{∘}^{F} car σF^{m} et σ ont même action sur G^{∘}^{F}.

Commençons par donner une construction de R_{T}^{G}(Id_{T}) (comme on le fait pour les groupes connexes) qui utilise une sous-variété de la variété des sous-groupes de Borel au lieu de la variété Y_{U}.

Proposition 5.3. — Soit X la variété des sous-groupe de Borel de G^{∘}, et soit w ∈ W^{σ}; alors pour g ∈ G^{∘}^{F} on a

R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(Id)(gσ) = Trace(gσ | H_{c}^{∗}(X_{w}))

où X_{w} = \{B ∈ X | B \begin{matrix}− \\ − \end{matrix}^{w} ^{F}B\} (où B \begin{matrix}− \\ − \end{matrix}^{w} B′ signifie que le couple (B, B′) est dans la G^{∘}-orbite sur X × X associée à w).

Notons que dans cet énoncé T_{w}^{∘} dénote un tore de type w par rapport à un tore quasi-déployé.

Preuve. — Soit T^{∘} ⊂ B^{∘} un couple formé d’un tore maximal et d’un sous-groupe de Borel de G^{∘} tous deux rationnels et σ-stables. Il existe un élément x ∈ (G^{σ})^{∘} qui conjugue T^{∘} sur T_{w}^{∘} et tel que x^{−1}.^{F}x ∈ N_{G^{∘}}(T^{∘}) représente w (cf. remarques audessus de 4.11). Si U_{1} = ^{x}U (où B^{∘} = U.T^{∘}), la multiplication à droite par x définit un isomorphisme de Y_{U_{1}}^{∘} (avec les notations de 2.3) sur { y ∈ G^{∘} | y^{−1}.^{F}y ∈ Uw }. Il ressort de la démonstration de 2.3 que R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(Id)(gσ) est la trace de gσ sur les points fixes de T_{w}^{∘}^{F} sur la cohomologie de Y_{U_{1}}^{∘} (où σ agit par y ↦ ^{σ}y). Par translation à droite par x on voit donc que R\begin{matrix}G^{∘} & .σ \\ T_{w}^{∘} & .σ \end{matrix}(Id)(gσ) est la trace de gσ sur les points fixes de T^{∘}^{wF} sur H_{c}^{∗}({ y ∈ G^{∘} | y^{−1}.^{F}y ∈ Uw }), donc sur la cohomologie de { y ∈ G^{∘} | y^{−1}.^{F}y ∈ Uw }/T^{∘}^{wF}. Cette variété a même cohomologie, à un décalage près, que { y ∈ G^{∘} | y^{−1}.^{F}y ∈ UwU }/T^{∘}^{wF} .U, qui est isomorphe à { y ∈ G^{∘} | y^{−1}.^{F}y ∈ B^{∘}wB^{∘} }/B^{∘}. L’application qui à yB^{∘} dans la variété ci-dessus associe ^{y}B^{∘} est un isomorphisme sur la variété X_{w} de l’énoncé, d’où le résultat.

Proposition 5.4. — Sous les hypothèses de 5.3, si F′ est un autre endomorphisme de Frobenius commutant à F et σ et tel que ^{F′}w = w on a Trace(gσF′ | H_{c}^{∗}(X_{w})) = Trace(T_{w}(N_{F/σF′}g)F | \overline{ℚ}_{ℓ}[X^{σF′}]) où T_{w} est l’opérateur sur X^{σF′} défini par T_{w}B =

∑_{\{B′∈X^{σF′} |B′ \begin{matrix}− \\ − \end{matrix}^{w} B\}} B′.

Preuve. — Par le théorème de Lefschetz on a Trace(gσF′ | H_{c}^{∗}(X_{w})) = |X_{w}^{gσF′}|. Posons g = h^{−1}.^{σF′}h, alors N_{F/σF′}g = h.^{F}h^{−1} ; et si B ∈ X_{w} vérifie ^{gσF′}B = B alors

σF′hB = ^{h}B et ^{h}B \begin{matrix}− \\ − \end{matrix}^{w} ^{N_{F/σF′} gF h}B.

Dans ce qui suit nous supposerons que F est déployé, et nous noterons σ′, σ′′ deux automorphismes quasi-centraux de G^{∘} tels que (σ′, σ′′) représente un des couples (Id, Id), (Id, σ), (σ, Id) ou (σ, σ). Nous posons

H_{m} = End_{G^{∘}}_{σ′F^{m}} (Ind\begin{matrix}G^{∘} & ^{σ′F^{m}} \\ B^{∘} & ^{σ′F^{m}} \end{matrix} (Id)) = End_{G^{∘}}_{σ′F^{m}} (\overline{ℚ}_{ℓ}[X^{σ′F^{m}}]).

À chaque caractère irréductible ψ_{m} de H_{m} est associée une représentation irréductible U_{ψ_{m}} de la série principale de G^{∘}^{σ′F^{m}}. Puisque F est déployé, σ′F^{m} agit comme σ′ sur W et on a H_{m} ≃ \overline{ℚ}_{ℓ}[W^{σ′}]; l’action naturelle de σ′′F sur \overline{ℚ}_{ℓ}[X^{σ′F^{m}}] induit σ′′ sur H_{m} et, pour un caractère σ′′-invariant ψ_{m} de H_{m}, permet d’associer à chaque extension à H_{m}⋊<σ′′> de ψ_{m} une extension à G^{∘}^{σ′F^{m}}⋊<σ′′F > de U_{ψ_{m}}. Nous choisissons une telle extension de chaque ψ_{m} ∈ Irr(H_{m})^{σ′′} et nous noterons E_{σ′′}(ψ_{m}) sa restriction a H_{m}.σ′′; nous noterons E_{σ′′F} (U_{ψ_{m}}) la restriction à G^{∘}^{σ′F^{m}}.σ′′F de l’extension correspondante de U_{ψ_{m}}.

Proposition 5.5. — Pour g′ ∈ G^{∘}^{σ′F^{m}} on a

Trace(T_{w}g′σ′′F | Ind\begin{matrix}G^{∘} & ^{σ′F^{m}} \\ B^{∘} & ^{σ′F^{m}} \end{matrix} (Id)) = ∑_{ψ_{m}∈Irr(H_{m})^{σ′′}} E_{σ′′}(ψ_{m})(T_{w}σ′′)E_{σ′′F} (U_{ψ_{m}})(g′σ′′F).

Preuve. — C’est simplement une réécriture de la définition de E_{σ′′F} (U_{ψ_{m}}).

Notons que, puisque σ′ est quasi-central, W^{σ′} = W ((G^{σ′})^{∘}) est un groupe de Coxeter; nous noterons l_{σ′} la longueur dans ce groupe. Si S est l’ensemble des réflexions élémentaires de W, les réflexions élémentaires de W^{σ′} sont paramétrées par les orbites de σ′ sur S; la réflexion s_{O} associée à l’orbite O est l’élément de plus grande longueur du sous-groupe parabolique W_{O}. L’algèbre H_{m} a pour base {T_{w}}_{w∈W^{σ′}} et est définie par les relations :

T_{w}T_{s_{O}} = \{ \begin{matrix}T_{ws_{O}} & si l_{σ′}(ws_{O}) = l_{σ′}(w) + 1 \\ (q^{ml(s_{O})} − 1)T_{w} + q^{ml(s_{O})}T_{ws_{O}} & sinon \end{matrix}

Par le théorème de déformation de Tits (tel qu’il est donné par exemple dans [7, 6.12]) les algèbres H_{m}⋊<σ′′> sont toutes isomorphes à \overline{ℚ}_{ℓ}[W^{σ′}]⋊<σ′′>, ce qui donne un paramétrage des E_{σ′′}(ψ_{m}) indépendant de m par leur spécialisé E_{σ′′}(ψ) (une fonction de classe sur W^{σ′}.σ′′, restriction d’une extension à W^{σ′}⋊<σ′′> du spécialisé ψ de ψ_{m}). Nous supposerons que E_{σ′′}(ψ_{m}) a été choisi de telle sorte que E_{σ′′}(ψ_{m})(T_{w}σ′′) soit un polynôme à coefficients entiers en q^{m/2}, ce qui est possible d’après [7, 6.1]. Nous noterons P le polynôme de Poincaré et d_{ψ} le degré générique dans l’algèbre générique associée aux algèbres H_{m}. Rappelons que la formule d’orthogonalité pour deux caractères irréductibles de l’algèbre H_{m} s’écrit (cf. [5, II, 2.12]) :

∑_{w∈W^{σ′}} q^{−ml(w)}E_{σ′′}(ψ_{m})(T_{w}σ′′)\overline{E_{σ′′}(ψ′_{m})(T_{w^{−1}}σ′′)} = \{ \begin{matrix}ψ(1)\frac{P(q^{m})}{d_{ψ}(q^{m})} & si ψ_{m} = ψ′_{m} \\ 0, & sinon. \end{matrix}

Soit maintenant ρ une représentation irréductible unipotente σ′-invariante de G^{∘}^{σ′′F} (ce que nous notons ρ ∈ E(G^{∘}^{σ′′F} , 1)^{σ′}). La composante ρ-isotypique de H_{c}^{∗}(X_{w}) (où X_{w} = \{B ∈ X | B \begin{matrix}− \\ − \end{matrix}^{w} ^{σ′′F}B\}) est de la forme [ρ] ⊗ V_{w,ρ} où [ρ] est un modèle de la représentation ρ. L’endomorphisme de Frobenius F étant déployé, par un théorème de Lusztig ([9, 2.20], que nous utilisons sous la forme donnée dans [7, 5.2]), la représentation ρ est F -invariante (ce qui revient à σ′′-invariante, F et σ^{′′−1} ayant même action sur G^{σ′′F}), et pour tout choix d’une extension de ρ à G^{∘}^{σ′′F} ⋊<σ′′> (nous noterons E_{σ′′}(ρ) la restriction de cette extension à G^{∘}^{σ′′F} .σ′′) il existe un nombre ω_{ρ} ∈ \overline{ℚ} dont tous les conjugués complexes sont de module 1 tel que pour tout w, l’action de F sur [ρ] ⊗ V_{w,ρ} soit de la forme E_{σ′′}(ρ)(σ′′)^{−1} ⊗ Ω_{w,ρ}, où Ω_{w,ρ} est un opérateur dont les valeurs propres sont multiples de ω_{ρ} par une puissance entière de q^{1/2}. Nous noterons Ω_{σ′′F} l’opérateur sur l’espace de base E(G^{∘}^{σ′′F} , 1)^{σ′} qui multiplie ρ par ω_{ρ}.

Nous choisissons d”autre part, pour tout ρ ∈ E(G^{∘}^{σ′′F} , 1)^{σ′}, une extension de ρ à G^{∘}^{σ′′F} ⋊<σ′> dont nous notons E_{σ′}(ρ) la restriction à G^{∘}^{σ′′F} .σ′, et nous notons E_{σ′σ^{′′−m}}(ρ) la restriction à G^{∘}^{σ′′F} .σ′σ^{′′−m} de l’extension de ρ à G^{∘}^{σ′′F} ⋊<σ′σ^{′′−m}> définie par E_{σ′σ^{′′−m}}(ρ)(σ′σ^{′′−m}) = E_{σ′}(ρ)(σ′)E_{σ′′}(ρ)(σ′′)^{−m} (cet opérateur définit bien une extension car, dans les quatre cas (où (σ′, σ′′) est un des couples (Id, Id), (Id, σ), (σ, Id) ou (σ, σ)) que nous considérons, les opérateurs E_{σ′}(ρ)(σ′) et E_{σ′′}(ρ)(σ′′) commutent, car ils diffèrent par un scalaire ou l’un d’entre eux est l’identité). Notons que l’application ρ ↦ E_{σ′}(ρ) définit par linéarité une application linéaire bijective de \overline{ℚ}_{ℓ}E(G^{∘}^{σ′′F} , 1)^{σ′} sur l’espace des fonctions de σ′-classe unipotentes sur G^{∘}^{σ′′F} .σ′. Nous noterons E_{σ′}^{−1} l’inverse de cette application linéaire. Nous étendons de même par linéarité l’application E_{σ′σ^{′′−m}}.

Théorème 5.6. — Avec les notations ci-dessus, pour tout entier positif m et tout ψ ∈ Irr(W^{σ′})^{σ′′} on a

\begin{aligned}Sh_{σ′F^{m}/σ′′F} E_{σ′′F} (U_{ψ_{m}}) & = ∑_{ρ∈E(G^{∘}^{σ′′F} ,1)^{σ′}} ⟨ R_{ψ}^{G^{∘}^{σ′′F} .σ′}, E_{σ′}(ρ) ⟩_{G^{∘}^{σ′′F} .σ′}ω_{ρ}^{m}E_{σ′σ^{′′−m}}(ρ) \\ & = E_{σ′σ^{′′−m}}(Ω_{σ′′F}^{m} E_{σ′}^{−1}(R_{ψ}^{G^{∘}^{σ′′F} .σ′})). \end{aligned}

Preuve. — Si on note N_{w}^{m} la fonction de σ′σ^{′′−m}-classe sur G^{∘}^{σ′′F} donnée par

g ↦ Trace(gσ′F^{m}|H_{c}^{∗}(X_{w})),

on a avec les notations ci-dessus

N_{w}^{m}(g) = ∑_{ρ∈E(G^{∘}^{σ′′F} ,1)^{σ′}} Trace(gσ′F^{m} | [ρ] ⊗ V_{w,ρ}).

L’action de σ′ sur [ρ] ⊗ V_{w,ρ} est de la forme E_{σ′}(ρ)(σ′) ⊗ σ_{w,ρ} pour un certain opérateur σ_{w,ρ} d’ordre fini. On en déduit que

N_{w}^{m}(g) = ∑_{ρ∈E(G^{∘}^{σ′′F} ,1)^{σ′}} Trace(gσ′σ^{′′−m} | E_{σ′σ^{′′−m}}(ρ)) Trace(Ω_{w,ρ}^{m}σ_{w,ρ} | V_{w,ρ}).

Puisque E_{σ′}(ρ)(σ′) et E_{σ′′}(ρ)(σ′′) commutent, et que F et σ′ commutent, on en déduit que Ω_{w,ρ} et σ_{w,ρ} commutent. On a donc Trace(Ω_{w,ρ}^{m}σ_{w,ρ} | V_{w,ρ}) = ω_{ρ}^{m}P_{w,ρ}(q^{m/2}) où P_{w,ρ} est un polynôme dont les coefficients sont dans le corps K engendré sur ℚ par les valeurs propres de tous les σ_{w,ρ}, ou encore :

⟨ N_{w}^{m}, E_{σ′σ^{′′−m}}(ρ) ⟩_{G^{∘}^{σ′′F} .σ′σ^{′′−m}} = P_{w,ρ}(q^{m/2})ω_{ρ}^{m}.  (1)

D’autre part, par les propositions 5.5 et 5.4 (appliquée avec (σ, F, F′) remplacés par (σ′, σ′′F, F^{m})), on a :

N_{w}^{m} = ∑_{ψ_{m}∈Irr(H_{m})^{σ′′}} E_{σ′′}(ψ_{m})(T_{w}σ′′) Sh_{σ′F^{m}/σ′′F} E_{σ′′F} (U_{ψ_{m}})  (2).

En faisant le produit scalaire dans l’algèbre H_{m}, on obtient :

Sh_{σ′F^{m}/σ′′F} E_{σ′′F} (U_{ψ_{m}}) = \frac{d_{ψ}(q^{m})}{ψ(1)}P(q^{m})^{−1} ∑_{w∈W^{σ′}} q^{−ml(w)}\overline{E_{σ′′}(ψ_{m})(T_{w^{−1}}σ′′)}N_{w}^{m}.

Le coefficient de chaque N_{w}^{m} dans l’équation ci-dessus est la valeur en q^{m/2} d’un élément de ℚ(X) vu le choix de E_{σ′′}(ψ_{m}) expliqué ci-dessus. Par produit scalaire, on obtient donc en utilisant (1) :

⟨ Sh_{σ′F^{m}/σ′′F} E_{σ′′F} (U_{ψ_{m}}), E_{σ′σ^{′′−m}}(ρ) ⟩_{G^{∘}^{σ′′F} .σ′σ^{′′−m}} = f_{ρ,ψ}(q^{m/2})ω_{ρ}^{m}  (3)

où f_{ρ,ψ} ∈ K(X). La descente de Shintani étant une isométrie, on a :

|f_{ρ,ψ}(q^{m/2})ω_{ρ}^{m}| = |⟨ Sh_{σ′F^{m}/σ′′F} E_{σ′′F} (U_{ψ_{m}}), E_{σ′σ^{′′−m}}(ρ) ⟩_{G^{∘}^{σ′′F} .σ′σ^{′′−m}}| ≤ 1,

et il en est de même pour tous les conjugués complexes de f_{ρ,ψ}(q^{m/2})ω_{ρ}^{m}, car pour tout γ ∈ Gal(K/ℚ) on a ^{γ} Sh_{σ′F^{m}/σ′′F} E_{σ′′F} (U_{ψ_{m}}) = Sh_{σ′F^{m}/σ′′F} ^{γ}E_{σ′′F} (U_{ψ_{m}}). D’autre part,

|G^{∘}^{σ′′F} |⟨ Sh_{σ′F^{m}/σ′′F} E_{σ′′F} (U_{ψ_{m}}), E_{σ′σ^{′′−m}}(ρ) ⟩_{G^{∘}^{σ′′F} .σ′σ^{′′−m}} est un entier algébrique par définition. Comme il n’y a dans K qu’un nombre fini d’entiers dont tous les conjugués sont de norme majorée par |G^{∘}^{σ′′F} |, on en déduit que f_{ρ,ψ}(q^{m/2})ω_{ρ}^{m} est constant pour une infinité de valeurs de m. Si m_{0} et m sont deux telles valeurs on a :

ω_{ρ}^{m_{0}−m} = \frac{f_{ρ,ψ}(q^{m/2})}{f_{ρ,ψ}(q^{m_{0}/2})}.  (4)

Si nous fixons m_{0} et laissons m varier, le terme de droite est de la forme \frac{A(q^{m/2})}{B(q^{m/2})} où

A, B ∈ K(q^{m_{0}/2})[X]. Soit aX^{α} (resp. bX^{β}) le terme de plus haut degré de A (resp. B). Prenant des équivalents, nous avons quand m tend ver l’infini : aq^{αm/2} ∼ ω_{ρ}^{m_{0}−m}bq^{βm/2} ; donc pour m assez grand on doit avoir α = β et ω_{ρ}^{m_{0}−m} constant égal à a/b. Donc ω_{ρ} est une racine de l’unité et, par (4), f_{ρ,ψ} est constant pour une infinité de valeurs de m, donc doit être une constante. Reportant dans (2), on trouve

N_{w}^{m} = ∑_{ψ_{m}} E_{σ′′}(ψ_{m})(T_{w}σ′′) ∑_{ρ} f_{ρ,ψ}ω_{ρ}^{m}E_{σ′σ^{′′−m}}(ρ),

qui a pour “limite quand m tend vers 0” (en prenant par exemple m multiple de l’ordre des ω_{ρ}) :

R_{T_{w}^{∘}.σ′}^{G^{∘}.σ′}(Id) = (− ∑_{m} N_{w}^{m}t^{m})_{t=∞} = ∑_{ψ} ψ(wσ′) ∑_{ρ} f_{ρ,ψ}E_{σ′}(ρ).

Ceci donne f_{ρ,ψ} = ⟨ R_{ψ}^{G^{∘}^{σ′′F} .σ′}, E_{σ′}(ρ) ⟩_{G^{∘}^{F} .σ′} d’où le théorème en reportant dans (3).

Comme d’habitude, si τ est un automorphisme d’un groupe fini H, une τ-classe de H sera identifiée à une classe sous H dans la tranche H.τ du produit semi-direct H⋊<τ> et nous noterons C(H.τ) l’ensemble de ces classes. Avec ces notations nous allons aussi utiliser le résultat suivant qui généralise le résultat de Shoji [11, 2.2] (voir aussi [4, lemme 1.15]).

Proposition 5.7. — Soit G un groupe algébrique connexe sur \overline{𝔽}_{q} muni d’un automorphisme σ et soit F un endomorphisme de Frobenius sur G. On suppose que F et σ commutent. Pour tout m entier strictement positif le diagramme suivant est commutatif :

C(G^{σF^{m}}.F)  ⟶^{1−m}  C(G^{σF^{m}}.σF)
↓^{N_{σF^{m}/F}}  ↓^{N_{σF^{m}/σF}}
C(G^{F} .σ) ⟶^{N_{F/σF}} C(G^{σF} .F) ⟶^{m−1} C(G^{σF} .F^{m−1})

où 1 − m (resp. m − 1) désigne l’élévation à la puissance 1 − m (resp. m − 1).

Preuve. — Notons d’abord que les applications dans le diagramme ci-dessus relient bien les ensembles indiqués car σF^{m} et σF ont même action que σ sur G^{F}, et σF^{m} a même action que F^{m−1} sur G^{σF}. Considérons l’élément y^{−1}.^{F}y.F ∈ G^{σF^{m}}.F; l’image de sa F-classe par N_{σF^{m}/F} est la σ-classe de y.^{σF^{m}}y^{−1}. Soit x ∈ G tel que x.^{σF}x^{−1} = y.^{σF^{m}}y^{−1} ; l’image de la σ-classe de y.^{σF^{m}}y^{−1} par N_{F/σF} est donc la F -classe de x^{−1}.^{F}x, c’est-à-dire la classe de x^{−1}.^{F}x.F. Enfin l’image de cette classe par l’élévation à la puissance m − 1 est x^{−1}.^{F^{m−1}}x.F^{m−1}.

D’autre part, si on élève à la puissance 1 − m l’élément y^{−1}.^{F}y.F, on trouve y^{−1}.^{F^{1−m}}y.F^{1−m} = ^{σF^{m}}y^{−1}^{σF}y.σF (en appliquant σF^{m} au membre de gauche et en utilisant que F^{1−m} = σF comme automorphismes de G^{σF^{m}}), ce qui est égal à y^{−1}x.^{σF}(x^{−1}y).σF et a donc pour image par N_{σF^{m}/σF} la classe de

x^{−1}y.^{σF^{m}}(y^{−1}x).F^{m−1} = ^{σF}x^{−1}.^{σF^{m}}x.F^{m−1} = x^{−1}.^{F^{m−1}}x.F^{m−1},

cette dernière égalité car il s’agit d’un élément de G^{σF}.

5.2 Groupes linéaires et unitaires

Nous allons utiliser la proposition 5.7 pour m = 2. On obtient alors

Sh_{F/σF} ∘ Sh_{σF^{2}/F} = Sh_{σF^{2}/σF} ∘ inv  (1),

où l’opérateur inv envoie la fonction de F -classe f sur G^{σF^{2}} sur la fonction de σF -classe x ↦ f(x^{−1}).

Écrivons maintenant le théorème 5.6 dans les cas (σ′F^{m}, σ′′F) = (σF^{2}, F) (resp. (σF^{2}, σF)). Nous obtenons, pour ψ ∈ Irr(W^{σ}) :

Sh_{σF^{2}/F} E_{F} (U_{ψ_{2}}) = E_{σ}Ω_{F}^{2} E_{σ}^{−1}R_{ψ}^{G^{∘}^{F} .σ}  (2)

et

Sh_{σF^{2}/σF} E_{σF} (U_{ψ_{2}}) = E_{σ^{−1}}Ω_{σF}^{2} E_{σ}^{−1}R_{ψ}^{G^{∘}^{σF} .σ}.  (3)

En appliquant Sh_{F/σF} à (2) et utilisant (1), nous obtenons :

(Sh_{σF^{2}/σF} ∘ inv)(E_{F} (U_{ψ_{2}})) = Sh_{F/σF} E_{σ}Ω_{F}^{2} E_{σ}^{−1}R_{ψ}^{G^{∘}^{F} .σ}.  (4)

Proposition 5.8. — On a :

Sh_{F/σF} E_{σ}Ω_{F}^{2} E_{σ}^{−1}R_{ψ}^{G^{∘}^{F} .σ} = E_{σ^{−1}}Ω_{σF}^{2} E_{σ}^{−1}R_{ψ}^{G^{∘}^{σF} .σ}.

Preuve. — F agit comme l’inverse de σF sur G^{∘}^{σF^{2}}, donc pour un choix convenable de E_{σF} (U_{ψ_{2}}) on a inv(E_{F} (U_{ψ_{2}})) = E_{σF} (inv U_{ψ_{2}}). Mais tout les caractères unipotents de la série principale sont réels, donc inv U_{ψ_{2}} = U_{ψ_{2}}. Ceci nous permet de comparer (4) avec (3) et nous obtenons la proposition.

Nous sommes maintenant en mesure de démontrer le théorème 5.2. Dans la suite de cette section, pour rendre plus lisibles les notations, nous noterons simplement U_{ψ} pour U_{ψ_{1}}, et nous rajouterons un exposant précisant dans quel groupe nous considérons ces caractères (U_{ψ}^{G^{∘}^{F}} ou U_{ψ}^{G^{∘}^{σF}}). L’opérateur Sh_{σF /σF} agissant trivialement sur les fonctions de σ-classe sur le groupe unitaire (car tous les éléments de G^{∘} ont des centralisateurs connexes — voir [5], IV, 1.2), le cas ^{2}A_{n}.2 du théorème 5.2 est conséquence immédiate de la proposition suivante :

Proposition 5.9. — Si ψ ∈ Irr(W^{σ}) est tel que U_{ψ}^{G^{∘}^{σF}} = Sh_{σF /σF} U_{ψ}^{G^{∘}^{σF}}, alors

R_{ψ}^{G^{∘}^{σF} .σ} = E_{σ}(U_{ψ}^{G^{∘}^{σF}}).

Preuve. — Le théorème 5.6 donne, pour (σ′F^{m}, σ′′F) = (σF , σF) :

Sh_{σF /σF} U_{ψ}^{G^{∘}^{σF}} = Ω_{σF} E_{σ}^{−1}R_{ψ}^{G^{∘}^{σF} .σ}.

Ceci donne immédiatement la proposition en utilisant que pour ρ dans la série principale on a ω_{ρ} = 1, donc Ω_{σF}^{−1}(U_{ψ}^{G^{∘}^{σF}}) = U_{ψ}^{G^{∘}^{σF}}.

Enfin, le théorème 5.2 pour les groupes linéaires (cas A_{n}.2) est conséquence de la proposition suivante :

Proposition 5.10. — Sous les hypothèses de 5.9, si de plus il existe π(ψ) ∈ Irr(W)^{σ} et un signe ε_{ψ} tels que R_{π(ψ)}^{G^{∘}^{σF}} = ε_{ψ}U_{ψ}^{G^{∘}^{σF}}, alors R_{ψ}^{G^{∘}^{F} .σ} = ε_{ψ}E_{σ}(U_{π(ψ)}^{G^{∘}^{F}}).

Preuve. — Le théorème 5.6, appliqué avec (F, σF , π(ψ)) pour (σ′F^{m}, σ′′F, ψ) donne :

Sh_{F/σF} E_{σ}(U_{π(ψ)}^{G^{∘}^{F}}) = E_{σ^{−1}}Ω_{σF} (R_{π(ψ)}^{G^{∘}^{σF}}).

Vu nos hypothèses, le membre de droite de l’égalité ci-dessus peut se réécrire ε_{ψ}E_{σ^{−1}}(Ω_{σF} U_{ψ}^{G^{∘}^{σF}}) =

ε_{ψ}E_{σ^{−1}}(U_{ψ}^{G^{∘}^{σF}}).

En comparant avec la proposition 5.8, dont le membre de droite a la même valeur au signe ε_{ψ} près d’après la proposition 5.9, on obtient :

Sh_{F/σF} E_{σ}Ω_{F}^{2} E_{σ}^{−1}R_{ψ}^{G^{∘}^{F} .σ} = Sh_{F/σF} ε_{ψ}E_{σ}(U_{π(ψ)}^{G^{∘}^{F}}),

d’où le résultat (en utilisant cette fois dans G^{∘}^{F} le fait que ω_{U_{π(ψ)}^{G^{∘}^{F}}} = 1).

5.3 Cas général

Pour décrire la décomposition des R_{χ}^{G^{∘}^{F} .σ} et R_{χ}^{G^{∘}^{σF} .σ} en général (i.e., comment s’étendent les résultats 5.9 et 5.10 aux types D_{4}.3, ^{3}D_{4}.3, D_{l}.2, ^{2}D_{l}.2, E_{6}.2 et ^{2}E_{6}.2), nous devons d’abord rappeler la définition des “caractères fantômes”, et pour cela la division par Lusztig de E(G^{∘}^{F} , 1) et E(G^{∘}^{σF} , 1) en “familles”.

Nous gardons les notations des pages précédentes i.e., F est supposé déployé, G^{∘} quasi-simple et σ quasi-central rationnel non trivial. Lusztig [9, §4] définit une partition Irr(W) = ∐_{F∈Ξ(W)} F dont les parties sont appelées “familles”, et à chaque famille F associe un groupe Γ_{F} et l’ensemble

M(Γ_{F}) = {(x, χ) | x ∈ Γ_{F}, χ ∈ Irr(C_{Γ_{F}} (x))}/Γ_{F}-conjugaison,

puis il définit une bijection E(G^{∘}^{F} , 1) ≃ ∐_{F∈Ξ(W)} M(Γ_{F}) telle que l’application χ ↦

U_{χ}^{G^{∘}^{F}} définisse pour chaque F un plongement F ⊂ M(Γ_{F}).

Lusztig définit aussi un “coefficient de Fourier” {(x, χ), (y, ψ)} entre (x, χ) ∈ M(Γ_{F}) et (y, ψ) ∈ M(Γ_{F′}) par :

\{(x, χ), (y, ψ)\} = \{ \begin{matrix}|C_{Γ_{F}} (x)|^{−1}|C_{Γ_{F}} (y)|^{−1} ∑_{\{g∈Γ_{F} |[^{g}y,x]=1\}} \overline{χ(^{g}y)}ψ(^{g^{−1}}x), & si F = F′ \\ 0 & sinon \end{matrix}

Via l’identification entre E(G^{∘}^{F} , 1) et ∐_{F∈Ξ(W)} M(Γ_{F}) nous considérons que {, } définit

une forme bilinéaire sur l’espace \overline{ℚ}_{ℓ}E(G^{∘}^{F} , 1) des fonctions unipotentes sur G^{∘}^{F} et nous noterons T l’application linéaire correspondante, qui vérifie T^{−1} = T.

Lusztig démontre qu’il existe pour chaque ρ ∈ E(G^{∘}^{F} , 1) un signe ε_{ρ} tel que l’on ait ε_{ρ}{χ, ρ} = ⟨ R_{χ}^{G^{∘}^{F}} , ρ ⟩_{G^{∘}}^{F} (où {χ, ρ} est défini via le plongement F ⊂ M(Γ_{F}), ou si l’on

veut par {χ, ρ} = {U_{χ}^{G^{∘}^{F}} , ρ}). Ce signe ε_{ρ} est égal à 1 pour tous les groupes quasi-simples

de type différent de E_{7} ou E_{8}, donc dans notre cas il vaut 1 et nous avons T U_{χ}^{G^{∘}^{F}} = R_{χ}^{G^{∘}^{F}} (par définition, les “caractères fantômes” unipotents de G^{∘}^{F} sont les images par T des éléments de E(G^{∘}^{F} , 1)).

De façon analogue, Lusztig décrit une partition de E(G^{∘}^{σF} , 1) en familles qui est particulièrement simple à décrire sous notre hypothèse que G^{∘} est quasi-simple. Pour F ∈ Ξ(W)^{σ}, Lusztig définit une action de σ sur Γ_{F} (que nous noterons encore σ), compatible à l’action de σ sur Irr(W) à travers l’inclusion F ⊂ M(Γ_{F}), et un ensemble \overline{M}(Γ_{F} ⊂ Γ_{F}⋊<σ>), et définit une bijection E(G^{∘}^{σF} , 1) ≃ ∐_{F∈Ξ(W)^{σ}} \overline{M}(Γ_{F} ⊂ Γ_{F}⋊<σ>). Si G^{∘} est quasi-simple, l’action définie ci-dessus de σ sur Γ_{F} est triviale, et \overline{M}(Γ_{F} ⊂ Γ_{F}⋊<σ>) s’identifie à M(Γ_{F}); donc nous avons

E(G^{∘}^{σF} , 1) ≃ ∐_{F∈Ξ(W)^{σ}} M(Γ_{F}).

À nouveau, il existe pour chaque ρ ∈ E(G^{∘}^{σF} , 1) un signe ε_{ρ} tel que ε_{ρ}{χ, ρ} = ⟨ R_{χ}^{G^{∘}^{σF}} , ρ ⟩_{G^{∘}}^{σF} (attention! ce signe n’est pas égal au signe Δ(ρ) de [9, 4.23] car le coefficient de Fourier que nous utilisons, défini via l’identification de \overline{M}(Γ_{F} ⊂ Γ_{F}⋊<σ>) avec M(Γ_{F}), diffère de celui considéré par Lusztig par un signe, qui si ρ correspond à (x, χ) ∈ M(Γ_{F}) est associé au choix d’une extension de χ à C_{Γ_{F}} (x).<σ>; cf. [9, 4.18, 4.19]). Les caractères unipotents d’une famille σ-stable sont tous fixes par σ, donc on a encore

E(G^{∘}^{F} , 1)^{σ} ≃ ∐_{F∈Ξ(W)^{σ}} M(Γ_{F}),

ce qui donne une bijection entre E(G^{∘}^{σF} , 1) et E(G^{∘}^{F} , 1)^{σ}; nous noterons i l’isométrie entre les fonctions unipotentes sur G^{∘}^{σF} et l’espace de base E(G^{∘}^{F} , 1)^{σ} qui envoie ρ sur ε_{ρ}ρ′ où ρ′ est l’image de ρ par cette bijection (notons que si σ agit par un automorphisme intérieur sur le groupe de Weyl, l’application i coincide avec l’application de “dualité d’Ennola” décrite par exemple dans [2, theorem 3.3]). On a alors par définition

i^{−1}T U_{χ}^{G^{∘}^{F}} = R_{χ}^{G^{∘}^{σF}}

(par définition, les caractères fantômes de G^{∘}^{σF} sont les images par i^{−1}T des éléments de E(G^{∘}^{F} , 1)^{σ}). Avec les notations ci-dessus, nous avons :

Théorème 5.11. — Il existe un choix de l’extension E_{σ} tel que :

(i) R_{ψ}^{G^{∘}^{F} .σ} = ω_{i(U_{ψ}^{G^{∘}^{σF}} )}^{−1}E_{σ} ∘ T ∘ i(U_{ψ}^{G^{∘}^{σF}})

(ii) R_{ψ}^{G^{∘}^{σF} .σ} = E_{σ} ∘ i^{−1} ∘ T ∘ i(U_{ψ}^{G^{∘}^{σF}})

Dans les cas cités dans l’introduction de cette section, cet énoncé est une interprétation des résultats de G. Malle [10].

Preuve. — Cet énoncé n’est qu’une reformulation de 5.10 et de 5.9 dans le cas A_{n}. Nous allons utiliser un résultat d’Asai ([1]) qui s’applique dans les autres cas considérés, sauf pour une famille M(Γ_{F}) d’un groupe de type E_{6} telle que Γ_{F} ≃ 𝔖_{3}, où Asai n’a obtenu qu’un résultat incomplet. Nous faisons dans ce cas appel au résultat de G. Malle [10, Theorem 8] qui donne une formule pour la décomposition des R_{ψ}^{G^{∘}^{F} .σ} et R_{ψ}^{G^{∘}^{σF} .σ} dans les groupes de type E_{6} compatible avec le théorème ci-dessus, et nous supposerons dans la suite que Γ_{F} n’est pas isomorphe à 𝔖_{3}. Avec nos notations, le résultat d’Asai ([1, 6.2.1(iii)(*)] pour les groupes exceptionnels et [1, 6.2.3] pour D_{n}) s’écrit :

Ω_{F}^{−1} ∘ E_{σ}^{−1} ∘ Sh_{σF /F} ∘ inv ∘E_{σ} ∘ i^{−1} ∘ Ω_{F}^{−1} = T ∘ inv .

Asai donne ce résultat sous la condition que la caractéristique est bonne, mais cette condition provient de la même restriction dans l’énoncé de [1, (M4) dans la preuve de 6.2.1], que nous pouvons supprimer en remplaçant cet énoncé par 5.8. Nous allons utiliser la formule d’Asai sous la forme :

Sh_{σF /F} = E_{σ} ∘ Ω_{F} ∘ T ∘ inv ∘Ω_{F} ∘ i ∘ E_{σ}^{−1} ∘ inv  (5)

Le théorème 5.6, appliqué avec (σ′F^{m}, σ′′F) = (σF, F), donne :

Sh_{σF /F} E_{F} (U_{ψ}^{G^{∘}^{σF}}) = E_{σ}Ω_{F} E_{σ}^{−1}R_{ψ}^{G^{∘}^{F} .σ}  (6)

comparant (5) et (6) nous obtenons :

R_{ψ}^{G^{∘}^{F} .σ} = E_{σ} ∘ T ∘ inv ∘Ω_{F} ∘ i ∘ E_{σ}^{−1} ∘ inv ∘E_{F} (U_{ψ}^{G^{∘}^{σF}})

F agit comme l’inverse de σ sur G^{∘}^{σF}, donc pour un choix convenable de E_{σ}(U_{ψ}^{G^{∘}^{σF}}), on

a inv(E_{F} (U_{ψ}^{G^{∘}^{σF}})) = E_{σ}(inv(U_{ψ}^{G^{∘}^{σF}})); de plus, il est facile de voir d’après la définition de Ω_{F} que pour un élément quelconque γ ∈ Gal(\overline{ℚ}/ℚ) et un caractère ρ ∈ E(G^{∘}^{F} , 1) on a γω_{ρ} = ω_{^{γ}ρ}, donc en particulier inv ∘Ω_{F} = Ω_{F}^{−1} ∘ inv; et d’autre part i commute à l’action du groupe de Galois, donc en particulier à inv (car un élément γ ∈ Gal(\overline{ℚ}/ℚ) envoie le caractère unipotent paramétré par (x, χ) ∈ M(Γ_{F}) sur le caractère paramétré par (x,^{γ}χ), cf. [5, VII, 1.5(iv)]). Ces remarques montrent que l’égalité ci-dessus se simplifie pour donner le (i) du théorème.

Pour obtenir le (ii) du théorème nous allons appliquer 5.8 sous la forme :

R_{ψ}^{G^{∘}^{σF} .σ} = E_{σ}Ω_{σF}^{−2}E_{σ^{−1}}^{−1} Sh_{F/σF} E_{σ}Ω_{F}^{2} E_{σ}^{−1}R_{ψ}^{G^{∘}^{F} .σ},

ce qui donne, appliquant (i) et l’inverse de (5) et utilisant la commutation de inv à i, que E_{σ^{−1}}^{−1} ∘ inv = inv ∘E_{σ}^{−1} et que Ω_{F}^{−1} ∘ inv = inv ∘Ω_{F} :

R_{ψ}^{G^{∘}^{σF} .σ} = E_{σ} ∘ Ω_{σF}^{−2} ∘ i^{−1} ∘ Ω_{F} ∘ T ∘ Ω_{F} ∘ T ∘ Ω_{F}^{−1} ∘ i(U_{ψ}^{G^{∘}^{σF}}).

Nous utilisons maintenant la relation Ω_{F}^{−1} ∘ T ∘ Ω_{F} ∘ T ∘ Ω_{F}^{−1} = T ∘ inv (cf. [5, (1) p.126] ou [1, 6.1.3]) et obtenons :

R_{ψ}^{G^{∘}^{σF} .σ} = E_{σ} ∘ Ω_{σF}^{−2} ∘ i^{−1} ∘ Ω_{F}^{2} ∘ T ∘ inv ∘i(U_{ψ}^{G^{∘}^{σF}}).  (7)

Supposons d’abord que G^{∘}.σ n’est pas de type D_{4}.3. Alors pour tout caractère unipotent on a ω_{ρ}^{2} = ±1 : en effet, les caractères unipotents sont rationnels, donc leurs deux extensions à G^{∘}^{F} .σ (resp. G^{∘}^{σF} .σ) sont rationnelles, ou échangées (i.e., changées en leur opposé) par un élément γ ∈ Gal(\overline{ℚ}/ℚ). En utilisant ^{γ}ω_{ρ} = ω_{^{γ}ρ} cela donne ω_{ρ} ∈ {i, −i, 1, −1} d’où le résultat. Dans ces cas, en remplaçant l’extension E_{σ}(ρ) par l’extension ω_{ρ}ω_{i(ρ)}E_{σ}(ρ), on obtient le théorème.

Dans le cas D_{4}.3, remarquons que tout caractère unipotent ρ ∈ E(G^{∘}^{F} , 1)^{σ} (resp. ρ ∈ E(G^{∘}^{σF} , 1)) étant rationnel, une des 3 extensions de ρ à G^{∘}^{F} .σ (resp G^{∘}^{σF} .σ) est réelle, et pour ce choix d’extension on a ω_{ρ} = ±1 d’où ω_{ρ}^{2} = 1, et (7) donne directement le théorème.

BIBLIOGRAPHIE

[1] T. Asai, The unipotent class functions of exceptional groups over finite fields (Comm. in Algebra, n^{∘}12(22), 1984, pages 2729–2857).

[2] M. Broué, G. Malle et J. Michel, Generic blocks of finite reductive groups (, à paraître).

[3] P. Deligne et G. Lusztig, Representations of reductive groups over finite fields (Annals of Mathematics, n^{∘}103, 1976, pages 103–161).

[4] F. Digne, Shintani Descent and L Functions on Deligne-Lusztig Varieties (Proceedings of Symposia in Pure Mathematics, Volume 47, part 1, pages 61–68).

[5] F. Digne et J. Michel, Fonctions L des variétés de Deligne-Lusztig et descente de Shintani (Mémoires de la Société Mathématique de France, n^{∘} 20, 1985).

[6] F. Digne et J. Michel, Representations of finite groups of Lie type (London Math. Soc. Student Texts, n^{∘}21, Cambridge University Press 1991).

[7] F. Digne et J. Michel, Lusztig Functor and Shintani Descent (Rapports de Recherche du L.M.E.N.S., n^{∘}2, Publications du D.M.I., E.N.S., Paris 1989).

[8] J.E. Humphreys , Linear algebraic groups (Graduate Texts in Mathematics, n^{∘}21, Springer 1975).

[9] G. Lusztig, Characters of reductive groups over a finite field (Annals of math. studies, n^{∘}107, Princeton University Press, 1984).

[10] G. Malle, Generalized Deligne-Lusztig characters (Journal of Algebra, à paraître).

[11] T. Shoji, Shintani descent for exceptional groups over a finite field (J. Fac. Sci. Uni. Tokyo Sect. 1A, n^{∘}34, 1987, pages 599-653).

[12] N. Spaltenstein , Classes unipotentes et sous-groupes de Borel (Lecture Notes in Mathematics, n^{∘}946, Springer 1982).

[13] R. Steinberg, Endomorphisms of linear algebraic groups (Memoirs of AMS, n^{∘}80, 1968). (révisé le 21 Fevrier 1996)

François DIGNE, LAMIFA, Université de Picardie, 33, rue Saint-Leu, 80039 AMIENS Jean MICHEL, D.M.I., École Normale Supérieure, 45 , rue d’Ulm 75005 PARIS