Résumé de thèse (soutenue le 5 octobre 2001)

Représentations de Gelfand-Graev et correspondance de Springer dans les groupes réductifs non connexes.

L’objet de cette thèse est l’étude des groupes réductifs non connexes de la forme G̃ = G.⟨σ⟩, où G est un groupe réductif connexe et σ un automorphisme extérieur du groupe G. Il s’inscrit dans le fil des travaux de F. Digne et J. Michel (“ Groupes réductifs non connexes ”, Annales scientifiques de l’Ecole Normale Supérieure, 4e série, t. 27, 1994) qui ont développé une théorie de Deligne-Lusztig dans le cadre des groupes réductifs non connexes. Ils ont montré que pour étudier les foncteurs de Deligne-Lusztig, on pouvait se ramener à l’étude de ces foncteurs dans une composante connexe de la forme G.σ, où G est un groupe réductif connexe et σ un automorphisme de G.

Deux thèmes principaux sont abordés dans cette thèse, dans le cadre des groupes réductifs non connexes, d’une part la généralisation de la définition des représentations de Gelfand-Graev, et d’autre part, l’établissement de l’analogue de la correspondance de Springer. Tout au long de ce travail, l’automorphisme σ est supposé quasi-central, c’est-à-dire que σ est quasisemi-simple et on a dim(G^{σ}) > dim(G^{σ′}) pour tout automorphisme quasi-semi-simple σ′ de G qui diffère de σ par conjugaison par un élément de G. Ici, un automorphisme de G est dit quasi-semi-simple s’il stabilise un couple formé par un tore maximal inclus dans un sous-groupe de Borel du groupe réductif connexe G (si G = GL(n) l’ensemble B des matrices triangulaires supérieures est un sous-groupe de Borel de G et l’ensemble T des matrices diagonales est un tore maximal inclus dans B, de plus, l’automorphisme σ de G, qui à toute matrice A associe la matrice symétrique de A^{−1} par rapport à la deuxième diagonale, stabilise à la fois T et B et est donc quasi-semi-simple).

Ce mémoire de thèse comporte trois parties. Dans la première, sont données des généralités sur les groupes réductifs non connexes. On s’intéresse particulièrement aux éléments réguliers dans un tel groupe (un élément x d’un groupe réductif non connexe est dit régulier si la dimension de son centralisateur est minimale parmi les éléments de la composante connexe qui le contient).

La deuxième partie est consacrée aux représentations de Gelfand-Graev. On suppose que G est un groupe réductif connexe sur un corps algébriquement clos K de caractéristique p et défini sur 𝔽_{q}, où q = p^{n}. Soit F l’endomorphisme de Frobenius correspondant. On généralise la définition des représentations de Gelfand-Graev à des groupes finis de la forme G^{F} .⟨σ⟩ dans le cas où σ est un automorphisme unipotent quasi-central F -stable et dans le cas où σ est un automorphisme semi-simple quasi-central F -stable. On fixe un couple T ⊂ B formé d’un tore et d’un sous-groupe de Borel σ-stables F -stables de G, et on note U le radical unipotent de B. Dans le cas du groupe réductif connexe G, les représentations de Gelfand-Graev de G sont définies comme l’induit de U^{F} à G^{F} de caractères particuliers de U^{F}, appelés caractères réguliers. On définit les caractères réguliers de U^{F} .⟨σ⟩ comme extensions de caractères réguliers de U^{F}. Dans le cas où σ est unipotent, les représentations de Gelfand-Graev σ-stables de G^{F} sont induites de caractères réguliers σ-stables de U^{F}. On définit donc un caractère de Gelfand-Graev comme l’induit de U^{F} .⟨σ⟩ à G^{F} .⟨σ⟩ d’un caractère régulier de U^{F} .⟨σ⟩. Dans le cas semi-simple, la définition est un peu plus complexe car il existe des représentations de Gelfand-Graev σ-stables de G^{F} qui ne sont pas l’induit de caractères réguliers σ-stables de U^{F}. Les représentations de Gelfand-Graev ainsi définies vérifient des propriétés analogues à celles existant dans le cas connexe. On montre ensuite comment on peut utiliser les représentations de Gelfand-Graev pour calculer les valeurs moyennes de caractères irréductibles de G^{F} .⟨σ⟩ sur un ensemble de classes de conjugaison.

Dans la troisième partie, il est question de la correspondance de Springer. C’est un sujet qui a été souvent abordé, selon diverses approches, dans le cadre des groupes réductifs connexes. La correspondance de Springer pour le groupe réductif connexe G est une bijection entre certains couples (u, ρ), où u représente une G-classe unipotente de G et ρ est une représentation irréductible de A_{G}(u) = C_{G}(u)/C_{G}(u)^{0} et o on note C_{G}(u) le centralisateur de u dans G, et les représentations irréductibles du groupe de Weyl de G. L’un des exemples les plus simples de cette correspondance est sans doute la bijection qui existe entre l’ensemble des classes unipotentes de GL(n) (la classe de conjugaison d’une matrice unipotente est paramétrée par la partition de n donnée par la forme canonique de Jordan de cette matrice) et l’ensemble des caractères irréductibles du groupe de Weyl de GL(n), c’est-à-dire, du groupe symétrique S_{n} (cet ensemble étant lui aussi paramétré par les partitions de n).

On établit dans ce mémoire l’analogue de la correspondance de Springer pour une composante connexe G.σ, où σ est un automorphisme unipotent quasi-central de G. Il s’agit alors d’une bijection entre certains couples (u.σ, ρ), où u.σ représente une G-classe unipotente de G^{1} = G.σ et ρ est une représentation irréductible de A_{G}(u.σ) = C_{G}(u.σ)/C_{G}(u.σ)^{0} et o on note C_{G}(u.σ) le centralisateur de u.σ dans G, et les représentations irréductibles du groupe de Weyl du groupe G^{σ} des points de G fixes par σ (c’est un groupe réductif connexe car σ est unipotent quasi-central). Cette correspondance induit une application injective de l’ensemble des classes unipotentes de G.σ dans l’ensemble des représentations irréductibles du groupe de Weyl de G^{σ}. On démontre ensuite des propriétés de cette correspondance qui devraient fournir des indications essentielles pour la calculer explicitement.