群表示论用具体的线性群（矩阵群）来描述群的理论，是研究群的最有力的工具之一。在19世纪末和20世纪初它由F.G.弗罗贝尼乌斯和W.伯恩赛德独立开创，而弗罗贝尼乌斯的工作则由I.舒尔所改善和简化。

在群论中，群表示论（group representation theory）是一个非常重要的理论。它包含了（局部）紧致群、李群、李代数及群概形的表示等种种分支，近来无限维表示理论也渐露头角。表示理论在量子物理与数学的各领域中均有重要应用。

群表示论早期是借矩阵的语言描述的，具体定义如下：

如果任何非零方阵的集合的乘法关系和给定群的乘法关系相同，则这个矩阵集合形成群的一个表示，这套矩阵的阶称为表示的维数。 如果两个同维表示的矩阵以同一相似变换相关联，则称这两个表示是等价的。 如果任何维数大于一的表示的所有矩阵都可以用相同的相似变换转换为相同的块对角矩阵结构，则称此表示为可约表示，反之称为不可约表示。 形式地说，一个群G的表示乃一同态 ，其中V为给定的有限维向量空间，系数布于一个域F，通常取R或C，但在一般域（如局部域或有限域）上的表示也有重要应用。GL(V)表从V上的自同构，或对一给定的基底来说，是阶可逆方阵的集合。若Ker(ρ)是平凡的，则称此表现是忠实的。

若所考虑的群G带有额外的结构（如拓扑群、李群或群概形），我们通常要求ρ满足相应的条件（如连续性、可微性或者要求它是概形间的态射）；在有限群及紧致群以外的情况，通常也须考虑无穷维表示。

一个群G的所有有限维表示构成一个张量范畴，记为RepG；其态射定义如下：

它等价于有限维F[G]-模所构成的范畴。不难验证表示间的同构确由矩阵的相似变换给出。一个表示被称作不可约的，当且仅当它没有在G的作用下不变的非平凡子空间。若一个表现能表成不可约表示的直和，则称之为完全可约的。若取，则紧致群的表示均为完全可约的，对于一般的李群及群概形则复杂得多，完全可约与否通常与半单性有关。

设G是有限群，V是复数域 C上的有限维向量空间，GL（V）是V上全体可逆线性变换所组成的群。从G 映入GL(V)的一个同态称为G的一个表示，而V称为ρ的表示空间。设U是V的一个子空间，若（见公式2），则称U是V（关于ρ）的一个不变子空间，这时ρ(g)在U上的限制就给出G的一个表示。如果没有非零真不变子空间，就说V是不可约表示空间，而ρ称为G的不可约表示；否则就说V和ρ是可约的。如果V有不可约不变子空间V1,V2,…,Vr使V是它们的直和即V=V1+V2+…+Vr，就说ρ 是完全可约的。这时，若ρi（g）=ρ（g）∣vi，则记（见公式4）,并说ρ分解成不可约表示ρ1,ρ2,…，ρr的和。有限群表示论的一个重要结果即马施克定理：有限群的任一表示都是完全可约的。因此，研究有限群的表示只要研究它的不可约表示就够了。

设ρ:G→GL(V)是有限群G的一个表示。如果选V的一个基υ1,υ2…,υn,并令（见公式5）

那么映射（见公式6）,g∈G,就是从G映入GLn(C)的同态，称为与ρ相应的G的矩阵表示。设相应于V的两个基，ρ分别相应矩阵表示则有可逆矩阵p使（见公式7）。（p实际上是V的两个基的转换矩阵），这时就说这两个矩阵表示是等价的。

设ρ1和ρ2 是有限群 G的两个表示，表示空间分别是V1和 V2，如果有可逆线性映射 φ:V1→V2使φ（ρ1（g）v1）= ρ2（g）φ（v1）,υ1∈V1，g∈G，就说ρ1和ρ2是等价的。显然，两个表示等价，当且仅当它们相应的矩阵表示是等价的。等价的表示并不视为有什么本质区别。

设H是有限群G的子群,x1,x2,…,xk是H在G中一左陪集代表系，ρ是H的一个表示。那么，对每个g∈G规定ρG：（见公式8）,式中（见公式9）ρG是G的一个表示，即所谓ρ的诱导表示。设ρ和ψ是G的两个表示，规定，其中ρ(g)圱ψ(g)是矩阵ρ(g)和ψ(g)的克罗内克乘积，ρ圱ψ也是G的一个表示，即表示 ρ 与 ψ 的张量积。所谓 m×m 矩阵和n×n矩阵 的克罗内克乘积(张量积),是指。它是一个mn×mn矩阵。例如，当m=2，n=3时，（见公式10）设ρ：G→GL(V)是有限群G的一个表示。令χρ（g）=Trρ（g）,,则Ⅹρ是定义在G上的函数。显然它在G的共轭类上取相同的值,因此Ⅹρ是G的类函数,Ⅹρ称为表示ρ的特征标。当ρ不可约时,Ⅹρ称为不可约特征标。特征标实际上确定了表示,可以证明，两个表示等价,当且仅当它们的特征标相等。利用特征标还可以证明,G只有有限个不同的不可约特征标,其个数恰好等于G的共轭类的个数。因此研究有限群的不可约特征标是有重要意义的。关于不可约特征标有所谓正交关系，即设Ⅹ1,Ⅹ2,…,Ⅹc是G的不同的不可约特征标，g1,g2,…,gc是G的所有的不同的共轭类中的代表元,而h1,h2,…,hc是这些共轭类中元素个数，则有（见公式11、12） ,式中δij为克罗内克符号。

诱导表示的特征标称为诱导特征标。表示的张量积的特征标是相应特征标的乘积。诱导特征标及与其有关的弗罗贝尼乌斯互反律和特征标乘积的分解，是表示论的主要工具。所谓弗罗贝尼乌斯互反律，即若ρ与ψ分别为G与H的不可约表示,则ψ在ρH(即ρ限制到H上)的完全分解中出现的重数等于ρ在诱导表示 ψG的完全分解中出现的重数。 　对任意域F亦可象对复数域C那样定义表示空间、表示及特征标等。若F的特征不整除有限群G的阶，则仍然有表示的完全可约性,如果F 同时还是代数封闭的,那么用F代替C，以上的讨论成立。以n记有限群G的所有元素的阶的最小公倍数。H.马施克于1898年曾猜想G 的所有不可约表示皆可在n次分圆域Q(ξn)(ξn为n次本原单位根)中实现, 即如果Ⅹ是G的一个(在复数域C上的)不可约特征标，那么存在一个矩阵表示, 其特征标即Ⅹ 。R.（D.）布饶尔在1945年证明了这个猜想。

将群表示论应用于有限群的研究，最早的最著名的结果是伯恩赛德定理：阶为pαqβ的群是可解群，这里p、q是相异素数,α、β是非负整数。近年来这个定理虽已有了抽象群论的证明，但不如用表示论的原证简捷。

20世纪20年代，E.诺特强调了“模”这一代数结构的重要性,她把有限群G的表示ρ：G→GL(V)的表示空间V看成一个双模，即除了域F的元素作为算子（即V到V的自同态）外，还容许群环F【G】的元素g1,g2,…,gn是G的全部元素作为算子（见公式13）：

并且适合条件（见公式14、15） 的模。反之，给定一个有限维F【G】的模V，显然每个g∈G在V上引起一个可逆线性变换，由此得到G的一个表示。对于F【G】的模，可以与上文完全平行地定义可约性、不可约性及完全可约性。一个F【G】的模是可约的或不可约的或完全可约的,当且仅当G的相应的表示是可约的或不可约的或完全可约的。所谓一个代数A是半单的,是指所有的A模都是完全可约的。因此群代数F【G】是半单的。这样，E.诺特就将代数结构论和群表示论融合为一，推进了这两个分支的发展。

近50年来，布饶尔将群表示论的研究大为深化，他引进了模表示论，研究了群阶除尽域的特征的域上的表示,以及模表示与常表示（即C上的表示）的关系，而群表示论在有限群结构理论中起着日益重要的作用。在这方面的第一个重要结果是费特－汤姆森证明了有长期历史的伯恩赛德猜想：奇数阶群都是可解群。近年来则导致了有限单群分类问题的解决。（见有限单群）

有限群的表示论已推广到无限群，特别是局部紧拓扑群，这成为近代分析的一个主要领域，推广了经典的傅里叶分析。群表示论在理论物理和量子力学中有重要的应用。

给定G的一个表示，可以得到一个特征标，它是个类函数。特征标理论在有限群分类中占关键地位；在紧致群上，特征标满足舒尔正交关系，又根据彼得-外尔定理，不可约表现的特征标相对于 范数在类函数中稠密。请参见特征标理论。

设H为G之子群，函子（限制）与（诱导）。

若为G的表示，则ρ限制于H给出H的表示，记为。 若为H的表示，我们定义。G以右乘法作用在V上。V仍是有限维，记此表示为。 诱导表示亦可用矩阵直接计算，或定义为某个主齐性空间的截面；后者可推广至李群与群概形的表示，此时诱导表示的性状与G / H的几何构造密切相关。

弗罗贝尼乌斯互反定理言明：若V,W分别为G,H的表示，则有自然的同构。换言之：为一对伴随函子。

若以特征标表之，上述同构化为一个较弱但较具体的等式。

任意一个群G都自然地作用在其群代数上，称为正则表现。 对称群Sn以作用在上。 以作用于m次调和多项式上。

迄今已知的物理定律通常在某个李群的作用下保持不变，如空间的旋转群SO(3)或其覆盖Spin(3)，其不可约表示关系到角动量的量子化。进一步的例子是：任何与狭义相对论相容的量子力学系统都带有G: = AH（半直积）的酉表示，其中A是时空的平移而H是 劳仑兹变换群，藉著研究G的不可约酉表示，可分类粒子的质量和自旋。