An Introduction to Linear Algebra, livre ebook

Abstract algebra is an essential tool in algebra, number theory, geometry, topology, and, to a lesser extent, analysis. It is therefore a core requirement for all mathematics majors. Outside of mathematics, abstract algebra also has many applications in cryptography, coding theory, quantum chemistry, and physics. This book is intended as a textbook for a one-term senior undergraduate or gradate course in abstract algebra to prepare students for further readings on relevant subjects such as Group Theory and Galois Theory. Abstract algebra being the field of mathematics that studies algebraic structures such as groups, rings, fields, and modules, we will primarily study groups, rings, and fields in this book. The authors invite readers to experience the beauty of mathematics by studying Abstract algebra which offers not only opportunities to work on complex concepts and to develop one’s abstract reasoning abilities, but also a preliminary understanding of what it is like to do research in mathematics.

Chapter 1Linear Systems and Matrices . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . 1

1.1Introduction to Linear Systems and Matrices. . . . . . . . . . . . . . . . . .. . . . . . . . . .1

1.1.1Linear equations and linear systems . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . 1

1.1.2Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . 3

1.1.3Elementary row operations . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . 4

1.2Gauss-Jordan Elimination. . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . .5

1.2.1Reduced row-echelon form. . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . .5

1.2.2Gauss-Jordan elimination . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . 6

1.2.3Homogeneous linear systems . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . .9

1.3 MatrixOperations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . 11

1.3.1 Operations on matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . 11

1.3.2Partition of matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . .13

1.3.3Matrix product by columns and by rows . . . . . . . . . . . . . . . . . . . . .. . . . . . . 13

1.3.4Matrix product of partitioned matrices . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . 14

1.3.5Matrix form of a linear system . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . 15

1.3.6Transpose and trace of a matrix . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . 16

1.4 Rules of Matrix Operations and Inverses . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . 18

1.4.1 Basic properties of matrix operations . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . 19

1.4.2Identity matrix and zero matrix . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . 20

1.4.3Inverse of a matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . 21

1.4.4Powers of a matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . 23

1.5 Elementary Matrices and a Method for Finding A−1 . . . . . . . . . . . . . . .. . . . 24

1.5.1Elementary matrices and their properties . . . . . . . . . . . . . . . . . . .. . . . . . . . .24

1.5.2 Main theorem of invertibility . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . 26

1.5.3 A method for finding A−1 . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . .27

1.6 Further Results on Systems and Invertibility . . . . . . . . . . . . . . . . . . . . .. . . . . . 28

1.6.1 A basic theorem. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . .28

1.6.2Properties of invertible matrices . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . 29

1.7 Some Special Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . 31

1.7.1 Diagonal and triangular matrices . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . 32

1.7.2 Symmetric matrix . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

Exercises. . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .35

Chapter 2 Determinants. . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .42

2.1Determinant Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 42

2.1.1Permutation, inversion, and elementary product . . . . . . . . . . . . . . . .. . . . . 42

2.1.2Definition of determinant function . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . 44

2.2Evaluation of Determinants. . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . 44

2.2.1Elementary theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . 44

2.2.2 Amethod for evaluating determinants . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . 46

2.3Properties of Determinants . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . 46

2.3.1 Basic properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . 47

2.3.2Determinant of a matrix product . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . 48

2.3.3Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . 50

2.4Cofactor Expansions and Cramer’s Rule . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . 51

2.4.1Cofactors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . 51

2.4.2Cofactor expansions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . 51

2.4.3Adjoint of a matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . 53

2.4.4Cramer’s rule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 54

Exercises.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . .55

Chapter 3 Euclidean Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . 61

3.1Euclidean n-Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . 61

3.1.1n-vector space. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .61

3.1.2Euclidean n-space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . 62

3.1.3 Norm,distance, angle, and orthogonality . . . . . . . . . . . . . . . . . . . . . .. . . . . . 63

3.1.4 Some remarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . 65

3.2 LinearTransformations from Rn to Rm . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . .66

3.2.1Linear transformations from Rn to Rm . . . . . . . . . . . . . . . . . . . . .. . . . . . . . 66

3.2.2 Some important linear transformations . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . 67

3.2.3Compositions of linear transformations . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . 69

3.3Properties of Transformations. . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . .70

3.3.1Linearity conditions . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . 70

3.3.2Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . .71

3.3.3One-to-one transformations . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . 72

3.3.4Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . 73

Exercises.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . .74

Chapter 4General Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . 79

4.1 Real Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . 79

4.1.1Vector space axioms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . 79

4.1.2 Some properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . 81

4.2Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . 81

4.2.1Definition of subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . 82

4.2.2Linear combinations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . 83

4.3 Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . 85

4.3.1Linear independence and linear dependence. . . . . . . . . . . . . . . . . . .. . . . . . .86

4.3.2 Some theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . 87

4.4 Basis and Dimension. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . .88

4.4.1 Basis for vector space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . 88

4.4.2Coordinates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . .89

4.4.3Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . 91

4.4.4 Some fundamental theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . .93

4.4.5Dimension theorem for subspaces . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . 95

4.5 RowSpace, Column Space, and Nullspace. . . . . . . . . . . . . . . . . . . . . . .. . . . . . .97

4.5.1Definition of row space, column space, and nullspace . . . . . . . . . . . . .. . . . 97

4.5.2Relation between solutions of Ax = 0 and Ax = b . . . . . . . . . . . . . . . .. . . 98

4.5.3 Bases for three spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . 100

4.5.4 Aprocedure for finding a basis for span(S). . . . . . . . . . . . . . . . . . .. . . . . . 102

4.6 Rank and Nullity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . 103

4.6.1 Rank and nullity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . 104

4.6.2 Rank for matrix operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . 106

4.6.3Consistency theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . .107

4.6.4Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 109

Exercises .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . 110

Chapter 5 Inner Product Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . 115

5.1 Inner Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 115

5.1.1General inner products . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . 115

5.1.2Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . .116

5.2 Angle and Orthogonality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . 119

5.2.1 Angle between two vectors and orthogonality . . . . . . . . . . . . . . . . . . . . .. . 119

5.2.2Properties of length, distance, and orthogonality . . . . . . . . . . . . . . .. . . . . 120

5.2.3Complement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . 121

5.3Orthogonal Bases and Gram-Schmidt Process. . . . . . . . . . . . . . . . . . .. . . . . . 122

5.3.1Orthogonal and orthonormal bases . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . 122

5.3.2Projection theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . 125

5.3.3Gram-Schmidt process . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . .128

5.3.4QR-decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . 130

5.4 Best Approximation and Least Squares . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . 133

5.4.1Orthogonal projections viewed as approximations . . . . . . . . . . . . . . . .. . . 134

5.4.2 Least squares solutions of linear systems . . . . . . . . . . . . . . . . . . . . . .. . . . . 135

5.4.3Uniqueness of least squares solutions . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . .136

5.5Orthogonal Matrices and Change of Basis. . . . . . . . . . . . . . . . . . . .. . . . . . . . .138

5.5.1Orthogonal matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . 138

5.5.2Change of basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . 140

Exercises .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . 144

Chapter 6 Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . 149

6.1Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . 149

6.1.1 Introduction to eigenvalues and eigenvectors . . . . . . . . . . . . . . . . . . . . . . . .149

6.1.2 Two theorems concerned with eigenvalues . . . . . . . . . . . . . . . . . . . . . .. . . . 150

6.1.3 Bases for eigenspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . 151

6.2Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . 152

6.2.1Diagonalization problem . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . 152

6.2.2Procedure for diagonalization . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . 153

6.2.3 Two theorems concerned with diagonalization . . . . . . . . . . . . . . . . . . . .. . 155

6.3 Orthogonal Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . 156

6.4 Jordan Decomposition Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . 160

Exercises .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . 162

Chapter 7 Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . 166

7.1 GeneralLinear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . 166

7.1.1Introduction to linear transformations . . . . . . . . . . . . . . . . . . . .. . . . . . . . . 166

7.1.2Compositions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . 169

7.2 Kernel and Range . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . 170

7.2.1Kernel and range . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . .170

7.2.2 Rank and nullity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . 172

7.2.3Dimension theorem for linear transformations . . . . . . . . . . . . . . . . .. . . . . 173

7.3 Inverse Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . 174

7.3.1One-to-one and onto linear transformations . . . . . . . . . . . . . . . . . .. . . . . . .174

7.3.2Inverse linear transformations . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . 176

7.4Matrices of General Linear Transformations. . . . . . . . . . . . . . . . . . .. . . . . . . .177

7.4.1Matrices of linear transformations . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . 177

7.4.2Matrices of compositions and inverse transformations . . . . . . . . . . . . .. . 181

7.5Similarity. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . .182

Exercises .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . 184

Chapter 8Additional Topics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . 190

8.1Quadratic Forms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . 190

8.1.1Introduction to quadratic forms . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . 190

8.1.2Constrained extremum problem . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . 191

8.1.3Positive definite matrix . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . 193

8.2 ThreeTheorems for Symmetric Matrices. . . . . . . . . . . . . . . . . . . . . . . .. . . . . . 194

8.3 Complex Inner Product Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . 198

8.3.1Complex numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . 198

8.3.2Complex inner product spaces . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . 200

8.4Hermitian Matrices and Unitary Matrices. . . . . . . . . . . . . . . . . . . .. . . . . . . . . 201

8.5 Böttcher-Wenzel Conjecture . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . 204

8.5.1Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 205

8.5.2 Proof of the Böttcher-Wenzel conjecture . . . . . . . . . . . . . . . . . . . . . . .. . . . 205

Exercises . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 209

Appendix A Independence of Axioms . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . 214

Bibliography . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .217

Index . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . 219