Important Announcement
PubHTML5 Scheduled Server Maintenance on (GMT) Sunday, June 26th, 2:00 am - 8:00 am.
PubHTML5 site will be inoperative during the times indicated!

Home Explore Linear Algebra Lecture Notes

Linear Algebra Lecture Notes

Published by Fairuz Shohaimay, 2019-08-11 07:23:40

Description: Compilation of Lecture Notes for Linear Algebra I
Intended for use by CS110 and CS111 UiTM Kampus Raub only

Search

Read the Text Version

8. Vector magnitude: The magnitude or length of a vector is represented by ‖������‖. • In 2-space, the magnitude of a vector ������ = (������, ������) is ‖������‖ = Y������> + ������> • In 3-space, the magnitude of a vector ������ = (������, ������, ������) is ‖������‖ = Y������> + ������> + ������> • In ������-space or ������K, the magnitude of a vector ������ = (������=, ������>, . . . , ������K) is ‖������‖ = [������=>+������>> + . . . + ������A> Example 4.3 b) ‖2������ − ������‖ If ������ = (2, − 1, 8) and ������ = (−1, 3, 2), find a) ‖3������‖ Example 4.4 Find the magnitude of the vector &���&���&&���&⃗��� whose initial point ������ is at (1, 1) and end point ������ is at (5, 3). 95

9. Direction of a Vector: The direction of a vector is the measure of the angle it makes with a horizontal line. ������(������, ������) ������ tan ������ = ������ for 0 ≤ ������ ≤ 2������ ������ ������ ������ Example 4.5 Find the direction of the vector (3,3). Example 4.6 Find the direction of the vector ���&&���&&���&⃗��� whose initial point ������ is at (2,3) and end point ������ is at (5,8). 96

10. Unit Vector: A unit vector is a vector that has a magnitude of 1. ‖������‖ = 1 • A unit vector in the same direction as a nonzero vector ������ is ������ = ������ ‖������‖ • A unit vector in the opposite direction as a nonzero vector ������ is ������ = − ������ ‖������‖ Example 4.7 Given the vector ������ = (3, − 2). Determine whether this is a unit vector. If it is not, find a unit vector which shares the same direction as ������. Example 4.8 Find a vector of magnitude 3 in the opposite direction of vector ������ = (1, −2, 1). 97

11. Standard Unit Vector: A unit vector that begins from the origin. ������ ������ In 3-space: In 2-space: ������ = (1, 0, 0) ������ = (1, 0) ������ = (0, 1, 0) ������ = (0, 1) ������ ������ = (0, 0, 1) ������ ������ ������ ������ ������ ������ ������ Standard unit vector in ������K Standard unit vector in ������A • Any vector ������ = (������, ������) can be written in the standard unit vectors ������ = ������(1, 0) + ������(0, 1) = ������������ + ������������ Note: If the vector is written in the vector column form, the standard vector is labelled as ������������. 12. Dot Product: Let ������ = (������=, ������>, . . . , ������j) and ������ = (������=, ������>, . . . , ������j) be any two vectors in ������-space. The dot product between ������ and ������ is a real number defined by ������ • ������ = ������=������= + ������>������> + . . . + ������K������K Example 4.9 Find ������ • ������ of the following vectors. a) ������ = (2, − 3), ������ = (−8, 1) b) ������ = (−1, 0, 1), ������ = (0, 2, 5) 98

13. Angle between Vectors: The angle ������ (0 ≤ ������ ≤ ������) between two vectors ������ and ������ can be calculated by cos θ = ������ • ������ ‖������‖ ∙ ‖������‖ Example 4.10 If ������ = (1, −2, 3), ������ = (3, −4, 2) and ������ = (1, 2, 1), find the angle between a) ������ and ������ b) ������ and ������ c) ������ and ������ 99

14. Orthogonal: Two vectors are said to be orthogonal if ������ • ������ = 0; that is, the angle between ������ and ������ is a right angle. Example 4.11 Find the value(s) of scalar ������ such that the vectors ������ = (1, −2������, 3) and ������ = (−3, 4������, 2) are orthogonal. Example 4.12 March 2015 Q4(a) (2 marks) (3 marks) Let ������ = (1, 0, 3) and ������ = (2, 4, 1). i) Are ������ and ������ orthogonal? Explain your answer. ii) Find the vector ������ with magnitude 4 and the opposite direction of ������. 100

Example 4.13 September 2015 Q4(a) Let ������ = (1, 0, ������>) and ������ = (−4, 1, 1). Find the values of the constant ������ such that the angle between ������ and ������ is ������/2. (5 marks) Example 4.14 March 2017 Q4(a) Let ������ = (−1, 2, 3) and ������ = (0, 4, −5). Find the angle between ������ and ������. (5 marks) 101

4.2 Real Vector Spaces 1. Vector space: A nonempty set where all the objects consists of vectors and scalars. Example of vector spaces • The set of real numbers, ℝ • The set of vectors in plane, ℝ> • The set of vectors in space, ℝA • The set of vectors in ������-space, ℝK • The set of ������ × ������ matrices, ℳ{×K 2. Closed under Addition: For every vectors ������, ������ ∈ ������, then ������ + ������ ∈ ������. 3. Closed under Scalar Multiplication: For every vector ������ ∈ ������ and scalar ������ ∈ ℝ, then ������������ ∈ ������. Example 4.15 Let ������ = {(������, 1)| ������ ∈ ℝ} be a set of ordered pairs in ℝ>. Determine whether ������ is closed under addition and scalar multiplication. Let ������ = (������, 1) and ������ = (������, 1), for ������, ������ ∈ ������. ������ + ������ = (������, 1) + (������, 1) = .(������ + ������), 1 + 10 = .(������ + ������), 20 Since ������ + ������ ∉ ������, then ������ is not closed under addition. Let ������ = (������, 1) for ������ ∈ ������ and a scalar ������ ∈ ������. ������������ = ������(������, 1) = .������(������), ������(1)0 = (������������, ������) Since ������������ ∉ ������, then ������ is not closed under scalar multiplication. 102

4. A vector space, ������ (with addition and scalar multiplication defined on it) satisfies the following axioms. Let vectors ������, ������, ������ ∈ ������ and scalars ������, ������ ∈ ℝ. A1 ������ + ������ ∈ ������ ������ is closed under addition A2 ������ + ������ = ������ + ������ Commutative law A3 ������ + (������ + ������) = (������ + ������) + ������ Associative law There exists ������ ∈ ������, such that Additive identity A4 Additive inverse ������ + ������ = ������ + ������ = ������, for all ������ ∈ ������ There exists −������ ∈ ������, such that A5 ������ + (−������) = (−������) + ������ = ������, for all ������ ∈ ������ A6 ������������ ∈ ������ ������ is closed under scalar multiplication A7 ������(������ + ������) = ������������ + ������������ Distributive law A8 (������ + ������)������ = ������������ + ������������ Distributive law A9 ������(������������) = (������������)������ Associative law A10 1������ = ������, for all ������ ∈ ������ Example 4.16 Let ������ be a set of ordered pairs with the addition and scalar multiplication operation defined as follows: (������, ������) + (������, ������) = (������������, ������) ������(������, ������) = (������������, ������������), ������ is a scalar If ������, ������, ������ ∈ ������, determine whether the following axioms hold or fail. a) ������ + (������ + ������) = (������ + ������) + ������ Let ������ = (������, ������), ������ = (������, ������), and ������ = (������, ������) RHS LHS (������ + ������) + ������ = .(������, ������) + (������, ������)0 + (������, ������) = (������������, ������) + (������, ������) ������ + (������ + ������) = (������, ������) + .(������, ������) + (������, ������)0 = (������������������, ������) = (������, ������) + (������������, ������) = (������������������, ������) Since LHS = RHS, therefore the axiom holds. 103

b) ������(������ + ������) = ������������ + ������������ c) (������ + ������)������ = ������������ + ������������ 104

Example 4.17 Let W be a set of matrices in ℳ>ˆ> with the addition and scalar multiplication operation defined as follows. 9������������ ������������: + ‰������������ ���ℎ���Œ = ‰������������ ������ + ���ℎ���Œ ������ + ������ 9������������ ������������: = 9������0������ ������0������: , ������ is a scalar If ������ + ������ ∈ ������, determine whether the following axiom hold. ������(������ + ������) = ������������ + ������������ 105

Example 4.18 Let P> be the set of polynomials of degree less than or equal to two with the operation of addition and scalar multiplication as follows. (������= + ������=������ + ������=������>) + (������> + ������>������ + ������>������>) = (������= + ������>) + (������=������>)������ + (������=+������>)������> ������(������= + ������=������ + ������=������>) = ������������= + ������������=������ + ������������=������> If ������ and ������ are in P>, determine whether the following axiom is satisfied. ������(������ + ������) = ������������ + ������������ 106

4.3 Subspaces ������ ������ 1. Subspace: Let ������ be a subset of a vector space ������. ������ is a subspace of ������ if • ������ is closed under addition, and • ������ is closed under scalar multiplication Example 4.19 Determine whether the set ������ = “9������������ 0������: ”������ = −2������; ������, ������, ������ ∈ ℝ• is a subspace of M>ˆ>. Condition I: ������ closed under addition Let ������ = 9������������ 0������: , ������ = −2������ and ������ = ‰������������ ���0���Œ , ������ = −2������. ������ + ������ = 9������������ 0������: + ‰������������ ���0���Œ = ‰������������ + ������ 0 + ���0���Œ + ������ ������ + Is ������ + ������ = −2(������ + ������)? ������ + ������ = −2������ + (−2������) = −2������ − 2������ = −2(������ + ������) Since ������ + ������ ∈ ������, therefore ������ is closed under addition. Condition II: ������ is closed under scalar multiplication Let ������ = 9������������ 0������: , ������ = −2������ and ������ is a scalar. ������������ = ������ 9������������ 0������: = 9������������������������ ���0���������: Is ������������ = −2������������? ������������ = ������(−2������) = −2������������ Since ������������ ∈ ������, therefore ������ is closed under scalar multiplication. Therefore, ������ is a subspace of M>ˆ>. 107

Example 4.20 Determine whether the set ������ = “������ + ������������ + ������������>”=> ������ − ������ = 3; ������, ������, ������ ∈ ℝ• is a subspace of P>, where P> is the set of all polynomials of degree less than or equal to two. 108

Example 4.21 Let ������ = {(������, ������, 2������)| ������ + ������ = 1, ������, ������ ∈ ℝ}. Determine whether ������ is a subspace of ℝA. Example 4.22 September 2015 Q4(c) ������= Determine whether the set ������ = —˜������>™ , ������= + ������A = 3������=š is a subspace of MA×=. ������A (5 marks) 109

Example 4.23 March 2016 Q4(c) Determine whether the set ������ = {(������ + ������������ + ������������>), ������������ = −2, ������, ������, ������ ∈ ℝ} is a subspace of P>. (5 marks) Example 4.24 October 2016 Q4(c) Determine whether the set ������ = “9������������ ������������: , ������ = 2������, ������, ������, ������, ������ ∈ ℝ• is a subspace of M>×>. (5 marks) 110

4.4 Spanning Set and Linear Independence 1. Linear Combinations: Let ������ = {������=, ������>, … , ������K} be a nonempty subset of a vector space ������. A vector ������ in ������ is a linear combination of the vectors in ������ if it can be written in the form ������=������= + ������>������> + ⋯ + ������K������K = ������ where ������=, ������>, … , ������K are scalars Example 4.25 Let ������ = (2, 3), ������ = (−4, 0) and ������ = (9, −7) 2������ + ������ − 3������ = 2(2, 3) + (−4, 0) − 3(9, −7) = (4, 6) + (−4, 0) − (27, −21) = (4 − 4 − 27, 6 + 0 + 21) = (−27, 27) (−27, 27) is a linear combination of ������, ������ and ������. Example 4.26 Determine whether (5, −13) is a linear combination of ������ = {(4, −3), (3, 7)}. 111

Example 4.27 Determine if 930 40: is a linear combination of ������ = 910 11: , ������ = 9−21 00: , ������ = 901 31: 112

Example 4.28 Determine if (0, 3, −17) is a linear combination of ������ = {(1, −2, 4), (2, 5, 7), (1, 4, 0)}. 113

Example 4.29 Express the polynomial ������ = ������> + 4������ − 3 as a linear combination of the polynomials ������ = ������> − 2������ + 5, ������ = 2������> − 3������, ������ = ������ + 1 114

Example 4.30 Express the matrix ������ = 903 40: as a linear combination of the matrices ������ = 974 79: , ������ = 931 24: , ������ = 941 51:. 115

2. Spanning Set: Let ������ = {������=, ������>, … , ������K} be a nonempty subset of a vector space ������. The set ������ spans ������ if any vector ������ in ������ is a linear combination of ������. ������=������= + ������>������> + ⋯ + ������K������K = ������ (any vector) where ������=, ������>, … , ������K are scalars. Vector space Any vector ℝK ������ = (������=, ������>, … , ������K) PK ������ = ������¤ + ������=������ + ������>������> + ⋯ + ������K������K ������== ������=> ⋯ ������=K ℳ{×K ������ = ˜ ⋮ ⋮ ⋮ ™ ������{= ������{> ⋯ ������{K • Test for spanning For ������ = {������������, ������������, … , ������������} a nonempty subset of vector space ������, ������=������������ + ������>������������ + ⋯ + ������K������������ = ������ (any vector) Write ������ = {������������, ������������, … , ������������} as the matrix ������ with the columns consists of vectors ������������, ������������, … , ������������. Is ������ is a square matrix? YES NO ������ is ������ × ������ matrix ������ is ������ × ������ matrix Calculate det(������) Solve (������|������) using Gaussian elimination ������������������(������) ≠ ������ ������������������(������) = ������ System is System is ������ spans ������ ������ does not span ������ consistent inconsistent ������ spans ������ ������ does not span ������ 116

Example 4.31 March 2017 Q5(a)(i) Consider the set ������ = {������, ������, ������}, where ������ = ������> + 2������ − 1, ������ = 2������> − ������, ������ = 5������ + 2 Determine whether the set ������ spans ������>. 117

Example 4.32 September 2015 Q5(b) Determine whether the set ������ = {(1, −2,2), (−1,3,1), (−2,6,1)} spans ������A 118

Example 4.33 Determine if ������ = {(1,1,3), (2,1,5)} spans ������A. 119

Example 4.34 Determine if ������ = “901 11: , 9−11 01: , 902 11:• spans ������>×>. 120

3. Linear Independence: Let ������ = {������=, ������>, … , ������K} is a set of nonzero vectors. ������ is linearly independent if ������=������������ + ������>������������ + ⋯ + ������K������������ = ������ • ������������ = ������������ = ⋯ = ������������ = ������, then ������ is linearly independent. • at least one of ������������, ������������, … , ������������ is non-zero, then ������ is linearly dependent. • If ������ is an ������ × ������ coefficient matrix whose columns consist of vectors {������=, ������>, … , ������K}, and |������| is not zero (������ is nonsingular), then the vectors {������=, ������>, … , ������K} are linearly independent. • Test for linear independence For ������ = {������������, ������������, … , ������������} ������=������������ + ������>������������ + ⋯ + ������K������������ = ������ Write ������ = {������������, ������������, … , ������������} as the matrix ������ with the columns consists of vectors ������������, ������������, … , ������������. Is ������ is a square matrix? YES NO ������ is ������ × ������ matrix ������ is ������ × ������ matrix Calculate det(������) Solve (������|������) using Gaussian elimination method ������������������(������) ≠ ������ ������������������(������) = ������ System is System is ������ is linearly ������ is linearly consistent inconsistent independent dependent ������ is linearly ������ is linearly independent dependent 121

Example 4.35 Determine ������ = {(1,1), (2, −3), (−5, 7)} is linearly independent. 122

Example 4.36 Determine if ������ = {(4, 2), (14, 7)} is linear independent. 123

Example 4.37 October 2016 Q5(a)(ii) Consider the set M = {(3, −5, 2), (4, 1, 0), (−3, 2, 1)}. Determine whether the set M is linearly independent. 124

Example 4.38 Determine whether ������ = {2 − ������, 1 + 2������>, 4 − 2������ + 3������>} is linearly independent. 125

4.5 Basis and Dimension 1. Basis for a vector space: Let ������ be a vector space. A set ������ of vectors in ������ is a basis for ������ if • ������ is linearly independent • ������ spans ������ Example 4.39 Determine whether the set ������ = {������ + ������>, 2 − ������, 1 + 2������>, 4 − 2������ + 3������>} forms a basis for P>. 126

Example 4.40 Determine whether the set ������ = {(1, 1, 1), (1, 2, 3), (2, − 1, 1)} forms a basis for ������A. 127

Example 4.41 Determine whether the set M = “910 01: , 9−01 10: , 910 11:• forms a basis for M>ˆ>. 128

2. Theorem: Let the vectors {������=, ������>, … , ������j} in ������K form the columns of a matrix ������. Then the set consisting of {������=, ������>, … , ������j} forms a basis for ������K if and only if |������| ≠ 0. Example 4.42 Determine whether the set ������ = {2 − ������, 1 + 2������>, 4 − 2������ + 3������>} forms a basis for P>. Example 4.43 Determine whether the set ������ = {(1, 1, 1), (1, 2, 3), (2, − 1, 1)} forms a basis for RA. 129

Example 4.44 Determine whether the set M = “910 01: , 9−01 10: , 910 11: , 901 10:• forms a basis for M>ˆ> 130

3. Dimension for a vector space: If a vector space ������ has a basis with ������ vectors, then • the value of ������ is called the dimension of ������ and is written as dim(������). If ������ consists of the zero vector only, then dim(������) = 0. Vector Space Standard basis Dimension ������K dim(RK) = ������ ������K {������=, ������>, . . . , ������K} dim(PK) = ������ + 1 {1, ������, ������>, . . . , ������K} dim(M{×K) = ������������ ������{×K {M==, M=>, . . . , M{K} 4. Theorem: For ������ = {������=, ������>, … , ������´} be a set in vector space ������, then • ������ is linear dependent if ������(������) > dim(������) • ������ does not span ������ if ������(������) < dim(������) • ������ is either linearly independent or spans ������ if ������(������) = dim(������) where ������(������) = ������ = the number of vectors in ������ 5. For ������(������) = dim(������), to determine if ������ forms a basis for ������, show that either ������ is linearly independent or ������ spans ������. Example 4.45 Determine whether the following set forms a basis for P>. ������ = {2 − ������, 1 + 2������>, 4 − 2������ + 3������>} 131

Example 4.46 Determine whether the following set forms a basis for RA. ������ = {(1, 1, 1), (1, 2, 3), (2, − 1, 1)} Example 4.47 Determine whether the following set forms a basis for M>ˆ>. M = “910 10: , 9−01 01: , 910 11: , 901 10:• 132

4.6 Row Space, Column Space, Rank, Nullspace and Nullity 1. Let ������ be an ������ × ������ matrix where ������== ������=> ⋯ ������=K ������>= ������>> ⋯ ������>K ������ = ¶ ⋮ ⋮ ⋮ · ������{= ������{> ⋯ ������{K (������==, ������=>, … , ������=K), (������>=, ������>>, … , ������>K), … , (������{=, ������{>, … , ������{K) are row vectors of ������ ������== ������=> ������=K ������>= ������>> ������>K ¶ ⋮ · , ¶ ⋮ · , … , ¶ ⋮ · are column vectors of ������ ������{= ������{> ������{K 2. Row space: If ������ is an ������ × ������ matrix, the row space of ������ is the subspace of ������K spanned by the row vectors of ������. 3. Column space: If ������ is an ������ × ������ matrix, the column space of ������ is the subspace of ������K spanned by the column vectors of ������. 4. Basis for Row space of a Matrix: If a matrix ������ is row equivalent to a row echelon matrix ������, then the nonzero rows of ������ form a basis for the row space of ������. 5. Basis for Column space of a Matrix: If a matrix ������ is row equivalent to a row echelon matrix ������, then the column vectors of ������ corresponding to the column vectors of ������ with leading 1 form a basis for the column space of ������. 6. Dimension for Row space and Column space: If ������ is an ������ × ������ matrix, then the row space and the column space of ������ will have the same dimension. dim(������������������������������������������������) = dim(������������������������������������������������������������������) • dim(������������������������������������������������) = number of vectors in row space • dim(������������������������������������������������������������������) = number of vectors in column space 7. Rank of a matrix: The dimension of the row space or the column space of a matrix ������ is called the rank of ������ and is denoted by rank(������). rank(������) = dim(������������������������������������������������) = dim(������������������������������������������������������������������) 133

Example 4.48 3 2 5 1 Let the matrix ������ = ˜1 −3 −2 4 ™. 4 5 9 −1 a) Find bases of row space and column space of ������. b) Find the dimension for the row space and column space of ������. c) Determine the rank of ������. 134

8. Nullspace: The solution space for the homogeneous system ������������ = ������ and is denoted by ������(������). It is a subspace of RK. 9. Nullity: Dimension of the null space of ������ is the number of vectors in a basis for null space of ������ and is denoted by null(������). 10. A basis for a null space of ������ is a basis for the solution space for ������������ = ������. Example 4.49 3 2 5 1 Given ������ = ˜1 −3 −2 4 ™. Find 4 5 9 −1 a) the solution space for ������������ = ������ or the null space of ������. b) a basis for null space of ������. c) the nullity of the null space. 135

Example 4.50 2 −1 3 Let ������ = ˜1 2 −5™. Find 1 −3 8 a) the nullspace of ������ b) a basis for the row space of ������ c) a basis for the column space of ������ d) nullity of ������ e) rank of ������ 136

Example 4.51 Given the following system of linear equations ������ + 2������ − ������ = 0 2������ + 6������ − 3������ − 3������ = 0 3������ + 10������ − 6������ − 5������ = 0 a) Write the coefficient matrix ������ for the above system b) Find a basis for the row space of ������ c) Find the nullspace of ������ and state a basis for ������(������) d) State the dimension of the row space and the dimension of the null space. 137

11. Theorem: If ������ is an ������ × ������ matrix then rank(������) + null(������) = ������ For any matrix ������, rank(������À) = rank(������) • rank(������) = number of leading variables in the solution ������������ = ������ (or, number of nonzero rows in the REF of ������) • null(������) = number of free variables in the solution ������������ = ������ Example 4.52 If ������ is an 8 × 10 matrix with rank(������) = 4 , find the following a) null(������) b) the number of nonzero rows in the reduced matrix ������ c) the number of free variables for the solution of ������������ = ������ d) null(������À) 138

Example 4.53 If ������ is a 5 × 8 matrix and the number of nonzero rows in row echelon matrix ������ is 2, find a) rank(������) b) the dimension of ������(������) c) null(������À) 139

Example 4.54 If ������ is a 4 × 7 matrix with rank(������À) = 3, find a) null(������À) b) null(������) 140

Example 4.55 If ������ is a 6 × 5 matrix and the number of vectors in a basis for column space of ������ is 4, find a) rank(������) b) the number of free variables in the solution set for ������������ = ������ c) null(������À) 141

CHAPTER 5: LINEAR TRANSFORMATION 5.1 Introduction to Linear Transformation 1. Transformation: A function ������ that maps a vector space ������ into another vector space ������. ������: ������ ? ⎯9⎯⎯:⎯;⎯;⎯<⎯=⎯>A ������, ������, ������: vector space ������: the domain of ������ ������ ������: codomain ������ : the codomain of ������ ������: domain ������ Range ������ 2. Image of ������ under ������: If ������ is in ������ and ������ is in ������ such that ������(������) = ������ Then ������ is called the image of ������ under ������. 3. Range of ������: The set of all images of vectors in ������ 4. Pre-image of ������: The set of all ������ in ������ such that T(������) = ������. Example 5.1 Let ������: ������/ → ������/ be a linear transformation of vector space ������/ into a vector space ������/ defined by ������(������2, ������/) = (������2 − ������/, ������2 + 2������/) Find a) The image of ������ = (−1, 2) 142

b) The pre-image of ������ = (−1, 11) Example 5.2 Let ������: ������M → ������M be a linear transformation of vector space ������M into a vector space ������M defined by ������(������2, ������/, ������M) = (2������2 + ������/, 2������/ − 3������M, ������2 − ������M) Find a) The image of ������ = (−4, 5, 1) b) The pre-image of ������ = (4, 1, − 1) 143

5. Linear Transformation: Let ������ and ������ be vector spaces. The function ������: ������ → ������ is • called a linear transformation if and only if the following properties hold for all vectors • ������ and ������ in ������ and ������ is any scalar. ������(������ + ������) = ������(������) + ������(������) ������(������������) = ������������(������) 6. If ������ = ������, then ������ is called a linear operator. Example 5.3 Let ������: ������/ → ������/ be defined by ������(������������/ + ������������ + ������) = (������ + ������, ������). Determine whether ������ is a linear transformation. 144


Like this book? You can publish your book online for free in a few minutes!
Create your own flipbook