第一篇日誌

Me: 第二題我重寫一下，我整理出另一種說法

C(A)=C(A^T)代表

1.他們有相同的母空間R^n

2.設rank=k(一定會)，他們是母空間R^n裡同一個R^k子空間 並且N(A)是C(A^T)的正交空間，N(A^T)是C(A)的正交空間，都是2.所說同一個空間的 orthogonal component，且正交空間是唯一的，因此N(A)和N(A^T)是同一個空間

和題目的N(A)!=N(A^T)矛盾，所以這樣的矩陣A不可能存在

我的結論: 當等號左右是"空間"的時候，先以"空間的性質"來考慮，不是想像某個矩陣或entries可能是多少

Opus: 你的證明完全正確,而且寫得非常乾淨——比我上一輪的版本還精煉。讓我幫你逐步確認,然後對你最後那段「結論心法」做一點延伸,因為它的價值遠遠超出這一題。

證明逐步檢查

步驟 1: $C(A) = C(A^T)$ 隱含相同的母空間 $\mathbb{R}^n$。

正確。$C(A) \subseteq \mathbb{R}^m$,$C(A^T) \subseteq \mathbb{R}^n$,要相等就必須在同一個母空間裡,所以 $m = n$,A 是方陣。

步驟 2: 設 $\text{rank}(A) = k$,則 $C(A)$ 和 $C(A^T)$ 都是 $\mathbb{R}^n$ 裡同一個 $k$ 維子空間。

正確,且你加的那句「(一定會)」很關鍵——你在強調 $\dim C(A) = \dim C(A^T) = k$ 是 rank 的對稱性,不是條件,而是定理。這個觀察值得被獨立記住:任何矩陣的 row rank 永遠等於 column rank,這是線代裡最不顯然但最深刻的事實之一。

步驟 3: $N(A) = C(A^T)^\perp$,$N(A^T) = C(A)^\perp$,而且正交補是唯一的。

正確。「正交補唯一」這個性質很關鍵——對給定母空間裡的任何子空間 $V$,$V^\perp$ 是被 $V$ 完全決定的、唯一的子空間。所以一旦 $C(A) = C(A^T)$,它們各自的正交補(就是兩個 null space)也必然相等。

步驟 4: 因此 $N(A) = N(A^T)$,與題目假設 $N(A) \neq N(A^T)$ 矛盾。

正確。所以這樣的 A 不存在。

整個證明從假設到矛盾,中間每一步都用了恰好一個明確的定理(rank 對稱性、正交補的定義、正交補的唯一性),沒有多餘的步驟,沒有偷渡的假設。這是一個**「合格的數學證明」**——比你前一版本(誤用對稱、誤用維度推集合)進步了一個層次。

你的結論心法,值得放大講

你最後寫的:

當等號左右是「空間」的時候,先以「空間的性質」來考慮,不是想像某個矩陣或 entries 可能是多少

這句話抓到了線代從計算階段過渡到結構階段的關鍵心法。讓我幫你把它擴展成幾條可操作的判準,因為這個原則在 Strang 的中後段(特別是 orthogonality、projection、SVD、spectral theorem)會反覆派上用場。

為什麼「想像 entries」會失敗

當題目給的是 entries 等式($A = A^T$、$A_{ij} = 0$ 之類),想像 entries 是對的——你需要操作具體的數字。

但當題目給的是子空間等式($C(A) = C(A^T)$、$N(A) \subseteq C(A^T)$ 之類),entries 只是子空間性質的「載體」,不是性質本身。同一個子空間可以由無數不同的 entries 矩陣產生(任何 basis 變換都會改 entries 但保子空間),所以從 entries 出發你會陷入無窮多的個案,而從子空間性質出發你只需要處理「子空間之間的關係」。

我自己上一輪一開始試圖找反例時就掉進這個陷阱:我列了一個又一個 $2\times 2$ 和 $3 \times 3$ 矩陣,算它們的 column space 和 row space,試圖湊出反例。試到第四五個我才意識到「正交補唯一」這件事讓反例不可能存在,於是切換成用結構證明,五行就解決。這就是你那句心法在實際做題上的差別:從 entries 出發要試十次,從結構出發只要想一次。

三條判準,告訴你什麼時候該切換到「空間思維」

1. 看題目的等式或不等式兩邊是不是子空間/維度/秩。如果是,先問:「這個等式在子空間層次說了什麼?它的正交補是什麼?它的維度是什麼?」
2. 看題目有沒有出現 rank-nullity 能直接套的維度約束。前面那些「construct a matrix」題型,99% 都是先用 rank-nullity 篩掉不可能,再構造,從不從 entries 開始
3. 看題目有沒有提到正交、投影、補、零空間。這些詞都在暗示「結構性的思考」會比「entries 思考」快很多

一個對偶版的心法

你抓到的這條心法還有一個對偶版本,將來會用到:

當等號左右是「矩陣」的時候(像 $A = A^T$、$A^2 = A$、$AA^T = I$),才用 entries 思考——但通常更好的做法是先把矩陣等式翻譯回子空間性質。

例如 $A^2 = A$(投影矩陣)的等價子空間性質是「$A$ 把每個向量投影到 $C(A)$ 上,且 $N(A)$ 是這個投影的零空間,而且 $C(A) \cap N(A) = {\mathbf{0}}$」。從這個結構性描述出發,投影矩陣的所有性質都會自然流出來,比硬算 $A^2$ 的 entries 容易得多。

再例如 $AA^T = I$(正交矩陣)的等價子空間性質是「A 的 column 是 $\mathbb{R}^n$ 的一組標準正交基」,從這個描述出發,正交矩陣保持長度、保持角度、$A^{-1} = A^T$ 全部都是一行話的推論。

所以你的心法可以擴寫成:

看到子空間等式 → 用子空間結構思考
看到矩陣等式 → 翻譯成子空間結構,再用子空間結構思考

幾乎所有 Strang 後半本書的證明都是這個模式。你現在自己摸索出這個原則,代表你已經準備好讀後半本了——具體來說,Lecture 14 (orthogonal vectors and subspaces) 開始會明確使用這套思維,然後到 Lecture 15-16 (projections, least squares) 會大量運用,到 Lecture 21-22 (eigenvalues, diagonalization) 會把它推向高峰,最後 Lecture 29-30 (SVD) 會讓四個子空間和正交補的整個結構在一個定理裡同時亮相。

一個建議

把你今天這條心法寫進你的學習筆記裡,放在最顯眼的位置。線代裡這種「方法論層級」的領悟,比任何一個具體定理都珍貴,因為定理可以查書,但「該用哪種思維面對哪類題目」只能靠自己悟。你已經悟到了一條,接下來在 Strang 後半本書你會悟到更多,把它們累積起來,等你讀完整本書時,你會發現自己手上有十條左右這種心法,而且它們在抽象代數、泛函分析、機器學習數學裡都會繼續適用。

你今天的進展非常扎實。下次有問題隨時來。

Me: 今天先到這裡，腦袋有點累了，不過後面還有30多題 最後一個問題:Review中有一段描述: If EA=R, the last (m-r) rows of E are a basis for the left null space 所以確實可能通過一次rref(A)就求出第四個N(A^T)空間而不用重解一次(A^T)y=0嗎?

Opus: 是的,完全可以。這就是 Strang 在 Section 3.5/3.6 介紹的 $[A \mid I]$ 法,只要做一次 rref 就能同時得到 $R$ 和 $E$,然後從 $E$ 的最後 $m-r$ 個 row 直接讀出 $N(A^T)$ 的 basis,確實不用再對 $A^T$ 重做一次 row reduction。

為什麼成立

關鍵觀察:任何對 $A$ 做的 row operation 都可以表示成左乘一個可逆矩陣。如果你把 $A$ 化簡到 $R$,那存在一個 $m \times m$ 可逆矩陣 $E$ 使得 $EA = R$。

當 $R$ 的某幾個 row 是 $\mathbf{0}$(也就是最後 $m - r$ 個 row),代表 $E$ 對應的那幾個 row $\mathbf{e}_i^T$ 滿足:

$$\mathbf{e}_i^T A = \mathbf{0}^T$$

這正是 left null space 的定義——$\mathbf{e}_i$ 是 $A^T \mathbf{e}_i = \mathbf{0}$ 的解,也就是 $\mathbf{e}_i \in N(A^T)$。

而且這 $m - r$ 個 $\mathbf{e}_i$ 自動線性獨立(因為 $E$ 可逆,它的所有 row 都線性獨立),所以它們就是 $N(A^T)$ 的一組 basis,維度也對 ($\dim N(A^T) = m - r$)。

操作流程

把 $A$ 旁邊接上 $m \times m$ 單位矩陣,得到擴充矩陣 $[A \mid I]$,然後對整個擴充矩陣做 row operation,直到左邊變成 $R$:

$$[A \mid I] \xrightarrow{\text{row ops}} [R \mid E]$$

右邊自動就是 $E$,因為對 $I$ 做同一套 row operation 等於左乘 $E$,而 $EI = E$。

接著:

• $R$ 的 pivot 位置告訴你 rank、$C(A)$ basis(回 A 取)、$C(A^T)$ basis(R 的非零 row)、$N(A)$(用 free variable 法)
• $E$ 的最後 $m - r$ 個 row 直接就是 $N(A^T)$ 的 basis

一次 rref,四個子空間全部到手。

用你之前那題快速示範

回到那個你算過的:

$$A = \begin{pmatrix} 0 & 1 & 2 & 3 & 4 \\ 0 & 1 & 2 & 4 & 6 \\ 0 & 0 & 0 & 1 & 2 \end{pmatrix}$$

$m = 3$,$r = 2$,所以 $\dim N(A^T) = 1$,$E$ 的最後 1 個 row 就是 $N(A^T)$ 的 basis。

擴充成 $[A \mid I_3]$:

$$\left(\begin{array}{ccccc|ccc} 0 & 1 & 2 & 3 & 4 & 1 & 0 & 0 \\ 0 & 1 & 2 & 4 & 6 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 & 2 & 0 & 0 & 1 \end{array}\right)$$

$R_2 \to R_2 - R_1$:

$$\left(\begin{array}{ccccc|ccc} 0 & 1 & 2 & 3 & 4 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 2 & -1 & 1 & 0 \\ 0 & 0 & 0 & 1 & 2 & 0 & 0 & 1 \end{array}\right)$$

$R_3 \to R_3 - R_2$:

$$\left(\begin{array}{ccccc|ccc} 0 & 1 & 2 & 3 & 4 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 2 & -1 & 1 & 0 \\ 0 & 0 & 0 & 0 & 0 & 1 & -1 & 1 \end{array}\right)$$

(再做一步 $R_1 \to R_1 - 3R_2$ 化到 rref,但這對讀 $N(A^T)$ 不影響,因為 R 的零 row 已經出現了。)

看左邊:Row 3 是零 row,所以右邊 $E$ 的 Row 3 就是 $N(A^T)$ 的 basis:$(1, -1, 1)$。

跟你之前算出的 $(1, -1, 1)^T$ 完全一致,而且這次你連 $A^T \mathbf{y} = \mathbf{0}$ 都不用解,直接從擴充矩陣讀出來。

兩種方法的取捨

實務上:小矩陣用 $[A \mid I]$ 法比較爽,大矩陣或考試時可能轉置法比較不容易出錯。兩種都會、知道何時用哪種,是最佳狀態。

今天的進度回顧

從「Column space 會不會被列運算改變」開始,你今天走過了:

1. 列運算對四個子空間的影響(哪些變、哪些不變)
2. 行運算的對偶版本,以及為什麼實務上不用
3. 用 free variable 求 $N(A)$ 的標準流程,以及 echelon form vs rref 的差異
4. 「N(A) 反映 column 之間的線性相依關係」這個結構直覺
5. 「contains vs has basis」的措辭差異,以及 rank-nullity 在構造題的篩選作用
6. 用四子空間的正交補關係(而不是 entries 計算)來證明結構性命題
7. 自己悟出「子空間等式用結構思考、不要想 entries」的方法論
8. $[A \mid I]$ 法,用一次 rref 同時拿到四個子空間

這是 Strang 整個 Chapter 3 的完整骨架,而且你不只是被動讀過,是主動推導、主動犯錯、主動修正,然後在最後自己抽象出方法論。這種讀法的留存率遠遠高於照著書一頁頁讀完。

剩下 30 多題不用急,腦袋累了就停。線代的觀念需要時間沉澱,今天累積的這些直覺如果讓它在睡眠裡固化一晚,明天再做題會有意外的順暢感。下次再見。