관측점: (0,0), (1,2), (2,2)
모델:   y ≈ c + mt

최소제곱 해: c=1/3, m=1
예측값: (1/3, 4/3, 7/3)
잔차:   (-1/3, 2/3, -1/3)

식을 행렬로 만들기

세 점을 모두 지나는 직선은 없지만, 가장 잘 맞는 직선은 구할 수 있습니다. 미지수 순서를 x=(c,m)으로 정합니다.

A = [ 1  0 ]      x = [ c ]      b = [ 0 ]
    [ 1  1 ]          [ m ]          [ 2 ]
    [ 1  2 ]                        [ 2 ]

AᵀA = [ 3  3 ]      Aᵀb = [ 4 ]
      [ 3  5 ]            [ 6 ]

정규방정식은 3c+3m=4, 3c+5m=6입니다. 두 식을 빼면 m=1, 다시 대입하면 c=1/3입니다. 미지수 순서를 중간에 (m,c)로 바꾸면 행렬 열의 의미도 함께 바꿔야 합니다.

잔차가 만족하는 관계

Ax = (1/3, 4/3, 7/3)
r  = b-Ax = (-1/3, 2/3, -1/3)

r·(1,1,1) = 0
r·(0,1,2) = 0

‖r‖² = 1/9 + 4/9 + 1/9 = 2/3

잔차 자체가 0일 필요는 없습니다. 입력 b를 A의 열공간에 직교 투영한 값이 Ax입니다. 이 가장 가까운 출력은 유일하지만, A의 열이 종속이면 같은 출력을 만드는 계수 x는 여러 개일 수 있습니다.

유일성과 수치 풀이

A가 열 완전계수이면 AᵀA가 가역이어서 최소제곱 계수도 유일합니다. 열이 종속인 경우 정규방정식의 역행렬을 무조건 만들지 않습니다. SVD와 의사역행렬로 최소 노름 해를 선택하는 방법을 사용할 수 있습니다.

정규방정식은 원리를 설명하고 작은 수치를 손으로 푸는 데 편리합니다. 하지만 열 완전계수 A에서 2-노름 조건수는 κ₂(AᵀA)=κ₂(A)²이므로, 이미 민감한 문제의 수치 정확성을 악화시킬 수 있습니다. 일반적인 수치 구현은 QR 또는 SVD 기반 풀이를 고려합니다.

맞추기와 보간의 차이

보간은 주어진 점을 정확히 통과시키는 요구이고, 최소제곱은 선택한 모델 안에서 오차를 줄이는 요구입니다. 모델을 바꾸지 않은 채 모든 관측점의 오차가 0이 되기를 기대하지 않습니다.

제곱 오차는 큰 잔차에 큰 비중을 주므로 이상치에 민감할 수 있습니다. 관측값의 단위·신뢰도가 다르면 가중치나 다른 목적함수가 필요한 별도 문제입니다. 그래픽스의 평면·변형·측정 자료 추정에서도 먼저 “무엇을 오차로 볼 것인가”를 정합니다.

AᵀA가 양의 정부호가 되는 조건과 이차 에너지의 최소점은 양의 정부호·Cholesky에 있습니다. 분해를 선택할 때는 정규방정식이 조건수에 미치는 영향도 함께 유지해 판단합니다.