Vector Calculus 정리 (작성중)

드문드문 쓰다보니 자꾸 까먹는다.
귀찮은 수식은 모두 정리하고 짤막하게 정리해봤다.
여기있는 대부분의 글은 위키피디아를 참조한 것이다.

1. Norm

Norm은 벡터가 가지는 스칼라 성질을 의미한다.
보통 1. 영벡터조건, 2.동질성, 3.삼각부등식 조건을 모두 만족시키는 스칼라 연산을 Norm이라 표현하지만
벡터가 방향과 크기를 가지는 값이라는 것을 고려했을 때, 벡터의 크기 성분을 곧 Norm이라 일반화하기도 한다.
그 중 CS에서 많이 쓰이는 개념은 다음의 p-Norm이다.

$||x||_{p} = (\sum^{N}_{k=1}|x_{k}|)^{1/p}$

p에 따라 L1-norm, L2-norm… 라고 부른다.
L1-norm을 그래프로 나타내면 마름모모양인데, p가 발산할수록 그래프는 원형에 가까워진다.
보통 L1-norm을 Manhattan-norm, Ridged-norm이라 하고
L2-norm을 Euclidean-norm, LASSO-norm이라 한다.

2. 벡터 연산

벡터의 연산으로는 크게 다음의 네 가지 종류가 있다.

벡터 합 (addition)
벡터 스칼라곱 (scalar multiplication)
벡터 내적 (dot product)
벡터 외적 (cross product)

벡터의 합과 곱은 굳이 설명할 것도 없다.
애초에 벡터는 본질적으로 선형(Linear)이다.

중요한 것은 벡터 곱(product)이다.

벡터 내적

내적은 무수히 정의될 수 있으나 여기서는 일반적으로 사용되는 벡터 내적 연산에 대해 다룬다.
벡터의 내적은 원소끼리의 곱을 더한 것으로 스칼라 결과를 내놓는 연산자이다.
내적은 제2코사인법칙에 따라 기준벡터에 대한 영향력으로도 볼 수 있다.

$|\vec{a}|*cos\theta$ 는 곧, 기준벡터 b에 대한 벡터 $\vec{a}$ 의 정사영이다.
다시 말하자면 벡터 b 관점에서의 벡터 a의 영향력이 되는 것이다.

역학적인 관점은 내버려두더라도 여기서 중요한 몇 가지 점들을 얻을 수 있다.

첫째로, 내적은 두 벡터간 방향적 유사성을 나타낸다.
이러한 이유로 내적을 이용해 코사인 유사도(Cosine Similarity)를 정의한다.

참고로 코시-슈바르츠 부등식은 두 벡터의 내적과 노름 곱 간의 관계에 대한 다음의 자명한 사실을 나타낸다.

$|\vec{a}|^2|\vec{b}|^2 \geq |\vec{a} \cdot{} \vec{b}|^2$

둘째로, 내적 결과가 0이라면 두 벡터는 수직(Orthogonal)이다.
이는 선형대수학에서 매우 요긴하게 활용되는 성질이다.

이 두 특징들은 내적이 코사인으로 정의되기 때문에 자명한 사실이다.

벡터의 내적은 다양한 곳에 활용될 수 있다.
그 중 한 예시로, 어떤 점과 면이 있을 때 점과 면 사이의 거리를 계산하는 건 한 점 A와 면에 포함된 직선 u위의 임의의 점 P에 대해

$d = |\vec{u} \cdot \overline{AP}| / |\vec{u}|$

로 계산할 수 있다.
이는 점과 면, 면에 포함된 직선에서 $\overline{AP}$ 와 점 A의 면에 대한 수선의 발 간의 $cos\theta$ 를 나타내는 것만으로 매우 쉽게 증명된다.

벡터 외적

벡터 외적은 두 벡터가 이루는 평면에 수직인 벡터를 내놓는 연산이다.
계산 방법은 행렬식(Determinant) 계산하던 것 처럼 여인자로 구한다.

외적의 크기는 놀랍게도 두 벡터가 이루는 평행사변형의 넓이이다.
이는 내적의 정의를 통해 다음이 성립하기 때문이다.

$|\vec{a} \times \vec{b}| = |\vec{a}||\vec{b}|sin\theta$

증명은 어렵지 않다.
$|\vec{a} \times \vec{b}|^2$ 를 풀면 $(|\vec{a}||\vec{b}|)^2 - (\vec{a} \cdot \vec{b})^2$ 가 되고, 여기에 내적의 정의를 이용하여 풀어낼 수 있다. [증명]
외적 크기의 식은 결국 밑변과 높이의 곱으로 해석할 수 있고, 이는 곧 두 벡터가 이루는 평행사변형의 넓이가 된다.
물론 이걸 반으로 나누면 두 벡터가 이루는 삼각형의 넓이를 구할 수도 있다.

벡터의 외적 또한 다양한 곳에 활용된다.
예를 들면, 점과 직선 사이의 거리를 계산할 때 도움이 된다.

어떤 점 A와 벡터(직선) $\vec{u}$ 가 있을 때, 이 둘 사이의 거리는 $|\vec{u} \times \bar{AP}| / |\vec{u}|$ 이다.
이 때, 점 P는 벡터 $\vec{u}$ 위의 임의의 점이다.
증명은 외적 크기에 $sin\theta$ 가 들어간다는 것을 이용하면 간단하다.

중요한 점은 벡터 내적의 결과는 스칼라이며 벡터 외적의 결과는 벡터라는 것이다.
선형대수 연산 과정에서 행렬 곱과 벡터 내적을 혼용하여 사용하는 경우가 많은데 이게 상당히 헷갈린다.
이럴땐 단순히 행렬 곱이 벡터의 내적으로 이루어져있다고 생각하면 편하다.

참고로, 외적의 크기와 내적은 두 벡터가 이루는 각에 대해 사인이냐 코사인이냐로 나뉜다라 쉽게 기억할 수 있다.

4. 벡터 미분 연산자

벡터의 미분 연산자로는 크게 다음의 5가지 종류가 있다.

미분 연산자 ( $\nabla$ , Del)
그래디언트 ( $\nabla F$ , Gradient)
라플라시안 ( $(\nabla \cdot \nabla) F$ , Laplacian)
다이버전스 ( $\nabla \cdot F$ , Divergence)
컬 ( $\nabla \times F$ , Curl)

4-1. Del

$\nabla$ 은 미분 연산자(Operator)이다.

4-2. Gradient

$\nabla F$ 는 변화율을 나타내는 벡터이다.

4-3. Laplacian

$( \nabla \cdot \nabla ) F$ 는 변화율에 대한 변화율을 나타내는(Second order) 벡터이다.
$\nabla \cdot \nabla$ 는 라플라스 연산자(Laplace Operator) 혹은 라플라시안(Laplacian)이라고 불리는 미분 연산자(Operator)이다.

4-4. Divergence

$\nabla \cdot F$ 는 유출량(flow)을 나타내는 스칼라이다.
$\nabla$ 의 내적으로 계산되기 때문에 다이버전스는 스칼라를 내놓는 연산이다.

4-5. Curl

$\nabla \times F$ 는 회전 정도를 나타내는 벡터이다.
$\nabla$ 과의 외적으로 계산되기 때문에 컬은 벡터를 내놓는 연산이다.

5. 벡터 적분정리

벡터의 적분 연산자로는 크게 4가지의 종류가 있다.

6. 벡터 방정식

벡터를 이용하여 방정식을 표현할 수 있다.

방정식의 벡터 표기법 $W^{T} x = b$

Hooni's Playground