교차 엔트로피(Cross-Entropy) 손실함수의 도출 방법을 정리한다.우선 엔트로피의 정의부터 살펴보자. 엔트로피 가장 기본이 되는 개념인 정보 엔트로피에 대한 기본 설명은 이전 글에서 충분히 설명하였기에 넘어가기로 한다.정보 엔트로피, 또는 엔트로피는 정보의 기댓값을 의미하며 수학적으로는 로그확률에 대한 평균으로 정의된다. Shannon 박사는 엔트로피를 정보량(bits)… Read more교차 엔트로피(Cross-entropy) 손실함수에 대한 이해