Entropy 는 무엇인가?

Entropy : 정보를 표현하는데 필요한 최소 평균 자원량 (코딩을 잘한것)

 

 

 

하트와 뻐큐중에 뭐가 더 엔트로피가 높을까? 하트가 높다

 

Cross Entropy : 동일하게 정보를 표현한다.비효율적인 것 (코딩을 못한것)

 

KL 다이버전스 : Entropy - Cross entorpy + 양수가 되는것