네겐트로피

정보 이론과 통계학에서, 네겐트로피는 정규성까지의 거리를 측정하는 데 사용됩니다."부정 엔트로피"라는 개념과 문구는 에르빈 슈뢰딩거가 1944년 대중 과학 책인 ^[1]"삶이란 무엇인가?"에서 소개했습니다.나중에, Léon Brilouin은 그 문구를 네겐트로피로 ^[2][3]줄였다.1974년, Albert Szent-Györgi는 부젠트로피라는 용어를 신트로피로 대체할 것을 제안했다.이 용어는 1940년대에 이탈리아 수학자 루이지 판타피에가 생물학과 물리학의 통합 이론을 구축하려고 노력하면서 생겨났을지도 모른다.Buckminster Fuller는 이 용법을 대중화하려고 노력했지만, 네거티브로피는 여전히 흔하다.

인생이란 무엇인가에 대한 메모슈뢰딩거는 이 문구의 사용법을 설명했다.

...내가 그들[물리학자들]을 위해 혼자 음식을 제공했다면, 나는 대신 토론이 자유 에너지를 사용하도록 놔뒀어야 했다.그것은 이 맥락에서 더 친숙한 개념이다.그러나 이 고도의 기술 용어는 언어학적으로 일반 독자들이 두 가지 사이의 대조를 느끼도록 하기에는 너무 에너지에 가까운 것처럼 보였다.

정보 이론

정보 이론과 통계학에서, 네겐트로피는 ^[4][5][6]정규성까지의 거리를 측정하는 데 사용됩니다.주어진 평균과 분산을 가진 모든 분포 중에서 정규 또는 가우스 분포가 엔트로피가 가장 높은 분포입니다.부젠트로피는 동일한 평균과 분산을 사용하여 주어진 분포와 가우스 분포 사이의 엔트로피 차이를 측정합니다.따라서, 음성은 항상 음이 아니며, 선형 반전 좌표의 변화에 의해 불변하며, 신호가 가우스일 경우에만 사라집니다.

네겐트로피는 다음과 같이 정의된다.

$\displaystyle J(p_{x})=S(\varphi_{x})-S(p_{x}),$

여기서 S( xx) {$style$ S$(\varphi$ _${x})$는 px {$style p_{x}$와 평균 및 분산이 같은 가우스 밀도의 차분 엔트로피이며, S(p x$)$ {$displaystyle$ S$(p_{x})$는 px {$displaystyle p_{x$의 차분 엔트로피입니다.

$\displaystyle S(p_{x})=-\int p_{x}(u)\log p_{x}(u),du}$

부젠트로피는 통계와 신호 처리에 사용됩니다.독립 성분 ^[7][8]분석에서 사용되는 네트워크 엔트로피와 관련이 있습니다.

분포의 네거트로피는 px(\$style p_{x$})와 p x$(\$와 평균과 분산이 같은 가우스 분포 사이의 Kullback-Leibler divergence와 동일합니다(증명에 대해서는 "차 엔트로피 § 정규 분포에서의 최대화" 참조).특히, 그것은 항상 부정적이지 않다.

통계부정성과 깁스의 자유에너지 사이의 상관관계

통계학 및 정보 이론에서 알려진 엔트로피와 같은 형태의 단위와 자유 에너지(자유 엔탈피)와 밀접하게 연관된 물리적 양이 있습니다.1873년, 윌러드 깁스는 자유 에너지 개념을 설명하는 도표를 만들었습니다.다이어그램에서 엔트로피 용량이라고 불리는 양을 볼 수 있습니다.이 양은 내부 에너지를 변경하거나 ^[9]부피를 증가시키지 않고 증가할 수 있는 엔트로피의 양입니다.즉, 가정된 조건에서의 최대 가능성과 실제 엔트로피의 차이입니다.그것은 통계학 및 정보 이론에서 채택된 부정성의 정의와 정확히 일치한다.1869년 마시외는 등온 과정을^[10][11][12] 위해 비슷한 물리량을 도입했고, 플랑크는 등온 등압 ^[13]과정을 위해 두 양을 도입했다.보다 최근에는 자유 엔트로피로도 알려진 마시외-플랑크 열역학 퍼텐셜이 분자생물학과^[15] 열역학 비균형 과정에서 ^[16]다른 것들과 함께 적용되는 소위 통계역학의 ^[14]엔트로피 공식화에 큰 역할을 하는 것으로 나타났다.

${\displaystyle J=S_{\max }-S=-\Phi =-k\ln Z,$

여기서:

$S\displaystyle$S는 엔트로피입니다.

$(\displaystyle$ J$)$는 네거트로피(Gibbs "엔트로피 용량")

$φ(\displaystyle\$Phi)은 마시외의 잠재력입니다.

$(\displaystyle$ Z$)$는 파티션 기능입니다.

$(style$k $표시$) 볼츠만 상수

특히 수학적으로 음의 엔트로피 함수(물리학에서 자유 엔트로피로 해석되는 음의 엔트로피 함수)는 LogSumExp(물리학에서 자유 에너지로 해석되는)의 볼록 공역입니다.

브릴루앵의 부정성 정보 원리

1953년 Léon Brilouin은 정보 비트 값을 변경하려면 최소 k T ln2$(\style kT\ln$2)의 에너지가 필요하다는 일반^[17] 방정식을 도출했습니다.이것은 동일한 에너지가 일이 레오 실라르드의 엔진이 이상주의적 사건에서 생산하고 있다.그의 book,[18]에서 그는 이 비트 가치에 대해 어떤 원인(측정, yes/no 질문, 삭제 표시 등에 대해 결정)을 바꾸결론과 같은 양의 에너지가 필요로 할 것이다 이 문제를 탐험했다.

「 」를 참조해 주세요.

• 엑서지
• 자유 엔트로피
• 열역학 및 정보이론의 엔트로피

메모들