자동 인코더

자동 인코더는 라벨이 부착되지 않은 데이터의 효율적인 부호화(비감독 ^[1]학습)를 학습하는 데 사용되는 인공 신경망의 일종이다.부호화로부터의 입력을 재생성하는 것에 의해서, 부호화의 검증과 조정이 이루어집니다.자동 인코더는 중요한 데이터("노이즈")를 무시하도록 네트워크를 훈련시킴으로써 일반적으로 치수 감소를 위해 데이터 세트의 표현(인코딩)을 학습합니다.

학습된 표현이 유용한 속성을 ^[2]가정하도록 강제하는 것을 목표로 하는 변종이 존재합니다.예를 들어, 정규화된 자동 인코더(스페스, 노이즈 제거 및 수축형)는 후속 분류 ^[3]작업에 대한 표현 학습에 효과적이며, 애플리케이션을 ^[4]생성 모델로 사용하는 변형 자동 인코더 등이 있습니다.자동 인코더는 얼굴 인식,^[5] 특징 감지,^[6] 이상 감지, ^[7]^[8]단어의 의미 획득 등 많은 문제에 적용된다.또한 자동 인코더는 입력 데이터(훈련 데이터)^[6]와 유사한 새 데이터를 무작위로 생성할 수 있는 생성 모델입니다.

수학적 원리

정의.

자동 인코더는 다음 구성 요소로 정의됩니다.

디코딩된 ${\mathcal {X}}$ 공간 ${\mathcal {X}}$ X(\ $displaystyle {X$ 와 인코딩된 ${\mathcal {Z}}$ 공간 ${\mathcal {Z}}$ Z(\ $displaystyle$ {\ $mathcal {Z$ 의 두 집합. X $(\displaystyle$ { $X})$ 와 ${\mathcal {X}}$ ${\mathcal {Z}}$ Z(\ $displaystyle {Z})$ 는 ${\mathcal Z}$ 모두 유클리드 공간, ${\mathcal {X}}=\mathbb {R} ^{m},{\mathcal {Z}}=\mathbb {R} ^{n}$ X ${\mathcal {X}}=\mathbb {R} ^{m},{\mathcal {Z}}=\mathbb {R} ^{n}$ , ${\mathcal {X}}=\mathbb {R} ^{m},{\mathcal {Z}}=\mathbb {R} ^{n}$ , R. ${\mathcal {X}}=\mathbb {R} ^{m},{\mathcal {Z}}=\mathbb {R} ^{n}$ ${\ displaystyle$ ${X}=\mathbb {R} ^{m},{\mathcal$ {Z}}=\ $mathbb$ {R} $^{n$ }}( $일부$ m, n, n, n $m,n$ n, n, n)의 경우).

파라미터화된 2개의 함수 패밀리: 인코더 $E_{\phi }:{\mathcal {X}}\rightarrow {\mathcal {Z}}$ E $E_{\phi }:{\mathcal {X}}\rightarrow {\mathcal {Z}}$ : $E_{\phi }:{\mathcal {X}}\rightarrow {\mathcal {Z}}$ $E_{\phi }:{\mathcal {X}}\rightarrow {\mathcal {Z}}$ {\ $displaystyle E_{\$ $phi$ $E_{\phi }:{\mathcal {X}}\rightarrow {\mathcal {Z}}$ }:{\ $mathcal {X}}\rightarrow$ {\ $mathcal$ $\phi$ ${$ $Z$ $\phi$ 디코더 $D_{\theta }:{\mathcal {Z}}\rightarrow {\mathcal {X}}$ D $D_{\theta }:{\mathcal {Z}}\rightarrow {\mathcal {X}}$ : Z $D_{\theta }:{\mathcal {Z}}\rightarrow {\mathcal {X}}$ X {\ $displaystyle$ {Z $}:$ {\ta $}:$ {\ $the$ }: {\ta}: {\ $the$ }:\the}:\the}:\theryle}에 의해 파라미터화된 인코더 패밀리. $(\displaystyle\theta$ 。

$x\in {\mathcal {X}}$ X {\ $style$ x $\in$ {X $x\in {\mathcal {X}}$ 에 대해서는 보통 z $z=E_{\phi }(x)$ $z=E_{\phi }(x)$ ( $z=E_{\phi }(x)$ ) { $displaystyle$ z $=E_{\phi$ }( $x$ 로 $z=E_{\phi }(x)$ 하며 코드, 잠복 변수, 잠재 표현, 잠재 벡터 등으로 표기합니다.반대로 $z\in {\mathcal {Z}}$ $z\in {\mathcal {Z}}$ $z\in {\mathcal {Z}}$ \ $displaystyle$ z \ $in$ \ $mathcal$ { Z $}$ 、 x $x'=D_{\theta }(z)$ $x'=D_{\theta }(z)$ ( ( $x'=D_{\theta }(z)$ ) { $display$ x' = $D_{\theta$ } ( $z)$ } 라고 $x'=D_{\theta }(z)$ (디코딩된) 메시지라고 합니다.

보통 인코더와 디코더는 모두 다층 퍼셉트론으로 정의됩니다.예를 들어, 1층 MLP $E_{\phi }$ " $E_{\phi }$ " { $displaystyle$ E _ { \ $phi }$ $E_{\phi }$ 。

\displaystyle E_{\phi }(\mathbf {x})=\display(Wx+b)}

여기서 $\sigma$ { $displaystyle \sigma}$ 는 $\sigma$ Sigmoid 함수 또는 정류 선형 단위와 같은 요소별 활성화 함수이고, $(\displaystyle$ W $)$ 는 $W$ "무게"라고 하는 행렬, $(\displaystyle$ b $)$ 는 $b$ "bias"라고 하는 벡터입니다.

자동 인코더 트레이닝

자동 인코더는 그 자체로 두 가지 기능의 튜플입니다.품질을 판단하기 위해서는 과제가 필요합니다.태스크는 ${\mathcal {X}}$ 에 ${\mathcal {X}}$ 기준 확률 $\mu _{ref}$ $\mu _{ref}$ r $\mu _{ref}$ f $\mu _{ref}$ \ $displaystyle$ \ $mu$ $\mu _{ref}$ _ { $ref$ ${\mathcal {X}}$ 및 $\mu _{ref}$ " $d(x,x')$ " $d:{\mathcal {X}}\times {\mathcal {X}}\to [0,\infty ]$ d: $d:{\mathcal {X}}\times {\mathcal {X}}\to [0,\infty ]$ × X $d:{\mathcal {X}}\times {\mathcal {X}}\to [0,\infty ]$ [ $d:{\mathcal {X}}\times {\mathcal {X}}\to [0,\infty ]$ 0 , $d:{\mathcal {X}}\times {\mathcal {X}}\to [0,\infty ]$ $]$ { $displaystyle$ d: { \ $mathcal$ { X } $}$ $\ times$ { \ $mathcal$ { X } \ to $d$ $d(x,x')$ . 0 . infty $d:{\mathcal {X}}\times {\mathcal {X}}\to [0,\infty ]$ 에 의해 정의됩니다. $e$ d $(x,x')$ 는 $d(x,x')$ x $({$ $displaystyle$ x $')$ 와 $x'$ x({ $displaystyle$ x $x$ 의 $x'$ 를 측정합니다.

이러한 기능을 사용하면 자동 인코더의 손실 함수를 다음과 같이 정의할 수 있습니다.

{\displaystyle L(\theta,\phi):=\mathbb {E}_{x\sim \mu _{ref}}[d(x,D_{\theta }(x)}]

\arg \min _{\theta ,\phi }L(\theta ,\phi )

의 태스크

(\mu _{ref},d)

(\mu _{ref},d)

(\mu _{ref},d)

f ,

(\mu _{ref},d)

) {

displaystyle

( \

mu

_ {

ref

,

d

)

\arg \min _{\theta ,\phi }L(\theta ,\phi )

} }

\arg \min _{\theta ,\phi }L(\theta ,\phi )

arg \

min

{

\arg \min _{\theta ,\phi }L(\theta ,\phi )

\

\arg \min _{\theta ,\phi }L(\theta ,\phi )

, \

phi

L

(

\arg \min _{\theta ,\phi }L(\theta ,\phi )

\

theta

, \

phi

)

\arg \min _{\theta ,\phi }L(\theta ,\phi )

。최적의 자동 인코더의 검색은 수학적 최적화 기법에 의해 수행될 수 있지만, 일반적으로 구배 강하법에 의해 수행된다.이 검색 프로세스를 "자동 인코더 교육"이라고 합니다.

대부분의 경우 기준분포는 $\{x_{1},...,x_{N}\}\subset {\mathcal {X}}$ 세트 $\{x_{1},...,x_{N}\}\subset {\mathcal {X}}$ { $\{x_{1},...,x_{N}\}\subset {\mathcal {X}}$ 1 $\{x_{1},...,x_{N}\}\subset {\mathcal {X}}$ , . , $\{x_{1},...,x_{N}\}\subset {\mathcal {X}}$ N $\{x_{1},...,x_{N}\}\subset {\mathcal {X}}$ } $\{x_{1},...,x_{N}\}\subset {\mathcal {X}}$ X { $displaystyle$ \ { $x _$ {1} , $\{x_{1},...,x_{N}\}\subset {\mathcal {X}}$ x $_$ { N } \ $subset$ { $mathcal$ { $\{x_{1},...,x_{N}\}\subset {\mathcal {X}}$ X $}$ x by by by by by by by by by by by by by by by by by by by by by by by { { { { { { { { { { x 1 . 1 . x 1 . { x 1 . { x 1 } } 1x\}} x a x by by by by by by by by by by

\displaystyle \mu _{ref}=sum _{i=1}^{N}\delta _{x_{i}}

품질 함수는 L2 손실뿐입니다 $d(x,x')=\|x-x'\|_{2}^{2}$ ( $d(x,x')=\|x-x'\|_{2}^{2}$ , $d(x,x')=\|x-x'\|_{2}^{2}$ $d(x,x')=\|x-x'\|_{2}^{2}$ ) $d(x,x')=\|x-x'\|_{2}^{2}$ $d(x,x')=\|x-x'\|_{2}^{2}$ - x $d(x,x')=\|x-x'\|_{2}^{2}$ $d(x,x')=\|x-x'\|_{2}^{2}$ 2 { { $displaystyle d$ ( x , x ) = \ x - $x$ ' \ { $2 }$ $d(x,x')=\|x-x'\|_{2}^{2}$ 최적의 자동 인코더를 검색하는 문제는 최소한의 최적화입니다.

\displaystyle _{\theta,\phi}L(\theta,\phi),{\text{}L(\theta,\phi})=sum _{i=1}^{N}\x_{i}-D_{\theta }(E_i)

해석

기본 자동 인코더 스키마

자동 인코더는 메시지를 코드에 매핑하는 인코더와 메시지를 코드에서 재구성하는 디코더의 두 가지 주요 부분으로 구성됩니다.최적의 자동 인코더는 재구성 품질 $함수$ d $\displaystyle$ d에 의해 정의된 "완벽에 가깝다"를 사용하여 가능한 한 완벽한 재구성을 수행합니다.

복사 작업을 완벽하게 수행하는 가장 간단한 방법은 신호를 복제하는 것입니다.이 동작을 억제하기 위해 코드 ${\mathcal {Z}}$ Z(\ $displaystyle\mathcal {Z})$ 는 ${\mathcal Z}$ 보통 메시지 ${\mathcal {X}}$ X(\ $displaystyle\mathcal {X$ 보다 차원이 작습니다.

이러한 자동 인코더는 언더 컴플리트라고 불립니다.이는 메시지를 압축하거나 ^[9]차원을 축소하는 것으로 해석할 수 있습니다.

이상적인 자동 인코더의 한계에서는 코드 공간에서 가능한 모든 코드 $z$ (\ $displaystyle$ $\mu _{ref}$ z $)$ 를 $z$ 사용하여 $\mu _{ref}$ $\mu _{ref}$ f {\ $displaystyle$ \ $mu _{$ ref $\mu _{ref}$ 에 실제로 표시되는 $메시지x$ (\ $displaystyle$ x $)$ 를 $x$ 부호화합니다.디코더도 완벽합니다. $D_{\theta }(E_{\phi }(x))=x$ $D_{\theta }(E_{\phi }(x))=x$ $D_{\theta }(E_{\phi }(x))=x$ $D_{\theta }(E_{\phi }(x))=x$ $D_{\theta }(E_{\phi }(x))=x$ （ $displaystyle$ D _ { $D_{\theta }(E_{\phi }(x))=x$ ）。 $theta }(E_{\phi$ }( $x)=x$ 이 이상적인 자동 인코더는 디코더에 임의의 $코드$ z(\ $displaystyle$ z)를 $z$ 공급하고 D $D_{\theta }(z)$ $\mu _{ref}$ ( $D_{\theta }(z)$ )(\ $\mu _{ref}$ $D_{\theta$ }( $z$ $D_{\theta }(z)$ 를 $D_{\theta }(z)$ 으로써 실제 $\mu _{ref}$ 와 구별할 수 없는 메시지를 생성하는데 사용할 수 있습니다 $.$ $le \mu$ _ ${ref$ :

코드 ${\mathcal {Z}}$ Z({ $displaystyle {Z})$ 의 ${\mathcal Z}$ 치수가 메시지 ${\mathcal {X}}$ X({ $displaystyle {X$ 보다 크거나 같은 경우 또는 숨겨진 유닛에 충분한 용량이 부여되어 있으면 자동 인코더가 식별 기능을 학습하여 사용할 수 없게 됩니다.그러나 실험 결과에 따르면 자동 인코더가 지나치게 완전하면 여전히 유용한 ^[10]기능을 학습할 수 있습니다.

이상적인 설정에서는 코드 치수와 모델 용량을 모델화하는 데이터 분포의 복잡성에 근거해 설정할 수 있다.표준적인 방법은 기본 자동 인코더에 변경을 추가하는 것입니다.^[2]자세한 내용은 다음과 같습니다.

역사

자동 인코더는 자동 어소시에이터 ^[11]또는 Diabolo^[12] ^[10]네트워크라고도 불립니다.그것의 첫 번째 ^[2]^[13]^[14]적용은 1980년대까지 거슬러 올라간다.가장 전통적인 애플리케이션은 차원 축소 또는 기능 학습이었지만,^[15]^[16] 이 개념은 데이터의 생성 모델을 학습하는 데 널리 사용되었습니다.2010년대 가장 강력한 AI 중 일부는 깊은 신경 네트워크 ^[17]안에 쌓인 자동 인코더를 포함했다.

바리에이션

정규화된 자동 인코더

자동 인코더가 식별 기능을 학습하는 것을 방지하고 중요한 정보를 캡처하여 보다 풍부한 표현을 학습하는 능력을 향상시키기 위해 다양한 기술이 존재합니다.

스파스 자동 인코더(SAE)

신경과학의 희박한 코딩 가설에서 영감을 얻어 스파스 자동 인코더는 자동 인코더의 변형으로, 메시지의 $D_{\phi }(x)$ $D_{\phi }(x)$ ( ( $D_{\phi }(x)$ ) \ $displaystyle D_{\phi$ }( $x)$ 는 $D_{\phi }(x)$ 스파스한 코드인 경향이 있다. 즉, $D_{\phi }(x)$ $D_{\phi }(x)$ ( $D_{\phi }(x)$ x $D_{\phi }(x)$ ) \ $displaystyle D_{\phi$ }( $x)$ 는 $D_{\phi }(x)$ 대부분의 엔트리에 가깝다.스파스 자동 인코더에는 입력보다 많은 수의 숨겨진 장치가 포함될 수 있지만 동시에 ^[17]활성화할 수 있는 숨겨진 장치의 수는 극소수에 불과합니다.희소성을 장려하면 분류 ^[18]작업의 성능이 향상됩니다.

단일 레이어 스파스 자동 인코더의 단순한 스키마.밝은 노란색으로 표시된 숨겨진 노드는 활성화되고 밝은 노란색으로 표시된 노드는 비활성화됩니다.활성화는 입력에 따라 달라집니다.

희소성을 강제하는 두 가지 주요한 방법이 있다.한 가지 방법은 잠복 코드의 최상위 k개의 액티베이션 이외의 모든 액티베이션에 대해 0으로 클램프하는 것입니다.이것은 k-sparse 자동 인코더입니다.^[19]

k-sparse 자동 인코더는 표준 자동 인코더의 잠재 레이어에 다음 "k-sparse 함수"를 삽입합니다.

f_{k}(x_{1},...x_{n})=(x_{1}b_{1}...x_{n}b_{n}}

b_{i}=1

서 b

b_{i}=1

=

b_{i}=1

|x_{i}|

{

displaystyle b_

{i

} }

이

|x_{i}|

(가) 상위 k에 있으면 1

({displaystyle b_

{i

}=1)이고

b_{i}=1

, 그렇지 않으면 0)입니다.

$f_{k}$ k $(\$ 를 $f_{k}$ $b_{i}=0$ $f_{k}$ 역전파는 간단합니다. $b_{i}=0$ i $b_{i}=0$ { $displaystyle b_{i$ } = $0$ $b_{i}=1$ $}$ 엔트리에 $b_{i}=0$ 는 그라데이션 0으로 설정하고 b $b_{i}=1$ $b_{i}=1$ $1(\displaystyle b_{i$ } =1 $b_{i}=1$ } 엔트리에 $b_{i}=1$ 는 그라데이션으로 유지합니다.이는 기본적으로 일반화된 ReLU ^[19]함수입니다.

다른 하나는 k-sparse 자동 인코더의 완화된 버전입니다.희소성을 강제하는 대신 희소성 정규화 손실을 추가하여 최적화합니다.

\displaystyle \min _{\theta,\phi}L(\theta,\phi)+\lambda L_{sparsity}(\theta,\phi)}

\lambda >0

서 "

>

0 \

displaystyle

\

sparsda

>

0

} ^[20]에서는

\lambda >0

적용하는 희소성의 양을 측정합니다.

자동 인코더 아키텍처에 $(\displaystyle$ K $)$ 레이어를 $K$ 설정합니다.희소성 정규화 손실을 정의하려면 각 레이어에 대해 "확장" ${\hat {\rho }}_{k}$ ${\hat {\rho }}_{k}$ ^ ${\hat {\rho }}_{k}$ { $displaystyle$ { $hat { rho$ $}$ _ ${\hat {\rho }}_{k}$ $w_{k}$ ${$ k } , 각 희소성을 적용하는 $w_{k}$ 및 함수 $s:[0,1]\times [0,1]\to [0,\infty ]$ : [ $s:[0,1]\times [0,1]\to [0,\infty ]$ , $s:[0,1]\times [0,1]\to [0,\infty ]$ × $s:[0,1]\times [0,1]\to [0,\infty ]$ [ $s:[0,1]\times [0,1]\to [0,\infty ]$ , 1 $→$ [ 0 , 1 $s:[0,1]\times [0,1]\to [0,\infty ]$ \ times $][$ 0 , \ times ]가 필요합니다 $.$ 두 가지 희소가 크게 다르다.

각 $입력$ x $(\displaystyle$ x $x$ 에 대해 각 $레이어$ k(\ $displaystyle$ k $)$ 의 $k$ 활성화의 실제 극소수를 설정합니다.

\displaystyle \rho _{k}(x)=sum frac {1}{n}\sum _{i=1}^{n}a_{k,i}(x)}

a_{k,i}(x)

서 k

a_{k,i}(x)

(

a_{k,i}(x)

)

a_{k,i}(x)

{

display

style

a_{k,i

}(

x)

는

a_{k,i}(x)

x

{

displaystyle

x

x

x

시

k 층의

i번째

i

뉴런

에서

활성화

됩니다.

1개의 레이어의 $입력$ x{\ $display$ x $}$ 에 $x$ 대한 희소성 $s({\hat {\rho }}_{k},\rho _{k}(x))$ 은 $s({\hat {\rho }}_{k},\rho _{k}(x))$ $s({\hat {\rho }}_{k},\rho _{k}(x))$ , $s({\hat {\rho }}_{k},\rho _{k}(x))$ ( $s({\hat {\rho }}_{k},\rho _{k}(x))$ ) { $displaystyle$ s ( { \ $hat$ { $rho }} _$ { $k$ } ) $s({\hat {\rho }}_{k},\rho _{k}(x))$ 인코더 전체의 $희소성$ 정규화 손실은 희소성 손실의 가중치 합입니다.

L_{sparsity}(\theta,\phi)=\mathbb {E}_{x\sim \mu_{X}}\left[\sum _ {k\in 1:K}w_{k}s({\hat {rho }}},\rho _k(x}\k})\rho {k}\mathb {k}\mathbbb {E}\mu

s

으로^[18]^[20]^[21]^[22] 함수

s\

displaystyle

s는

s

다음과 같이 Kullback-Leibler(KL) 발산입니다.

s(\rho, {\hat {rho}}=\rho \log {rho}}+(1-\rho)\log {\frac {1-\rho}{1-{\hat }}

또는 L1 손실( $s(\rho ,{\hat {\rho }})=|\rho -{\hat {\rho }}|$ $s(\rho ,{\hat {\rho }})=|\rho -{\hat {\rho }}|$ $s(\rho ,{\hat {\rho }})=|\rho -{\hat {\rho }}|$ - $s(\rho ,{\hat {\rho }})=|\rho -{\hat {\rho }}|$ ^ $s(\rho ,{\hat {\rho }})=|\rho -{\hat {\rho }}|$ \ $displaystyle$ s （ \ $rho$ , { \ hat $}$ ） $s(\rho ,{\hat {\rho }})=|\rho -{\hat {\rho }}|^{2}$ $s(\rho ,{\hat {\rho }})=|\rho -{\hat {\rho }}|^{2}$ 손실( $s(\rho ,{\hat {\rho }})=|\rho -{\hat {\rho }}|^{2}$ ^ $s(\rho ,{\hat {\rho }})=|\rho -{\hat {\rho }}|^{2}$ $、$ 、、、、 $s(\rho ,{\hat {\rho }})=|\rho -{\hat {\rho }}|^{2}$ ^ （ \ $displaystyle s ）$ 、

또는 희소성 정규화 손실은 "희망 희소성"을 고려하지 않고 정의할 수 있지만, 단순히 가능한 한 많은 희소성을 강제할 수 있다.이 경우 정규화 손실은 다음과 같이 희박해질 수 있습니다.

{\displaystyle L_{sparsity}(\theta,\phi)=\mathbb {E}_{x\sim \mu_{X}}\left[\sum_{k\in 1:K}w_{k}\h_{k}\right]

h_{k}

서 h

{\

displaystyle

h_{k

}}

는

h_{k}

자동 인코더의

k번째

층에 있는 활성화 벡터입니다.노름 "

\|\cdot \|

" "

style \ cdot

\

)

는

\|\cdot \|

보통 L1 노름(L1 sparse autoencoder 제공) 또는 L2 노름(L2 sparse autoencoder 제공)입니다.

노이즈 제거 자동 인코더(DAE)

노이즈 제거 자동 인코더(DAE)는 재구성 ^[2]^[3]기준을 변경하여 적절한 표현을 시도합니다.

DAE는 표준 자동 인코더에 노이즈 프로세스를 추가하여 정의합니다.잡음 프로세스는 $T:{\mathcal {X}}\to {\mathcal {X}}$ T $T:{\mathcal {X}}\to {\mathcal {X}}$ $T:{\mathcal {X}}\to {\mathcal {X}}$ $T:{\mathcal {X}}\to {\mathcal {X}}$ 에 대한 확률 $\mu _{T}$ $\mu _{T}$ T {\ $displaystyle \mu$ _ ${T}}$ 에 $\mu _{T}$ 의해 정의됩니다. 즉, $함수$ T {\ $displaystyle$ T $}$ 는 $T$ X $x\in {\mathcal {X}}$ {\ $displaystyle$ x $\in$ 및 {\ $mathcal}$ 의 $x\in {\mathcal {X}}$ 된 메시지를 받습니다. $T(x)$ $T(x)$ ) { $displaystyle$ T ( $x$ ) $T(x)$ } $함수$ T {\ $displaystyle$ T $}$ 는 $T$ $\mu _{T}$ $\mu _{T}$ T {\ $displaystyle \mu$ _ ${T$ 에서 랜덤으로 선택됩니다.

태스크 $(\mu _{ref},d)$ $(\mu _{ref},d)$ $(\mu _{ref},d)$ f , $(\mu _{ref},d)$ ) $(\mu _{ref},d)$ { $displaystyle$ ( \ $mu$ _ { $ref$ , $d$ ) $(\mu _{ref},d)$ }의 경우 DAE 트레이닝의 문제는 최적화 문제입니다.

\displaystyle \min _{\theta,\phi}L(\theta,\phi)=\mathbb {E}_{x\sim \mu _{X},T\sim \mu _{T}}[d(x,(D_{\theta }\theta }\phi } }) ]

즉, 최적의 DAE는 노이즈가 많은 메시지를 수신하여 노이즈 없이 원래 메시지를 회복하려고 시도해야 합니다.따라서 "denoising"이라는 이름이 붙습니다.

일반적으로 노이즈 $프로세스$ T(\ $displaystyle$ T $)$ 는 $T$ 훈련 및 테스트 시에만 적용되며 다운스트림 사용 시에는 적용되지 않습니다.

DAE의 사용은 다음 두 가지 전제조건에 따라 달라집니다.

메시지에는 발생할 가능성이 높은 소음 유형에 대해 비교적 안정적이고 견고한 표현이 존재한다.
상기 표현은 우리의 ^[3]목적에 유용한 투입분포의 구조를 포착한다.

소음 프로세스의 예는 다음과 같습니다.

가등방성 가우스 노이즈,
마스킹 노이즈(입력 중 일부를 랜덤으로 선택하여 0으로 설정)
염분 및 염분 노이즈(입력 중 일부가 랜덤으로 선택되고 임의로 최소값 ^[3]또는 최대값으로 설정됨).

계약형 자동 인코더(CAE)

수축형 자동 인코더는 수축형 정규화 손실을 표준 자동 인코더 손실에 추가합니다.

\displaystyle \min _{\theta,\phi}L(\theta,\phi)+\lambda L_{contractive}(\theta,\phi)}

\lambda >0

서

\lambda >0

(\displaystyle\displayda

>

0)

은

\lambda >0

어느 정도의 수축성을 적용하는지를 측정합니다.수축적 정규화 손실 자체는 입력에 관한 인코더 활성화의 야코비안 매트릭스의 예상 프로베니우스 노름으로 정의됩니다.

L_{contractive}(\theta,\phi)=\mathbb {E}_{x\sim \mu _{ref}\\contractla _{x}E_{\phi}(x)\{F}{2}

L_{contractive}

L_{contractive}

L_{contractive}

L_{contractive}

r

L_{contractive}

L_{contractive}

L_{contractive}

L_{contractive}

L_{contractive}

e {

displaystyle L

_ {

contractive

} , ,,,,,,,,, 。

\displaystyle \ E_{\phi }(x+\delta x)-E_{\phi }(x)\leq \nabla _{x}E_{\phi }(x)\{F}\delta x\{2}

(\

x

\in\mathcal {X

및 작은

\delta x

x

(\displaystyle \delta

x)에

\delta x

대해 지정합니다.

\|\nabla _{x}E_{\phi }(x)\|_{F}^{2}

"

\|\nabla _{x}E_{\phi }(x)\|_{F}^{2}

"

\|\nabla _{x}E_{\phi }(x)\|_{F}^{2}

"

\|\nabla _{x}E_{\phi }(x)\|_{F}^{2}

( x )

\|\nabla _{x}E_{\phi }(x)\|_{F}^{2}

2 \

displaystyle

\ \

nabla _

{ x } E _ { \

phi }

( x ) \ { F

}^2

}

small

small small small small small small thus thus thus thus thus thus thus thus thus thus thus thus thus thus thus thus thus thus thus thus thus thus thus thushood thus {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ thus {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\2 \ displaystystystystyle \ nabla _ \ nabla _ { \이는 메시지의 작은 변화가 코드의 작은 변화(예: 두 그림이 완전히 동일하지 않더라도 어떻게 보이는지)를 초래한다는 것을 의미하기 때문에 바람직한 속성입니다.

DAE는 CAE의 최소 한계로 이해할 수 있다. 작은 가우스 입력 노이즈의 한계에서 DAE는 재구성 함수를 작지만 유한한 크기의 입력 섭동에 저항하게 하고, CAE는 추출된 피쳐를 무한 입력 섭동에 저항하게 한다.

최소 설명 길이 자동 인코더

^[23]

콘크리트 자동 인코더

콘크리트 자동 인코더는 개별 피쳐 ^[24]선택을 위해 설계되었습니다.콘크리트 자동 인코더는 잠복 공간을 사용자가 지정한 수의 피쳐로만 구성하도록 강제합니다.콘크리트 자동 인코더는 범주 분포의 연속적인 완화를 사용하여 구배가 피쳐 셀렉터 레이어를 통과할 수 있도록 합니다.그러면 표준 역전파를 사용하여 재구성 손실을 최소화하는 입력 피쳐의 최적 서브셋을 학습할 수 있습니다.

가변 자동 인코더(VAE)

VAE(Variational Auto Encoder)는 베이지안 방식의 패밀리에 속합니다.기본 자동 인코더와 아키텍처가 유사하지만 VAE는 다른 목표와 완전히 다른 수학 공식의 아키텍처입니다.이 경우 잠복 공간은 고정 벡터 대신 분포의 혼합으로 구성됩니다.

미지의 $x)$ { $displaystyle$ P $(x)}$ 및 $P(x)$ 다변량 잠재 부호화 $벡터$ z { $displaystyle$ z $p_{\theta }(x)$ 로 특징지어지는 $x$ 입력 $데이터$ 세트x { $displaystyle$ $\theta$ x $}$ 가 주어진 경우, $\theta$ 목적은 데이터를 $p_{\theta }(x)$ p $θ$ 로서 모델링하는 것이다 $.$ }은 $\theta$ 네트워크 파라미터의 세트로 정의되어 있습니다. $p_{\theta }(x)=\int _{z}p_{\theta }(x,z)dz$ 에 $p_{\theta }(x)=\int _{z}p_{\theta }(x,z)dz$ , p $p_{\theta }(x)=\int _{z}p_{\theta }(x,z)dz$ ( x ) $= z$ p $p_{\theta }(x)=\int _{z}p_{\theta }(x,z)dz$ ( $p_{\theta }(x)=\int _{z}p_{\theta }(x,z)dz$ , $p_{\theta }(x)=\int _{z}p_{\theta }(x,z)dz$ ) $d$ z { $displaystyle$ p_{\ $theta$ }(x )=\ $int _{z$ }p_ ${\$ theta $}(x,z$ )dz $p_{\theta }(x)=\int _{z}p_{\theta }(x,z)dz$ dz}가 됩니다 $.$

깊이의 장점

완전히 연결된 3개의 숨겨진 레이어가 있는 자동 인코더의 개략적인 구조입니다.코드(텍스트에서는 참조용 z 또는h)는 가장 내부 레이어입니다.

자동 인코더는 많은 경우 단일 레이어 인코더와 단일 레이어 디코더를 사용하여 훈련되지만 다층(심층) 인코더와 디코더를 사용하면 ^[2]많은 이점이 있습니다.

깊이는 일부 ^[2]함수를 나타내는 계산 비용을 기하급수적으로 줄일 수 있습니다.
깊이는 일부 ^[2]기능을 학습하는 데 필요한 교육 데이터의 양을 기하급수적으로 줄일 수 있습니다.
실험적으로 딥 자동 인코더는 얕은 자동 인코더 ^[9]또는 선형 자동 인코더에 비해 더 나은 압축을 제공합니다.

트레이닝

Geoffrey Hinton은 여러 층의 딥 오토 인코더를 훈련시키기 위한 딥 페이스 네트워크 기술을 개발했습니다.그의 방법은 두 층의 인접한 각 세트를 제한된 볼츠만 기계로 취급하여 사전 훈련이 좋은 솔루션에 근접하도록 한 다음 역전파를 사용하여 ^[9]결과를 미세 조정하는 것이다.

연구자들은 공동 훈련(즉, 전체 아키텍처를 최적화하는 단일 글로벌 재구성 목표와 함께 훈련)이 심층 자동 인코더에 ^[25]더 나은지 여부를 논의해 왔습니다.2015년 연구에 따르면 공동 훈련은 계층적 ^[25]방법에 비해 분류를 위한 보다 대표적인 특징과 함께 더 나은 데이터 모델을 학습한다.하지만, 그들의 실험은 합동 훈련의 성공이 ^[25]^[26]채택된 정규화 전략에 크게 좌우된다는 것을 보여주었다.

적용들

자동 인코더의 두 가지 주요 적용 분야는 치수 감소와 정보 ^[2]검색이지만, 현대의 변형은 다른 작업에 적용되어 왔다.

치수 축소

Fashion MNIST ^[27]데이터 세트에 적용된 선형 자동 인코더의 처음 두 개의 주요 구성 요소(왼쪽)와 2차원 숨겨진 레이어(오른쪽)의 플롯입니다.둘 다 선형인 두 모델은 동일한 부분 공간에 걸쳐 있는 방법을 학습합니다.데이터 점의 투영도는 PCA가 불변인 부분 공간의 회전을 제외하면 실제로 동일하다.

차원 축소는 최초의 딥 러닝 애플리케이션 ^[2]중 하나였습니다.

힌튼의 2006년 ^[9]연구를 위해 그는 RBM 더미가 있는 다층 자동 인코더를 미리 시험한 후, 30개의 뉴런의 병목점에 도달할 때까지 그 무게를 사용하여 점차 더 작은 숨겨진 층을 가진 심층 자동 인코더를 초기화했다.결과 30개의 코드 치수는 주성분 분석(PCA)의 처음 30개 구성요소에 비해 더 작은 재구성 오류를 산출했으며, 데이터 ^[2]^[9]클러스터를 명확하게 분리하여 질적으로 해석하기 쉬운 표현을 학습했다.

치수를 표시하면 ^[2]분류와 같은 작업의 성능을 향상시킬 수 있습니다.실제로 차원성 감소의 특징은 의미론적으로 관련된 예를 ^[28]서로 가까이 배치하는 것이다.

주성분 분석

코드 크기가 2개(2유닛 숨겨진 레이어)인 자동 인코더에 의한 28x28픽셀 영상 재구성 및 PCA의 처음 두 주요 구성 요소에서 재구성.이미지는 Fashion MNIST ^[27]데이터 세트에서 가져옵니다.

선형 활성화가 사용되거나 단일 Sigmoid 은색층만 사용되는 경우 자동 인코더의 최적 솔루션은 주성분 분석(PCA)^[29]^[30]과 강하게 관련됩니다. $크기$ p $($ $p$ 서 p $\displaystyle$ p $\$ displaystyle p} $p$ 는 $p$ 입력 크기보다 작음)의 단일 숨겨진 레이어를 가진 자동 인코더의 무게는 첫 $번째$ p $\displaystyle$ p $}$ 주요 $p$ 컴포넌트에 의해 스판되는 벡터 서브스페이스와 동일한 벡터 서브스페이스에 걸쳐 있으며 자동 인코더의 출력은 이 에 대한 직교 투영됩니다.ubspace를 선택합니다.자동 인코더 가중치는 주성분과 동일하지 않고 일반적으로 직교하지 않지만 주성분은 특이값 ^[31]분해를 사용하여 주성분을 복구할 수 있습니다.

그러나 자동 인코더의 잠재력은 비선형성에 있기 때문에 모델은 PCA에 비해 더 강력한 일반화를 학습할 수 있으며 정보 ^[9]손실을 크게 줄여 입력을 재구성할 수 있습니다.

정보 검색

특히 그 검색의 차원 축소에 의한 정보 검색의 메리트는 특정 종류의 저차원 공간에서 더욱 효율화될 수 있습니다.Salakhutdinov와 Hinton이 ^[28]2007년에 제안한 의미 해시에 자동 인코더가 실제로 적용되었다.저차원 바이너리 코드를 생성하도록 알고리즘을 훈련시킴으로써 모든 데이터베이스 엔트리를 엔트리에 바이너리 코드 벡터를 매핑하는 해시 테이블에 저장할 수 있다.이 테이블은 쿼리와 동일한 바이너리코드를 가진 모든 엔트리를 반환함으로써 정보 취득을 지원하거나 쿼리 인코딩에서 일부 비트를 플립하여 약간 덜 유사한 엔트리를 반환합니다.

이상 검출

자동 인코더의 또 다른 응용 프로그램은 이상 ^[32]검출입니다.^[33]^[34]^[35]^[36] 앞에서 설명한 제약 조건 중 일부에서 훈련 데이터의 가장 두드러진 특징을 복제하는 방법을 학습함으로써 모델은 가장 자주 관찰되는 특성을 정확하게 재현하는 방법을 학습하도록 장려된다.이상 징후가 발생할 경우 모델은 재구성 성능을 악화시켜야 합니다.대부분의 경우 자동 인코더를 훈련하는 데 일반 인스턴스가 있는 데이터만 사용됩니다. 다른 경우에는 이상 빈도가 관찰 세트에 비해 작기 때문에 학습된 표현에 대한 기여가 무시될 수 있습니다.훈련 후 자동 인코더는 "정상" 데이터를 정확하게 재구성하지만 익숙하지 않은 비정상적인 ^[34]데이터에는 재구성하지 못합니다.재구성 오류(원래 데이터와 저차원 재구성 사이의 오류)는 ^[34]이상을 감지하기 위한 이상 점수로 사용됩니다.

그러나 최근 문헌에 따르면 특정 자동 부호화 모델은 직설적으로 비정상적인 예제를 재구성하는 데 매우 능숙할 수 있으며 결과적으로 이상 ^[37]^[38]검출을 안정적으로 수행할 수 없다.

이미지 처리

자동 인코더의 특성은 이미지 처리에 유용합니다.

손실 이미지 압축에서는 자동 인코더가 다른 접근방식을 능가하여 JPEG ^[39]^[40]2000에 대한 경쟁력을 입증한 예를 볼 수 있습니다.

영상 전처리에서 자동 인코더의 또 다른 유용한 적용은 영상 노이즈 ^[41]^[42]^[43]제거입니다.

자동 인코더는 의료용 이미징과 같은 보다 까다로운 환경에서 사용되었으며, 이미지^[44] 노이즈 제거 및 ^[45]^[46]초해상화에 사용되었습니다.이미지 지원 진단에서 실험은 유방암 검출과^[47] 알츠하이머병의 인지 저하와 ^[48]MRI로 훈련된 자동 인코더의 잠재적 특징 사이의 관계를 모델링하기 위해 자동 인코더를 적용했다.

약물 발견

2019년에 변이형 자동 인코더로 생성된 분자가 ^[49]^[50]마우스에서 실험적으로 검증되었다.

기계 번역

자동 인코더는 기계 번역에 적용되어 있으며, 보통 NMT(^[52]^[53]Neural Machine Translation)라고 불립니다.기존 자동 인코더와 달리 출력이 입력과 일치하지 않습니다. 다른 언어로 되어 있습니다.NMT 에서는, 텍스트를 학습 순서에 부호화하는 시퀀스로서 취급해, 대상 언어의 디코더측 시퀀스를 생성한다.언어 고유의 자동 인코더는 중국어 분해 ^[54]기능과 같은 추가적인 언어 기능을 학습 절차에 통합합니다.기계 변환은 아직 자동 인코더를 사용하는 경우는 드물지만, 오히려 변압기 네트워크에서 이루어집니다.

「」를 참조해 주세요.

레퍼런스

^ Kramer, Mark A. (1991). "Nonlinear principal component analysis using autoassociative neural networks" (PDF). AIChE Journal. 37 (2): 233–243. doi:10.1002/aic.690370209.
^ ^a ^b ^c ^d ^e ^f ^g ^h ⁱ ^j ^k Goodfellow, Ian; Bengio, Yoshua; Courville, Aaron (2016). Deep Learning. MIT Press. ISBN 978-0262035613.
^ ^a ^b ^c ^d Vincent, Pascal; Larochelle, Hugo (2010). "Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion". Journal of Machine Learning Research. 11: 3371–3408.
^ Welling, Max; Kingma, Diederik P. (2019). "An Introduction to Variational Autoencoders". Foundations and Trends in Machine Learning. 12 (4): 307–392. arXiv:1906.02691. Bibcode:2019arXiv190602691K. doi:10.1561/2200000056. S2CID 174802445.
^ 힌튼 GE, 크리제프스키 A, 왕 SD자동 인코더를 변환하고 있습니다.2011년 6월 14일 인공신경망 국제회의 (44-51)스프링거, 베를린, 하이델베르크
^ ^a ^b Géron, Aurélien (2019). Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow. Canada: O’Reilly Media, Inc. pp. 739–740.
^ Liou, Cheng-Yuan; Huang, Jau-Chi; Yang, Wen-Chie (2008). "Modeling word perception using the Elman network". Neurocomputing. 71 (16–18): 3150. doi:10.1016/j.neucom.2008.04.030.
^ Liou, Cheng-Yuan; Cheng, Wei-Chen; Liou, Jiun-Wei; Liou, Daw-Ran (2014). "Autoencoder for words". Neurocomputing. 139: 84–96. doi:10.1016/j.neucom.2013.09.055.
^ ^a ^b ^c ^d ^e ^f Hinton, G. E.; Salakhutdinov, R.R. (2006-07-28). "Reducing the Dimensionality of Data with Neural Networks". Science. 313 (5786): 504–507. Bibcode:2006Sci...313..504H. doi:10.1126/science.1127647. PMID 16873662. S2CID 1658773.
^ ^a ^b Bengio, Y. (2009). "Learning Deep Architectures for AI" (PDF). Foundations and Trends in Machine Learning. 2 (8): 1795–7. CiteSeerX 10.1.1.701.9550. doi:10.1561/2200000006. PMID 23946944.
^ Japkowicz, Nathalie; Hanson, Stephen José; Gluck, Mark A. (2000-03-01). "Nonlinear Autoassociation Is Not Equivalent to PCA". Neural Computation. 12 (3): 531–545. doi:10.1162/089976600300015691. ISSN 0899-7667. PMID 10769321. S2CID 18490972.
^ Schwenk, Holger; Bengio, Yoshua (1997). "Training Methods for Adaptive Boosting of Neural Networks". Advances in Neural Information Processing Systems. MIT Press. 10.
^ Schmidhuber, Jürgen (January 2015). "Deep learning in neural networks: An overview". Neural Networks. 61: 85–117. arXiv:1404.7828. doi:10.1016/j.neunet.2014.09.003. PMID 25462637. S2CID 11715509.
^ 힌튼, G.E., & Zemel, R.S.(1994년).자동 인코더, 최소 설명 길이 및 헬름홀츠 자유 에너지.신경 정보 처리 시스템의 발전 6 (페이지 3-10).
^ Diederik P Kingma; Welling, Max (2013). "Auto-Encoding Variational Bayes". arXiv:1312.6114 [stat.ML].
^ Generating Faces with Torch, Boesen A., Larsen L. and Sonderby S.K, 2015년 torch.ch/blog/2015/11/13/gan.html
^ ^a ^b Domingos, Pedro (2015). "4". The Master Algorithm: How the Quest for the Ultimate Learning Machine Will Remake Our World. Basic Books. "Deeper into the Brain" subsection. ISBN 978-046506192-1.
^ ^a ^b Frey, Brendan; Makhzani, Alireza (2013-12-19). "k-Sparse Autoencoders". arXiv:1312.5663. Bibcode:2013arXiv1312.5663M. {{cite journal}}:Cite 저널 요구 사항 journal=(도움말)
^ ^a ^b Makhzani, Alireza; Frey, Brendan (2013). "K-Sparse Autoencoders". arXiv:1312.5663 [cs.LG].
^ ^a ^b Ng, A. (2011년)스파스 자동 인코더CS294A 강의 노트, 72(2011), 1-19.
^ Nair, Vinod; Hinton, Geoffrey E. (2009). "3D Object Recognition with Deep Belief Nets". Proceedings of the 22Nd International Conference on Neural Information Processing Systems. NIPS'09. USA: Curran Associates Inc.: 1339–1347. ISBN 9781615679119.
^ Zeng, Nianyin; Zhang, Hong; Song, Baoye; Liu, Weibo; Li, Yurong; Dobaie, Abdullah M. (2018-01-17). "Facial expression recognition via learning deep sparse autoencoders". Neurocomputing. 273: 643–649. doi:10.1016/j.neucom.2017.08.043. ISSN 0925-2312.
^ Hinton, Geoffrey E; Zemel, Richard (1993). "Autoencoders, Minimum Description Length and Helmholtz Free Energy". Advances in Neural Information Processing Systems. Morgan-Kaufmann. 6.
^ Abid, Abubakar; Balin, Muhammad Fatih; Zou, James (2019-01-27). "Concrete Autoencoders for Differentiable Feature Selection and Reconstruction". arXiv:1901.09346 [cs.LG].
^ ^a ^b ^c Zhou, Yingbo; Arpit, Devansh; Nwogu, Ifeoma; Govindaraju, Venu (2014). "Is Joint Training Better for Deep Auto-Encoders?". arXiv:1405.1380 [stat.ML].
^ R. Salakhutdinov와 G. E. 힌튼, AISTATS, 2009, 페이지 448-455의 "딥 볼츠만 기계".
^ ^a ^b "Fashion MNIST". GitHub. 2019-07-12.
^ ^a ^b Salakhutdinov, Ruslan; Hinton, Geoffrey (2009-07-01). "Semantic hashing". International Journal of Approximate Reasoning. Special Section on Graphical Models and Information Retrieval. 50 (7): 969–978. doi:10.1016/j.ijar.2008.11.006. ISSN 0888-613X.
^ Bourlard, H.; Kamp, Y. (1988). "Auto-association by multilayer perceptrons and singular value decomposition". Biological Cybernetics. 59 (4–5): 291–294. doi:10.1007/BF00332918. PMID 3196773. S2CID 206775335.
^ Chicco, Davide; Sadowski, Peter; Baldi, Pierre (2014). "Deep autoencoder neural networks for gene ontology annotation predictions". Proceedings of the 5th ACM Conference on Bioinformatics, Computational Biology, and Health Informatics - BCB '14. p. 533. doi:10.1145/2649387.2649442. hdl:11311/964622. ISBN 9781450328944. S2CID 207217210.
^ Plaut, E (2018). "From Principal Subspaces to Principal Components with Linear Autoencoders". arXiv:1804.10253 [stat.ML].
^ 모랄레스 포레로, A. & 바세토, S.(2019년, 12월).도입 사례: 이상 검출 및 진단을 위한 준감독 방법론.2019년 IEEE 국제 산업 공학 및 엔지니어링 관리 회의 (IEEM) (p.4) (p. 1031-1037).IEEE.
^ 사쿠라다, 엠앤야이리, 티(2014년 12월)비선형 치수 감소를 수반하는 자동 인코더를 사용한 이상 검출.MLSDA 2014 제2회 감각 데이터 분석을 위한 기계 학습 워크숍(p. 4).ACM.
^ ^a ^b ^c an, J., & Cho, S. (2015년)재구성 확률을 사용한 변이형 자동 인코더 기반 이상 검출.IE에 관한 특강, 2, 1-18.
^ Zhou, C. 및 Paffenroth, R. C. (2017년, 8월)견고한 딥 자동 인코더를 사용한 이상 검출.제23회 ACM SIGKDD 국제 지식 발견 및 데이터 마이닝 회의의 진행(665-674페이지)ACM.
^ Ribeiro, Manassés; Lazzaretti, André Eugênio; Lopes, Heitor Silvério (2018). "A study of deep convolutional auto-encoders for anomaly detection in videos". Pattern Recognition Letters. 105: 13–22. Bibcode:2018PaReL.105...13R. doi:10.1016/j.patrec.2017.07.016.
^ Nalisnick, Eric; Matsukawa, Akihiro; Teh, Yee Whye; Gorur, Dilan; Lakshminarayanan, Balaji (2019-02-24). "Do Deep Generative Models Know What They Don't Know?". arXiv:1810.09136 [stat.ML].
^ Xiao, Zhisheng; Yan, Qing; Amit, Yali (2020). "Likelihood Regret: An Out-of-Distribution Detection Score For Variational Auto-encoder". Advances in Neural Information Processing Systems. 33. arXiv:2003.02977.
^ Theis, Lucas; Shi, Wenzhe; Cunningham, Andrew; Huszár, Ferenc (2017). "Lossy Image Compression with Compressive Autoencoders". arXiv:1703.00395 [stat.ML].
^ Balle, J; Laparra, V; Simoncelli, EP (April 2017). "End-to-end optimized image compression". International Conference on Learning Representations. arXiv:1611.01704.
^ Cho, K. (2013년, 2월)단순한 희소화 기능을 통해 손상된 이미지의 노이즈 제거 시 스파스 디노이즈 자동 인코더가 개선됩니다.기계학습에 관한 국제회의(432-440페이지)에서.
^ Cho, Kyunghyun (2013). "Boltzmann Machines and Denoising Autoencoders for Image Denoising". arXiv:1301.3468 [stat.ML].
^ Buades, A.; Coll, B.; Morel, J. M. (2005). "A Review of Image Denoising Algorithms, with a New One". Multiscale Modeling & Simulation. 4 (2): 490–530. doi:10.1137/040616024. S2CID 218466166.
^ Gondara, Lovedeep (December 2016). "Medical Image Denoising Using Convolutional Denoising Autoencoders". 2016 IEEE 16th International Conference on Data Mining Workshops (ICDMW). Barcelona, Spain: IEEE: 241–246. arXiv:1608.04667. Bibcode:2016arXiv160804667G. doi:10.1109/ICDMW.2016.0041. ISBN 9781509059102. S2CID 14354973.
^ Zeng, Kun; Yu, Jun; Wang, Ruxin; Li, Cuihua; Tao, Dacheng (January 2017). "Coupled Deep Autoencoder for Single Image Super-Resolution". IEEE Transactions on Cybernetics. 47 (1): 27–37. doi:10.1109/TCYB.2015.2501373. ISSN 2168-2267. PMID 26625442. S2CID 20787612.
^ Tzu-Hsi, Song; Sanchez, Victor; Hesham, EIDaly; Nasir M., Rajpoot (2017). "Hybrid deep autoencoder with Curvature Gaussian for detection of various types of cells in bone marrow trephine biopsy images". 2017 IEEE 14th International Symposium on Biomedical Imaging (ISBI 2017): 1040–1043. doi:10.1109/ISBI.2017.7950694. ISBN 978-1-5090-1172-8. S2CID 7433130.
^ Xu, Jun; Xiang, Lei; Liu, Qingshan; Gilmore, Hannah; Wu, Jianzhong; Tang, Jinghai; Madabhushi, Anant (January 2016). "Stacked Sparse Autoencoder (SSAE) for Nuclei Detection on Breast Cancer Histopathology Images". IEEE Transactions on Medical Imaging. 35 (1): 119–130. doi:10.1109/TMI.2015.2458702. PMC 4729702. PMID 26208307.
^ Martinez-Murcia, Francisco J.; Ortiz, Andres; Gorriz, Juan M.; Ramirez, Javier; Castillo-Barnes, Diego (2020). "Studying the Manifold Structure of Alzheimer's Disease: A Deep Learning Approach Using Convolutional Autoencoders". IEEE Journal of Biomedical and Health Informatics. 24 (1): 17–26. doi:10.1109/JBHI.2019.2914970. PMID 31217131. S2CID 195187846.
^ Zhavoronkov, Alex (2019). "Deep learning enables rapid identification of potent DDR1 kinase inhibitors". Nature Biotechnology. 37 (9): 1038–1040. doi:10.1038/s41587-019-0224-x. PMID 31477924. S2CID 201716327.
^ Gregory, Barber. "A Molecule Designed By AI Exhibits 'Druglike' Qualities". Wired.
^ De, Shaunak; Maity, Abhishek; Goel, Vritti; Shitole, Sanjay; Bhattacharya, Avik (2017). "Predicting the popularity of instagram posts for a lifestyle magazine using deep learning". 2017 2nd IEEE International Conference on Communication Systems, Computing and IT Applications (CSCITA). pp. 174–177. doi:10.1109/CSCITA.2017.8066548. ISBN 978-1-5090-4381-1. S2CID 35350962.
^ Cho, Kyunghyun; Bart van Merrienboer; Bahdanau, Dzmitry; Bengio, Yoshua (2014). "On the Properties of Neural Machine Translation: Encoder-Decoder Approaches". arXiv:1409.1259 [cs.CL].
^ Sutskever, Ilya; Vinyals, Oriol; Le, Quoc V. (2014). "Sequence to Sequence Learning with Neural Networks". arXiv:1409.3215 [cs.CL].
^ Han, Lifeng; Kuang, Shaohui (2018). "Incorporating Chinese Radicals into Neural Machine Translation: Deeper Than Character Level". arXiv:1805.01565 [cs.CL].

[1] Kramer, Mark A. (1991). "Nonlinear principal component analysis using autoassociative neural networks" (PDF). AIChE Journal. 37 (2): 233–243. doi:10.1002/aic.690370209.

[:0-2] ^ ^a ^b ^c ^d ^e ^f ^g ^h ⁱ ^j ^k Goodfellow, Ian; Bengio, Yoshua; Courville, Aaron (2016). Deep Learning. MIT Press. ISBN 978-0262035613.

[:4-3] Vincent, Pascal; Larochelle, Hugo (2010). "Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion". Journal of Machine Learning Research. 11: 3371–3408.

[:11-4] Welling, Max; Kingma, Diederik P. (2019). "An Introduction to Variational Autoencoders". Foundations and Trends in Machine Learning. 12 (4): 307–392. arXiv:1906.02691. Bibcode:2019arXiv190602691K. doi:10.1561/2200000056. S2CID 174802445.

[5] 힌튼 GE, 크리제프스키 A, 왕 SD자동 인코더를 변환하고 있습니다.2011년 6월 14일 인공신경망 국제회의 (44-51)스프링거, 베를린, 하이델베르크

[:2-6] Géron, Aurélien (2019). Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow. Canada: O’Reilly Media, Inc. pp. 739–740.

[7] Liou, Cheng-Yuan; Huang, Jau-Chi; Yang, Wen-Chie (2008). "Modeling word perception using the Elman network". Neurocomputing. 71 (16–18): 3150. doi:10.1016/j.neucom.2008.04.030.

[8] Liou, Cheng-Yuan; Cheng, Wei-Chen; Liou, Jiun-Wei; Liou, Daw-Ran (2014). "Autoencoder for words". Neurocomputing. 139: 84–96. doi:10.1016/j.neucom.2013.09.055.

[:7-9] ^ ^a ^b ^c ^d ^e ^f Hinton, G. E.; Salakhutdinov, R.R. (2006-07-28). "Reducing the Dimensionality of Data with Neural Networks". Science. 313 (5786): 504–507. Bibcode:2006Sci...313..504H. doi:10.1126/science.1127647. PMID 16873662. S2CID 1658773.

[bengio-10] Bengio, Y. (2009). "Learning Deep Architectures for AI" (PDF). Foundations and Trends in Machine Learning. 2 (8): 1795–7. CiteSeerX 10.1.1.701.9550. doi:10.1561/2200000006. PMID 23946944.

[11] Japkowicz, Nathalie; Hanson, Stephen José; Gluck, Mark A. (2000-03-01). "Nonlinear Autoassociation Is Not Equivalent to PCA". Neural Computation. 12 (3): 531–545. doi:10.1162/089976600300015691. ISSN 0899-7667. PMID 10769321. S2CID 18490972.

[12] Schwenk, Holger; Bengio, Yoshua (1997). "Training Methods for Adaptive Boosting of Neural Networks". Advances in Neural Information Processing Systems. MIT Press. 10.

[13] Schmidhuber, Jürgen (January 2015). "Deep learning in neural networks: An overview". Neural Networks. 61: 85–117. arXiv:1404.7828. doi:10.1016/j.neunet.2014.09.003. PMID 25462637. S2CID 11715509.

[14] 힌튼, G.E., & Zemel, R.S.(1994년).자동 인코더, 최소 설명 길이 및 헬름홀츠 자유 에너지.신경 정보 처리 시스템의 발전 6 (페이지 3-10).

[VAE-15] Diederik P Kingma; Welling, Max (2013). "Auto-Encoding Variational Bayes". arXiv:1312.6114 [stat.ML].

[gan_faces-16] Generating Faces with Torch, Boesen A., Larsen L. and Sonderby S.K, 2015년 torch.ch/blog/2015/11/13/gan.html

[domingos-17] Domingos, Pedro (2015). "4". The Master Algorithm: How the Quest for the Ultimate Learning Machine Will Remake Our World. Basic Books. "Deeper into the Brain" subsection. ISBN 978-046506192-1.

[:5-18] Frey, Brendan; Makhzani, Alireza (2013-12-19). "k-Sparse Autoencoders". arXiv:1312.5663. Bibcode:2013arXiv1312.5663M. {{cite journal}}:Cite 저널 요구 사항 journal=(도움말)

[:1-19] Makhzani, Alireza; Frey, Brendan (2013). "K-Sparse Autoencoders". arXiv:1312.5663 [cs.LG].

[:6-20] Ng, A. (2011년)스파스 자동 인코더CS294A 강의 노트, 72(2011), 1-19.

[21] Nair, Vinod; Hinton, Geoffrey E. (2009). "3D Object Recognition with Deep Belief Nets". Proceedings of the 22Nd International Conference on Neural Information Processing Systems. NIPS'09. USA: Curran Associates Inc.: 1339–1347. ISBN 9781615679119.

[22] Zeng, Nianyin; Zhang, Hong; Song, Baoye; Liu, Weibo; Li, Yurong; Dobaie, Abdullah M. (2018-01-17). "Facial expression recognition via learning deep sparse autoencoders". Neurocomputing. 273: 643–649. doi:10.1016/j.neucom.2017.08.043. ISSN 0925-2312.

[23] Hinton, Geoffrey E; Zemel, Richard (1993). "Autoencoders, Minimum Description Length and Helmholtz Free Energy". Advances in Neural Information Processing Systems. Morgan-Kaufmann. 6.

[24] Abid, Abubakar; Balin, Muhammad Fatih; Zou, James (2019-01-27). "Concrete Autoencoders for Differentiable Feature Selection and Reconstruction". arXiv:1901.09346 [cs.LG].

[:9-25] Zhou, Yingbo; Arpit, Devansh; Nwogu, Ifeoma; Govindaraju, Venu (2014). "Is Joint Training Better for Deep Auto-Encoders?". arXiv:1405.1380 [stat.ML].

[26] R. Salakhutdinov와 G. E. 힌튼, AISTATS, 2009, 페이지 448-455의 "딥 볼츠만 기계".

[:10-27] "Fashion MNIST". GitHub. 2019-07-12.

[:3-28] Salakhutdinov, Ruslan; Hinton, Geoffrey (2009-07-01). "Semantic hashing". International Journal of Approximate Reasoning. Special Section on Graphical Models and Information Retrieval. 50 (7): 969–978. doi:10.1016/j.ijar.2008.11.006. ISSN 0888-613X.

[29] Bourlard, H.; Kamp, Y. (1988). "Auto-association by multilayer perceptrons and singular value decomposition". Biological Cybernetics. 59 (4–5): 291–294. doi:10.1007/BF00332918. PMID 3196773. S2CID 206775335.

[30] Chicco, Davide; Sadowski, Peter; Baldi, Pierre (2014). "Deep autoencoder neural networks for gene ontology annotation predictions". Proceedings of the 5th ACM Conference on Bioinformatics, Computational Biology, and Health Informatics - BCB '14. p. 533. doi:10.1145/2649387.2649442. hdl:11311/964622. ISBN 9781450328944. S2CID 207217210.

[31] Plaut, E (2018). "From Principal Subspaces to Principal Components with Linear Autoencoders". arXiv:1804.10253 [stat.ML].

[32] 모랄레스 포레로, A. & 바세토, S.(2019년, 12월).도입 사례: 이상 검출 및 진단을 위한 준감독 방법론.2019년 IEEE 국제 산업 공학 및 엔지니어링 관리 회의 (IEEM) (p.4) (p. 1031-1037).IEEE.

[33] 사쿠라다, 엠앤야이리, 티(2014년 12월)비선형 치수 감소를 수반하는 자동 인코더를 사용한 이상 검출.MLSDA 2014 제2회 감각 데이터 분석을 위한 기계 학습 워크숍(p. 4).ACM.

[:8-34] , J., & Cho, S. (2015년)재구성 확률을 사용한 변이형 자동 인코더 기반 이상 검출.IE에 관한 특강, 2, 1-18.

[35] Zhou, C. 및 Paffenroth, R. C. (2017년, 8월)견고한 딥 자동 인코더를 사용한 이상 검출.제23회 ACM SIGKDD 국제 지식 발견 및 데이터 마이닝 회의의 진행(665-674페이지)ACM.

[36] Ribeiro, Manassés; Lazzaretti, André Eugênio; Lopes, Heitor Silvério (2018). "A study of deep convolutional auto-encoders for anomaly detection in videos". Pattern Recognition Letters. 105: 13–22. Bibcode:2018PaReL.105...13R. doi:10.1016/j.patrec.2017.07.016.

[37] Nalisnick, Eric; Matsukawa, Akihiro; Teh, Yee Whye; Gorur, Dilan; Lakshminarayanan, Balaji (2019-02-24). "Do Deep Generative Models Know What They Don't Know?". arXiv:1810.09136 [stat.ML].

[38] Xiao, Zhisheng; Yan, Qing; Amit, Yali (2020). "Likelihood Regret: An Out-of-Distribution Detection Score For Variational Auto-encoder". Advances in Neural Information Processing Systems. 33. arXiv:2003.02977.

[39] Theis, Lucas; Shi, Wenzhe; Cunningham, Andrew; Huszár, Ferenc (2017). "Lossy Image Compression with Compressive Autoencoders". arXiv:1703.00395 [stat.ML].

[40] Balle, J; Laparra, V; Simoncelli, EP (April 2017). "End-to-end optimized image compression". International Conference on Learning Representations. arXiv:1611.01704.

[41] Cho, K. (2013년, 2월)단순한 희소화 기능을 통해 손상된 이미지의 노이즈 제거 시 스파스 디노이즈 자동 인코더가 개선됩니다.기계학습에 관한 국제회의(432-440페이지)에서.

[42] Cho, Kyunghyun (2013). "Boltzmann Machines and Denoising Autoencoders for Image Denoising". arXiv:1301.3468 [stat.ML].

[43] Buades, A.; Coll, B.; Morel, J. M. (2005). "A Review of Image Denoising Algorithms, with a New One". Multiscale Modeling & Simulation. 4 (2): 490–530. doi:10.1137/040616024. S2CID 218466166.

[44] Gondara, Lovedeep (December 2016). "Medical Image Denoising Using Convolutional Denoising Autoencoders". 2016 IEEE 16th International Conference on Data Mining Workshops (ICDMW). Barcelona, Spain: IEEE: 241–246. arXiv:1608.04667. Bibcode:2016arXiv160804667G. doi:10.1109/ICDMW.2016.0041. ISBN 9781509059102. S2CID 14354973.

[45] Zeng, Kun; Yu, Jun; Wang, Ruxin; Li, Cuihua; Tao, Dacheng (January 2017). "Coupled Deep Autoencoder for Single Image Super-Resolution". IEEE Transactions on Cybernetics. 47 (1): 27–37. doi:10.1109/TCYB.2015.2501373. ISSN 2168-2267. PMID 26625442. S2CID 20787612.

[46] Tzu-Hsi, Song; Sanchez, Victor; Hesham, EIDaly; Nasir M., Rajpoot (2017). "Hybrid deep autoencoder with Curvature Gaussian for detection of various types of cells in bone marrow trephine biopsy images". 2017 IEEE 14th International Symposium on Biomedical Imaging (ISBI 2017): 1040–1043. doi:10.1109/ISBI.2017.7950694. ISBN 978-1-5090-1172-8. S2CID 7433130.

[47] Xu, Jun; Xiang, Lei; Liu, Qingshan; Gilmore, Hannah; Wu, Jianzhong; Tang, Jinghai; Madabhushi, Anant (January 2016). "Stacked Sparse Autoencoder (SSAE) for Nuclei Detection on Breast Cancer Histopathology Images". IEEE Transactions on Medical Imaging. 35 (1): 119–130. doi:10.1109/TMI.2015.2458702. PMC 4729702. PMID 26208307.

[48] Martinez-Murcia, Francisco J.; Ortiz, Andres; Gorriz, Juan M.; Ramirez, Javier; Castillo-Barnes, Diego (2020). "Studying the Manifold Structure of Alzheimer's Disease: A Deep Learning Approach Using Convolutional Autoencoders". IEEE Journal of Biomedical and Health Informatics. 24 (1): 17–26. doi:10.1109/JBHI.2019.2914970. PMID 31217131. S2CID 195187846.

[49] Zhavoronkov, Alex (2019). "Deep learning enables rapid identification of potent DDR1 kinase inhibitors". Nature Biotechnology. 37 (9): 1038–1040. doi:10.1038/s41587-019-0224-x. PMID 31477924. S2CID 201716327.

[50] Gregory, Barber. "A Molecule Designed By AI Exhibits 'Druglike' Qualities". Wired.

[51] De, Shaunak; Maity, Abhishek; Goel, Vritti; Shitole, Sanjay; Bhattacharya, Avik (2017). "Predicting the popularity of instagram posts for a lifestyle magazine using deep learning". 2017 2nd IEEE International Conference on Communication Systems, Computing and IT Applications (CSCITA). pp. 174–177. doi:10.1109/CSCITA.2017.8066548. ISBN 978-1-5090-4381-1. S2CID 35350962.

[52] Cho, Kyunghyun; Bart van Merrienboer; Bahdanau, Dzmitry; Bengio, Yoshua (2014). "On the Properties of Neural Machine Translation: Encoder-Decoder Approaches". arXiv:1409.1259 [cs.CL].

[53] Sutskever, Ilya; Vinyals, Oriol; Le, Quoc V. (2014). "Sequence to Sequence Learning with Neural Networks". arXiv:1409.3215 [cs.CL].

[54] Han, Lifeng; Kuang, Shaohui (2018). "Incorporating Chinese Radicals into Neural Machine Translation: Deeper Than Character Level". arXiv:1805.01565 [cs.CL].

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

[30]

[31]

[32]

[33]

[34]

[35]

[36]

[37]

[38]

[39]

[40]

[41]

[42]

[43]

[44]

[45]

[46]

[47]

[48]

[49]

[50]

[51]

[52]

[53]

[54]

Search

자동 인코더

네임스페이스

더

목차

수학적 원리

정의.

자동 인코더 트레이닝

해석

역사

바리에이션

정규화된 자동 인코더

스파스 자동 인코더(SAE)

노이즈 제거 자동 인코더(DAE)

계약형 자동 인코더(CAE)

최소 설명 길이 자동 인코더

콘크리트 자동 인코더

가변 자동 인코더(VAE)

깊이의 장점

트레이닝

적용들

치수 축소

주성분 분석

정보 검색

이상 검출

이미지 처리

약물 발견

인기 예측

기계 번역

「」를 참조해 주세요.

레퍼런스

Search

자동 인코더

수학적 원리

정의.

자동 인코더 트레이닝

해석

역사

바리에이션

정규화된 자동 인코더

스파스 자동 인코더(SAE)

노이즈 제거 자동 인코더(DAE)

계약형 자동 인코더(CAE)

최소 설명 길이 자동 인코더

콘크리트 자동 인코더

가변 자동 인코더(VAE)

깊이의 장점

트레이닝

적용들

치수 축소

주성분 분석

정보 검색

이상 검출

이미지 처리

약물 발견

인기 예측

기계 번역

「 」를 참조해 주세요.

레퍼런스

「」를 참조해 주세요.