VAE+codeVAE에 대해 이해하기전에 autoencoder부터 보면Autoencoder?Autoencoder 기본 구조오토인코더는 입력 데이터 X를 받아 더 낮은 차원의 latent representation Z로 인코딩한 뒤, 이를 다시 입력 데이터와 같은 차원의 출력 X′로 복원하는 신경망 구조이다. 크게 두부분으로 나뉘는데,인코더 : 입력 데이터 X를 받아 잠재 표현 Z로 변환디코더(Decoder): 잠재 표현 Z를 받아 원본 데이터와 유사한 데이터 X′로 복원함오토인코더의 한계전통적인 오토인코더는 데이터의 잠재 표현 Z를 어떻게 사용해 새로운 샘플을 생성할지에 대한 명확한 방법이 없고, 잠재 공간의 분포에 대한 가정이 없기 때문에, 잠재 변수 Z에서 샘플을 임의로 추출하여 의미 있는 새로운 데..

IntroMachine learning 에서 invertible neural network는 굉장히 유용하게 쓰임. Invertible neural network를 만들기 위해서는, inverting network랑 computing Jacobian이 효율적이어야함. 그렇지만 전형적인 뉴럴 네트워크를 봤을때는 invertible함을 achieve 하기가 어려운게, invertible property는 architecture에 구조적으로 restrictive constraint를 생기게 할 수 있음.예룰들어 NICE나 REAL NVP의 경우 coupling layer이라는 특정 구조에 의존한다던지, FFJORD이나 iResNet같은 경우는 constraint는 비교적 적지만, 자코비안 determinent..