Distillation - 개념

[  Distillation - 블로그 ]

https://baeseongsu.github.io/posts/knowledge-distillation/ 

이 블로그를 보고 작성했습니다. 

 

1) 증류라는 뜻은 액체를 기체로 만든 것을 다시 액체로 만드는 작업 

2) 마찬가지로 학습된 큰 모델로부터 지식을 추출하여 작은 모델로 가져오는 작업이다. 

 

 

< Knowledge Distillation은 도대체 왜 등장했을까? > 

[ 문제 상황 ] 

1) 딥러닝 모델을 배포하여 서비스로 만들고 싶다. 

2) 기존의 딥러닝 모델은 고성능의 하드웨어에서 작동해야한다. 

3) 하지만 스마트폰등의 서비스가 실행되는 환경은 그렇게 고성능이 아니다. 

 

[ 해결책 ] 

1) 배포는 작은 모델을 배포하고 ( student model ) 

2) 중앙의 큰 모델이 학습한 일반화 능력을 전달해준다 ( teacher model )

 

< Knowledge Distillation의 기원과 참고  >

NIPS 2014 workshop에서 발표한 논문 “Distilling the Knowledge in a Neural Network” 

 

[ 간단한 implementation link ] 

• https://github.com/peterliht/knowledge-distillation-pytorch (pytorch)
• https://github.com/DushyantaDhyani/kdtf (tensorflow)