[MIT AI Lecture: Deep Learning 6] 일반화(Generalization) 이론 | 통계학 상식을 뒤집은 딥러닝의 반전

00:00 일반화 이론 강의 소개 및 딥러닝이 단순히 데이터를 암기하는 것인지에 대한 질문
00:44 훈련 데이터에 대한 '근사'와 새로운 데이터에 대한 '일반화'의 개념적 차이점 설명
02:18 단순 암기 모델인 '파일 캐비닛 모델'의 한계와 암기의 함정 지적
02:45 100조 개의 파일 실험을 통해 딥러닝이 단순 암기가 아닌 데이터 압축과 이해를 하고...
04:31 구성성(Compositionality) 원리를 통해 학습한 적 없는 새로운 조합을 만...
05:52 오컴의 면도날과 편향-분산 트레이드오프 등 고전적 통계학 이론의 기본 원칙
06:56 무작위 레이블 실험을 통해 딥러닝 모델이 고전 이론의 예측을 벗어남을 확인
08:26 모델 크기가 커짐에 따라 오차가 다시 줄어드는 '이중 하강(Double Descent...
10:51 모델이 암기보다 이해를 선택하도록 이끄는 '귀납적 편향(Inductive Bias)'...
11:18 귀납적 편향 첫 번째: 확률적으로 더 단순하고 부드러운 해답을 선호하는 모델의 특성
12:17 귀납적 편향 두 번째: 신경망의 깊이가 깊어짐에 따라 발생하는 정보의 압축과 질서
13:12 귀납적 편향 세 번째: SGD 최적화 과정에서 노이즈가 평평한 최솟값(Flat Min...
14:25 귀납적 편향 네 번째: 아키텍처 설계를 통해 모델에 불변성과 지역성 등의 물리적 법칙...
15:31 일리야 수츠케버의 유한 회로 가설: 가장 작고 효율적인 논리 구조를 찾는 딥러닝의 본질
16:28 단순 암기를 넘어 세상을 이해하는 지도를 만들어가는 딥러닝 탐험의 요약 및 마무리