[MIT AI Lecture: Deep Learning 22] 딥러닝의 블랙박스를 깨는 수학적 설계: 계량화된 딥러닝(Metrized DL)입문 | 립시츠 상수와 Mega-norm

00:00 계량화된 딥러닝(Metrized Deep Learning)의 개념 소개 및 필요성
01:03 모듈화된 아키텍처와 블랙박스 상태인 최적화 이론 간의 모순
01:46 입력 섭동과 가중치 흔들림으로 인한 출력 오차의 기하급수적 증폭
02:49 가우스-뉴턴 분해와 놈(Norm)을 이용한 손실 함수 및 가중치 변화 제어
04:15 완벽한 모듈 조립을 위한 3가지 조건: 민감도, 질량, 놈
04:56 선형 계층(RMS 놈)과 임베딩 계층(L1 놈)의 계층별 맞춤형 기하학
06:23 직렬 및 병렬 결합 규칙을 통한 네트워크 안정성 상속 원리
06:40 개별 층의 이론을 결합하여 신경망 전체를 지배하는 메가 놈(Mega-norm) 도출
07:16 무차원 립시츠 상수를 이용한 규모 확장 시의 학습률 고정 및 안정성 확보
08:08 가중치 공간과 기울기 공간의 불일치로 인한 전통적 경사하강법의 방향 왜곡
09:03 쌍대성 맵(Duality Map) 렌즈를 통한 최적의 수학적 하강 방향 도출
09:28 스펙트럼 놈 기반 최가파른 하강 알고리즘의 압도적인 훈련 속도 향상
10:01 딥러닝의 미래 개척지: 초저정밀도 양자화 및 적대적 공격 방어
10:51 예측 가능한 물리 법칙으로 통제되는 정교한 신경망 설계 패러다임 요약