[MIT AI Lecture: Deep Learning 7] 최적화를 위한 스케일링 법칙 | 거대 모델 스케일링 역설과 기하학적 해법

00:00 최적화를 위한 스케일링 법칙 및 수학적 엔진 설계 소개
00:27 딥러닝의 3대 난제(근사, 일반화, 최적화)와 최적화의 중요성
01:22 스케일링의 역설: 모델의 너비와 깊이 확장에 따른 학습 불안정성
03:10 고전적 최적화 방법론: 테일러 급수, 기울기(Gradient), 해시안(Hessian)
04:20 뉴턴 방식의 한계: 거대 모델에서의 연산 및 메모리 비용 문제
05:08 노름(Norm)의 기하학: L2 노름과 L-Infinity 노름에 따른 경사하강법
07:33 텐서 관점의 스펙트럼 노름: 행렬의 특이값을 통한 학습 안정성 제어
08:59 너비 스케일링 해법: RMS-to-RMS 노름을 통한 신호 크기 유지
10:11 깊이 스케일링 해법: 1/L 스케일링 전략과 안정적인 잔차 연결
11:29 모듈러 이론: 아키텍처와 최적화 규칙의 동시 설계를 통한 자동 최적화
12:49 강의 핵심 요약: 병목 해결, 기하학적 노름, 안정성 공학
13:39 참고 문헌 및 기술과 철학의 접점에 대한 비전 제시