[MIT AI Lecture: Deep Learning 20] 딥러닝 '규모의 법칙'의 비밀 | 예측 가능한 AI

00:00 딥러닝 성능의 예측 가능한 미래 및 스케일링 법칙 소개
00:32 딥러닝의 3대 핵심 자원: 데이터, 연산량, 파라미터
01:44 리처드 서튼의 '뼈아픈 교훈': 복잡한 알고리즘보다 확장의 승리
03:36 스케일링 법칙을 통한 AI 성능 및 미래 예측의 중요성
04:51 거대 모델 훈련을 위한 4단계 수학적 설계 및 외삽법
06:18 컴퓨팅 예산(C)의 구성 요소: 파라미터(N)와 데이터(D)
07:11 파워 로우: 자원 투입과 성능 향상의 완벽한 선형 관계
08:31 데이터셋 크기(Token) 확대에 따른 테스트 손실 감소 법칙
09:30 모델 크기(Parameter) 확대에 따른 지능의 확장 법칙
10:31 스케일링의 함정과 자원의 균형 잡힌 동반 성장 원칙
11:21 예산 최적화의 황금비율: 큰 모델과 적당한 데이터의 조화
12:21 언어 모델을 넘어 시각 및 강화학습으로의 법칙 일반화
13:30 미지 영역의 성능을 오차 없이 맞추는 강력한 외삽 예측 능력
14:18 딥러닝 설계의 새로운 나침반으로서의 스케일링 법칙 요약 및 결론