[MIT AI Lecture: Deep Learning 2] 신경망 학습의 핵심: 경사하강법과 오차 역전파의 원리 | 하강법으로 최저점 찾기

00:00 신경망 훈련과 손실 지형(Loss Landscape) 탐색의 서론
01:10 탐사선 구조: 입력, 파라미터, 손실 함수 설명
01:45 지형 분석: 볼록(Convex) 지형과 비볼록(Non-convex) 지형의 차이
02:51 나침반: 경사 하강법(Gradient Descent)의 기본 원리
03:26 기동 전술: 확률적 경사 하강법(SGD)과 미니배치의 이점
04:39 물리 엔진: 관성(Momentum)을 이용한 최적화 가속
06:23 항해의 난관: 기울기 소실, 폭발 및 안장점 등 최적화 위험 요소
07:49 경로의 평탄화: 활성함수(ReLU, GELU)가 최적화에 미치는 영향
08:56 시스템 설계도: 연산 그래프(Computational Graph)의 구조와 역할
10:04 순전파(Forward Pass): 입력 데이터의 흐름과 메모리 저장
10:33 피드백 루프: 역전파(Backpropagation)와 연쇄 법칙
11:09 작동 원리: 선형 계층의 행렬 미분과 전치(Transpose) 연산
11:36 복합 시스템: 연산 그래프에서의 분기(Branching)와 병합(Merging)
12:09 새로운 패러다임: 미분 가능한 프로그래밍(Software 2.0)
12:54 파라미터를 넘어: 입력 최적화와 딥드림(Deep Dream) 시각화