[MIT AI Lecture: Deep Learning 9] 딥러닝 이론만 파면 망하는 이유: 1% 현업 엔지니어의 충격적인 실전 해킹법 | 딥러닝은 해킹이다

00:00 이론을 넘어선 딥러닝 실전 엔지니어링과 해킹의 미학 소개
01:25 실무자의 신조: 이론보다 강력한 실전 엔지니어링과 코드 작성의 중요성
02:53 픽셀과의 교감: 통계 수치에 의존하기보다 원본 데이터를 직접 확인하는 디버깅 원칙
04:39 정확도의 환상: 데이터의 편향과 거짓 상관관계가 초래하는 오류 경고
06:29 차원의 물리학: 고차원 공간의 특성과 데이터 정규화 및 저차원의 함정 이해
08:11 텐서 프로토콜: 데이터 차원, 자료형, 채널 순서의 엄격한 관리와 Einops 활용
09:40 시련의 장 (Augmentation): 실전 성능 향상을 위한 극한의 도메인 무작위화 기법
10:46 결정론의 법칙: 풍부한 컨텍스트 입력을 통한 모델의 불확실성 제거
11:45 단순함의 힘: 유지보수와 디버깅을 고려한 단순한 모델 선택의 전략적 가치
12:18 거인의 어깨 위에서: 검증된 사전 학습 모델 활용과 전이 학습의 효율성
13:02 프리즘 효과: 복잡한 회기 문제를 분류 문제로 변환하여 표현력을 높이는 기술
14:19 씁쓸한 교훈 (The Bitter Lesson): 알고리즘의 영리함보다 데이터와 컴퓨...
14:56 조각가의 칼: 불필요한 기능을 걷어내고 시스템을 정제하는 최적화 과정
15:22 엔진 튜닝: Layer Norm 사용, 로그 확률 확인, 가중치 이동 평균(EMA) ...
16:29 연금술사: 데이터, 모델, 규제의 균형과 인간의 편견을 깎아내는 성찰의 중요성