[MIT AI Lecture: Deep Learning 18] 파인튜닝부터 AI 지식 전이의 진화: 전이 학습과 지식 증류의 모든 것

00:00 전이 학습의 정의와 모델 진화 및 지식 확장 프로세스의 개요
00:51 데이터 무한 증설의 한계(딥러닝의 역설)와 인간의 직관적 학습(Few-Shot) 비교
01:57 지식 전이의 세 가지 주요 경로: 매핑(가중치), 결과값(증류), 입력(프롬프트)
02:34 파인튜닝 시 초기 레이어 보존 방식과 차원을 맞춰주는 접착제(Glue) 레이어의 역할
03:51 새로운 학습 시 기존 지식을 잃는 파국적 망각을 방지하기 위한 4가지 방어 전략
05:07 소스 도메인과 타겟 도메인 간의 분포 차이를 극복하는 도메인 적응 기술
06:07 GRL(Gradient Reversal Layer)을 이용해 환경적 편향을 제거하는 ...
07:18 거대 교사 모델의 지식을 작고 빠른 학생 모델로 이식하는 지식 증류 기술
07:43 단순 정답(Hard Target)보다 풍부한 맥락을 담고 있는 소프트 타겟(오답 분포...
08:49 지식 증류, 양자화, 가지치기 등 모델 경량화를 위한 압축 전략 비교
09:27 GPT, CLIP 등 거대 파운데이션 모델의 등장과 범용 인프라로의 패러다임 시프트
10:01 소프트 프롬프팅과 CoT(Chain-of-Thought)를 통한 고도화된 입력 전이 기법
10:55 핑크 픽셀 등 미세 노이즈에 취약한 시각적 프롬프트 사례와 AI 인지의 한계점
12:09 AI 모델 운영에 따른 막대한 자원 소모 문제와 독점적 인프라에 대한 경계
12:46 검증된 블록들을 결합하는 모듈형 AI 생태계의 미래와 생성 AI 시대의 최종 통찰