안드레이 카파시의 AutoResearch 자율 AI 연구 에이전트

## 자율 AI 연구 에이전트 프로젝트 개요
이 프로젝트는 인공지능 에이전트가 단일 GPU 환경에서 소형 언어 모델의 학습 코드를 자율적으로 수정하며 연구를 수행하도록 설계된 시스템입니다. 사용자가 잠을 자는 동안에도 에이전트는 밤새도록 실험을 진행하며 모델을 개선합니다. 전체 저장소는 매우 작게 유지되며, 데이터 준비와 평가를 담당하는 파일, 에이전트가 직접 수정하는 학습 파일, 그리고 에이전트에게 지침을 제공하는 마크다운 파일 등 단 세 개의 핵심 파일로만 구성되어 있습니다. 이 시스템은 연구 과정을 완전히 자동화하여 가장 효율적인 모델 최적화 방안을 스스로 찾아내도록 만들어졌습니다.

## 외부 의존성 최소화 원칙의 의미
이 프로젝트의 가장 중요한 설계 철학 중 하나는 외부 의존성을 극도로 제한하는 것입니다. 파이토치와 소수의 작은 필수 패키지를 제외하고는 새로운 외부 라이브러리나 패키지를 설치하는 것이 엄격히 금지됩니다. 분산 학습 환경이나 복잡한 설정 파일도 배제되었으며, 오직 단일 GPU와 단일 파일, 그리고 단일 지표만을 사용하도록 환경이 격리되어 있습니다. 이러한 환경 설정은 시스템을 외부 요인으로부터 독립적으로 만들어, 어떤 환경에서든 일관된 실험을 보장하고 복잡성을 줄이는 데 기여합니다. 에이전트는 부여된 패키지 환경 내에서만 문제를 해결해야 하므로 본질적인 코드 개선에만 집중할 수 있습니다.

## 제약을 통한 문제 해결 집중
외부 솔루션 도입이 차단된 상태에서 에이전트는 오로지 모델의 내부 아키텍처, 옵티마이저 알고리즘, 하이퍼파라미터 등을 직접 수정하여 성능을 끌어올려야 합니다. 이는 자원의 제한이 오히려 혁신을 유도하는 설계적 장치로 작용합니다. 외부 도구에 의존해 성능을 올리는 쉬운 길을 막음으로써, 에이전트가 주어진 자원 내에서 가장 깊이 있는 구조적 최적화를 이루어내도록 강제하는 것입니다. 실제로 이러한 제약 속에서 에이전트는 어텐션 구조를 변경하거나 학습률 일정을 세밀하게 조정하는 등 핵심적인 알고리즘 개선을 이뤄냈습니다.

## 단일 파일 수정과 단순성 우선주의
의존성 최소화 원칙과 맞닿아 있는 또 다른 설계 원칙은 에이전트의 작업 범위를 단 하나의 파이썬 파일로 제한하는 것입니다. 데이터 준비나 평가 로직이 담긴 파일은 읽기 전용으로 보호되며 수정할 수 없습니다. 오직 학습 루프와 모델 구조가 정의된 단일 파일만 변경할 수 있도록 하여, 시스템의 변경 사항을 인간이나 시스템이 쉽게 검토할 수 있도록 만듭니다. 또한 모든 조건이 같다면 더 단순한 코드를 지향한다는 단순성 우선주의가 적용됩니다. 복잡하고 지저분한 코드를 추가하여 미미한 성능 향상을 얻는 것은 지양하며, 불필요한 코드를 삭제하여 동일하거나 더 나은 성능을 유지하는 것을 훌륭한 연구 성과로 평가합니다.

## 고정된 시간 예산과 객관적 평가 지표
모든 실험은 컴퓨터 환경과 관계없이 정확히 5분이라는 고정된 시간 예산 안에서 진행됩니다. 모델의 크기나 배치 크기, 아키텍처를 어떻게 변경하든 5분 안에 학습이 완료되어야 합니다. 이러한 고정 시간 예산은 에이전트가 시도하는 다양한 실험들을 동일한 선상에서 직접적으로 비교할 수 있게 해주는 강력한 기준이 됩니다. 평가 지표로는 모델의 어휘 사전 크기에 영향을 받지 않는 검증 데이터 비트 퍼 바이트 지표를 사용하여, 아키텍처 변경에 따른 성능 변화를 가장 공정하고 객관적으로 측정합니다.

## 무한 반복되는 자율 실험 루프
에이전트는 정해진 마크다운 지침에 따라 끊임없이 실험 루프를 반복합니다. 코드를 수정하고, 5분간 학습을 진행한 뒤, 검증 지표를 확인하여 이전보다 성능이 향상되었으면 해당 변경 사항을 깃허브 커밋으로 저장합니다. 만약 성능이 떨어지거나 코드가 충돌하여 오류가 발생하면 즉시 변경 사항을 폐기하고 원래 상태로 되돌립니다. 사용자가 명시적으로 중단하기 전까지 이 과정은 무한히 반복되며, 에이전트는 스스로 논문을 참고하거나 과거의 실패를 분석하여 새로운 아이디어를 끊임없이 생성해냅니다.

## 인간 개입 없는 실제 연구 성과
이러한 설계 원칙들이 결합된 결과, 인공지능 에이전트는 인간의 개입 없이도 이틀 동안 자율적으로 동작하며 상당한 연구 성과를 달성했습니다. 단일 파일 내에서 외부 의존성 없이 코드와 파라미터만을 최적화하여 어텐션 게이트 채널 조정, 최적화 변수 스케줄링 변경 등 다양한 성능 향상 기법을 스스로 발견하고 적용했습니다. 이는 철저하게 통제되고 독립적인 환경을 제공하는 외부 의존성 최소화 설계가 자율 인공지능 연구 시스템에서 얼마나 강력한 효과를 발휘하는지를 명확히 보여주는 훌륭한 사례입니다.