대규모 서비스에서는 클로드 코드의 장점을 살릴 수 없었다.
코드베이스의 문제인가?
AI도구는 새 프로젝트에소는 잘동작하지만, 레거시 프로젝트에서는 잘동작하지 않는다. (20% 성능 감소)
컨텍스트 윈도우에 관련없는 맥락이 쌓이게 되면 문제가 발생될 수 있음을 연구를 통해 확인했다.
코드 어시스턴스에서 Tool 사용에서 문제가 발생되었다.
대규모 코드베이스의 경우 Search, Read 와 같은 Tool이 너무 많은 코드베이스에서 이상한 값을 찾거나 읽어 컨텍스트 윈도우 오염이 발생한 것.
클로드 코드는 커서와 같이 벡터DB를 사용하는 것이 아닌, Glob, Grep과 같은 단순한 툴로 검색을 시행한다.
대규모 프로젝트에서는 동일함수, 클래스가 많이 존재하는 경우가 많다.
Grep과 같은 탐색 방식은 이러한 부분에 취약하다. (관련없는 파일, 코드 수집 → 컨텍스트 윈도우 오염 발생)
클로드 코드는 구문 분석을 하지 않기 때문에, 파일을 읽을 때 읽을 필요가 없는 부분도 읽게된다. 소규모 프로젝트에서는 파일당 하나의 타입이 있는 경우가 많지만, 대규모 프로젝트의 경우 다수의 타입들이 하나의 파일에 존재하는 슈퍼파일이 많음.