SOTAAZ Lab 소개

SOTAAZ Lab은 로컬 AI 모델과 그 주변 도구를 자체 장비에서 직접 돌려 보고, 무엇을 어떻게 쟀는지와 그 결과로 무엇을 고를 수 있는지를 기록합니다. 글에는 사람 이름 대신 랩 이름을 붙입니다. 누가 썼는지보다 어떻게 쟀는지를 독자가 직접 확인할 수 있어야 한다고 보기 때문입니다.

측정 장비

NVIDIA A100 80GB PCIe 두 장과 AMD EPYC 7742(64코어) CPU를 씁니다. 호스팅된 모델을 API로 재는 글도 있으며, 그런 글은 본문에 그렇게 밝힙니다.

직접 잰 숫자가 있는 글의 제목 아래에 측정 환경 상자를 몇 편씩 붙여 나가고 있습니다. GPU, 드라이버와 CUDA 버전, 런타임과 빌드 번호, 숫자를 잰 날짜가 들어갑니다. 한 글에 여러 환경이 섞여 있거나 다른 곳에서 잰 숫자도 함께 실었다면, 상자에 적은 환경이 어느 숫자에 해당하는지도 밝힙니다. 실행 로그, 발행한 글의 측정 조건 문단, 측정 때 커밋한 파일(의존성 잠금 파일, 그림 스크립트)로 확인한 값만 채우고, 확인하지 못한 칸은 비워 둡니다.

채점 기준은 먼저 정해서 남깁니다

결과를 채점하기 전에 무엇을 비교할지, 차이가 얼마나 커야 의미가 있다고 볼지를 파일로 적어 커밋합니다. GPT-2 단계별 실험 연재는 실행보다 계획 파일을 먼저 커밋했고, 내려받는 자료에 그 계획과 커밋 시각이 함께 들어 있어 순서를 직접 확인할 수 있습니다. 일부 결과가 나온 뒤에 덧붙인 부분이 있으면 계획 파일에 어느 부분인지 적어 둡니다.

원 로그와 재현 자료

실측 글 세 편에는 재현 자료(zip)가 붙어 있어, 계정 없이 글에서 바로 내려받을 수 있습니다. llama.cpp KV 캐시 양자화 벤치마크, 같은 모델 파일로 비교한 Strata와 llama.cpp, GPT-2 노이즈 바닥 글입니다. zip에는 측정 스크립트, 원 로그, 그 로그에서 다시 계산한 결과 CSV, 다시 돌리는 명령을 적은 README가 들어 있습니다.

무료 계정으로 로그인하면 받을 수 있는 코드 묶음도 두 가지 있습니다.

다른 실측 글에는 아직 재현 자료나 코드 묶음이 없습니다. 그런 글은 측정 조건을 본문에 적어 두었습니다.

글은 AI와 함께 쓰고, 측정은 직접 돌립니다

글을 쓰고 다듬을 때는 AI 모델을 함께 씁니다. 측정값은 AI로 만들어 내지 않습니다. 위 장비에서 직접 돌리고, 발행 전에 글에 적은 숫자를 로그와 맞춰 봅니다. 다른 곳의 숫자를 가져올 때는 출처를 함께 적습니다.

숫자가 틀렸을 때

글을 고치고, 글 맨 위에 날짜와 함께 무엇이 틀렸는지 적고, 고친 절에 정정 표시를 합니다. 숫자를 말없이 바꾸지 않습니다. 측정한 소프트웨어가 새 버전으로 바뀌면 다시 재고, 이전 결과는 지우지 않은 채 날짜를 붙인 업데이트를 덧붙입니다. TurboQuant 글들에 붙은 2026년 8월 정정과, Jeff v1.1로 다시 잰 Jeff vs Jev 글의 2026년 9월 30일 업데이트가 그 예입니다.

틀린 숫자를 발견하면 contact@nestoz.co로 알려 주세요.