AI 에이전트를 품은 홈서버 프로젝트 · 듀얼 제온 Z11PR-D16 빌드 일지 · 1편
최근에 창고에서 2년 전에 사두고 방치했던 서버 부품들을 꺼냈다. ASUS Z11PR-D16 메인보드와 제온 골드 6138 CPU 2개. 파이코인 채굴하겠다고 충동구매했다가 박스째로 잠들어 있던 물건들이다. 이걸 왜 지금 와서 꺼냈고, 왜 하필 시중의 깔끔한 NAS나 Mac Mini를 두고 이 복잡한 듀얼 제온 홈서버를 굳이 조립하기로 했는지, 스스로에게 납득이 갈 만한 이유를 정리해둬야 할 것 같아서 이 글을 쓴다.
부품 자체 얘기는 이 글 범위에서 벗어나니, 보드 스펙과 조립 과정은 ASUS Z11PR-D16 홈서버 조립 가이드에, 중고 6138이 실제로 쓸 만한 CPU인지는 제온 골드 6138 홈서버 검증 글에 따로 풀어뒀다. 이번 글은 오로지 “왜”만 다룬다.
시작은 오래전 파이코인 때문이었다
2년 전쯤 파이코인(Pi Coin)이 한창 화제였을 때, “이거 잡아야 한다”는 분위기에 휩쓸려 알리익스프레스에서 Z11PR-D16 보드와 제온 골드 6138 2개를 덜컥 주문했다. 채굴용 워크스테이션을 만들 생각이었다. 지금 생각하면 CPU 채굴이라는 발상 자체가 이미 한 박자 늦은 선택이었지만, 그때는 그랬다.
문제는 박스가 도착한 다음이었다. 무게부터 심상치 않았고, 보드 한 장이 A3 용지만 했다. E-ATX 규격이라 케이스도 따로 알아봐야 하고, 쿨러는 서버 전용 규격이라 일반 CPU 쿨러가 안 들어간다는 걸 그때 처음 알았다. “아, 귀찮다”가 순식간에 입 밖으로 나왔고, 그 뒤로 창고 한 구석에서 2년을 잤다.
그 물건들을 다시 꺼낸 계기는 파이코인이 아니라 AI 에이전트 비용이었다.
NanoClaw를 굴리다가 API 비용에서 멈칫했다
최근에 NanoClaw라는 걸 설치했다. Claude Code 기반의 텔레그램 AI 에이전트로, 메시지를 보내면 Docker 컨테이너 안에서 Claude가 작업을 수행해주는 시스템이다. 프로젝트별로 방을 분리해서 써봤는데, 이동 중에도 코딩 작업을 시킬 수 있다는 점이 생각보다 중독적이었다.
문제는 비용이었다. NanoClaw는 Claude Max 구독에 물린 OAuth 토큰을 그대로 쓸 수 없고, 반드시 API 키를 따로 등록해서 토큰 단위로 과금된다. Sonnet 4.6 기준 입력 $3/MTok, 출력 $15/MTok. 숫자만 보면 별거 아닌 것 같지만, 텔레그램으로 일상 작업을 몇 번 시켜보니 사용 금액이 눈에 띄게 올라가는 게 보였다. 취미로 이것저것 돌리는 단계가 이 정도면, 본격적으로 쓰기 시작하면 감당이 안 되겠다 싶었다.
자연스럽게 생각이 흘러갔다. “자체 LLM을 돌려서 API 호출 중 상당 부분을 로컬로 밀면 되지 않을까?” 이 한 줄이 창고 문을 다시 열게 만든 방아쇠였다.
WSL에 Ollama를 깔고 Qwen부터 돌려봤다
윈도우 메인 PC에 WSL2가 이미 깔려 있었다. 거기에 Ollama를 설치하고 작은 모델부터 하나씩 띄워봤다. 내 GPU가 VRAM 8GB짜리라 그 용량에 맞는 걸로 골랐다. ollama pull qwen2.5:7b 한 줄이면 약 4.5GB짜리 Qwen 2.5 7B (Q4_K_M 양자화) 버전이 받아지고, 전체 레이어가 GPU에 올라가서 그럭저럭 빠르게 돌아갔다. Llama 3.1 8B도 같은 방식으로 시도해봤다.
결과는 “된다 vs 못 쓴다”의 중간 어디쯤이었다. 양자화된 7~8B 모델들은 어떻게든 돌긴 했다. 짧은 질문에 짧은 답을 받는 용도면 문제없었다. 다만 컨텍스트를 길게 넣으면 답변이 산만해지고, 코드를 조금 복잡하게 시키면 논리 오류가 섞여 나왔다. 특히 멀티파일 프로젝트의 맥락을 따라가는 작업에서 체감 품질이 확 떨어졌다. 취미 수준에서는 재미있었지만 NanoClaw를 대체하기엔 부족했다.
그러다 최근에 Gemma 4가 공개됐다. 구글이 내놓은 최신 오픈 모델이라 한번 돌려보려고 했는데, 결과부터 말하면 못 돌렸다. VRAM 8GB로는 Gemma 4의 가장 작은 인스트럭트 버전조차 GPU에 다 올리기가 빠듯했고, 양자화 버전으로 낮춰봐도 일부 레이어가 시스템 RAM으로 오프로딩되면서 속도가 급격히 떨어졌다. 초당 토큰 몇 개 수준이면 실사용은 포기해야 한다.
이 순간 생각이 들었다. “어차피 창고에 듀얼 제온이 있잖아? 거기에 VRAM 넉넉한 GPU 한 장만 제대로 꽂으면 해결되는 문제 아닌가?” 이게 이 프로젝트의 진짜 시작점이다.
그래도 다른 선택지가 계속 눈에 밟혔다
부품을 주문하면서도 머릿속으로는 훨씬 합리적인 선택지들을 계속 저울질했다. 합리적이란 단어를 반복해서 쓰는 이유는, 정말로 그랬기 때문이다.
- 시놀로지 NAS(DS224+·DS423+ 계열): 초기 세팅이 5분 안에 끝나고 유휴 전력이 10~20W 수준이다. 다만 LLM을 돌리는 건 애초에 고려 대상이 아닌 기계고, Docker 컨테이너도 고성능은 기대할 수 없다.
- Intel N100 미니 PC: TDP 6W 수준이라 1년 전기요금이 라면값이다. 가격 대비 성능도 훌륭하다. 다만 GPU가 없으니 Gemma 4 문제는 그대로 남는다.
- Mac Mini M4: 유휴 전력 약 7W(Apple 공식 환경 보고서 기준), 통합 메모리 덕분에 같은 가격대에서 로컬 LLM 성능은 솔직히 독보적이다. 이게 가장 강력한 유혹이었다.
특히 Mac Mini는 마지막 순간까지 결제 창을 열었다 닫았다 했다. 그런데도 결국 듀얼 제온 쪽으로 돌아왔다. 이유를 정리하면 세 축이다.
첫 번째 — 신품이 아닌 매몰비용 기준의 가성비
여기서 가성비는 신품 기준이 아니다. 이미 지불한 매몰비용을 살리는 쪽이 경제적으로 더 합리적이라는 뜻이다. 이 전제를 빼면 밑에 할 말들이 다 무너진다.
제온 골드 6138은 2017년 출시 당시 약 370만원이었던 CPU다. 지금은 알리 기준 개당 7,000~10,000원 수준. 데이터센터들이 Cascade Lake-SP, Ice Lake-SP로 넘어가면서 Skylake-SP 기반 CPU들이 대량으로 풀린 결과다. 7년 사이 99% 넘게 떨어졌다. 20코어 40스레드 CPU를 라면 두 봉지 값에 산다는 이야기다.
Z11PR-D16 보드도 중고가 15만원 언저리다. 그 가격에 CPU 소켓 2개, DIMM 슬롯 16개, PCIe 슬롯 6개, M.2 2개, SATA 11포트, IPMI 원격 관리 포트가 딸려 온다. 같은 돈으로 요즘 데스크톱용 B760 보드 하나 사는 정도의 값이다. 개념적으로 비교가 안 된다. Mac Mini M4 기본형(약 85만원) 한 대 값보다 지금까지 들어간 부품값 총합이 적다. 단, 이 계산이 성립하려면 2년 전 박스째 재워둔 CPU 값을 “이미 쓴 돈”으로 치는 합의가 필요하다. 그리고 나는 이미 썼다고 쳤다. 6138이 실제 환경에서 쓸 만한지는 중고 제온 골드 6138 홈서버 검증 글에 따로 정리해뒀다.
두 번째 — 확장성, 이게 진짜 이유다
솔직히 이게 실질적으로 가장 큰 이유였다. 내가 이 서버에 넣고 싶은 것들이 애초에 미니 PC 한 대의 한계를 벗어나 있기 때문이다.
| 요구사항 | 컨슈머 보드 | 미니 PC / Mac Mini | Z11PR-D16 |
|---|---|---|---|
| RAM 슬롯 | 4슬롯 | 2슬롯 | 16슬롯 (최대 512GB) |
| ECC 지원 | 제한적 | 없음 | RDIMM ECC 기본 |
| PCIe 레인 | ~20레인 | ~8레인 | PCIe 3.0 96레인 (듀얼 소켓) |
| GPU 확장 | 1장 | 대부분 불가 | 여러 장 가능 |
24시간 돌리는 서버에서 메모리 비트 플립을 막아주는 ECC, 나중에 NVMe SSD·두 번째 GPU·10GbE NIC 같은 걸 덧붙일 수 있는 PCIe 레인, 중고 장터에서 RDIMM을 하나씩 구해 늘려갈 수 있는 16슬롯 메모리. 이 세 가지 천장이 높다는 점이 결정적이었다.
Mac Mini M4로 같은 일을 시도하면, 1년쯤 지나 메모리를 더 붙이고 싶어도 손댈 구석이 없다. 미니 PC도 M.2 하나 꽂고 나면 끝이다. 반면 이 보드는 지금은 64GB RDIMM 두 장으로 시작해도, 내년에 8장을 더 꽂든 GPU를 한 장 더 얹든 보드를 갈 이유가 없다. “지금 당장 필요한가”가 아니라 “2~3년 동안 이 하드웨어에 갇히지 않을 것인가”가 판단 기준이었다. 보드 자체의 생김새와 조립 시 주의점은 Z11PR-D16 조립 가이드에 꼼꼼히 풀어뒀다.
세 번째 — 인정하자, 과잉 스펙의 낭만
솔직해지자. 합리적인 계산만으로 이 선택을 한 건 아니다. 부정하면 거짓말이다.
CPU 소켓이 두 개인 보드를 집에서 조립한다는 감각. htop 화면에서 CPU 코어 80개가 줄줄이 떠오르는 순간. 데이터센터에서나 볼 법한 하드웨어를 내 방에 세워두고 IPMI 웹 화면으로 전원을 켜는 재미. 이런 종류의 만족감은 수치로 환산이 안 된다. 그리고 이 취미는 애초에 수치로 환산 안 되는 것들을 좇는 영역에 있다.
다만 이 낭만은 첫 번째와 두 번째 이유가 성립한 뒤에 얹은 마지막 한 스푼이었다. 창고에 부품이 없었고, NanoClaw 비용이 부담되지 않았고, Gemma 4가 8GB VRAM에서 멀쩡히 돌았다면, 낭만 하나만으로 이걸 새로 사지는 않았을 거다. 아마 조용히 N100 미니 PC를 주문했을 거다. 순서가 중요하다.
그런데 전기요금은 진짜 걱정이다
Mac Mini를 마지막까지 저울질했던 이유는 전력 하나였다. 허세 떨지 않고 솔직히 쓰자면, 듀얼 제온의 전력 문제는 이 프로젝트의 가장 큰 약점이다.
| 구분 | 유휴 전력 | 월 소비전력 | 월 전기요금(주택용 누진 2단계) |
|---|---|---|---|
| Mac Mini M4 | 약 7W | 약 5kWh | 1,000~1,500원 |
| 듀얼 제온 Z11PR-D16 + GPU | 약 130W | 약 94kWh | 2~5만원 |
월 최대 5만원. 1년이면 60만원이고, 이 정도면 맥미니 한 대 더 살 돈이다. 나도 이게 싫다. 그럼에도 감수하는 이유는 두 가지.
첫째, 맥미니는 “혼자 돌리는 기계”고 내가 필요한 건 “여러 일을 동시에 돌리는 기계”다. 24시간 에이전트, 웹 백엔드, 벡터 DB, 로컬 LLM을 한 대에 몰아넣고 각각에 RAM을 넉넉히 할당하려면 코어 수와 RAM 상한이 결국 발목을 잡는다. 둘째, 2~5만원은 최악 기준의 상한이다. BIOS에서 C-state 활성화, P-state 조정, 팬 커브 최적화, 안 쓰는 SATA 포트 비활성화, 디스크 스핀다운까지 설정을 다듬으면 실제 유휴 전력은 이보다 낮출 수 있다. 이 부분은 조립이 끝나면 와트미터로 실측해서 별도 글로 정리할 생각이다. 숫자 없이 “최적화하면 괜찮다”고 쓰는 건 정직하지 않다.
정리 — 이 서버로 뭘 할 건가
이 서버가 감당해야 할 일은 세 가지다.
- 자체 개발 서버(무료 인프라): 취미로 만드는 웹 앱 몇 개, 장기적으로는 자산 관리 앱 같은 개인 프로젝트들. 클라우드 월 고정비나 무료 티어 제약에서 벗어나고 싶다. 실패해도 전기요금 외엔 비용이 안 붙는다는 점이 크다.
- 24시간 AI 에이전트 호스팅(로컬 LLM 병행): NanoClaw 같은 에이전트를 계속 돌리되, 핵심 연산은 로컬 LLM으로 밀어서 API 비용을 깎는 구조로 간다. 정밀도가 필요한 작업만 Claude API로 넘기고, 나머지는 Gemini 무료 티어와 로컬 모델로 메꾼다.
- 장기적으로 로컬 LLM 제대로 돌려보기: Gemma 4가 WSL에서 못 돌았던 그 순간의 숙제. 이걸 풀려고 RTX 5060 Ti 16GB를 같이 구했다. 지금 예산에서 VRAM 16GB 달린 신품 카드 중 가장 합리적인 선택이었고, 5070이나 5080은 손이 안 닿았다. 16GB면 Gemma 4, Qwen 2.5 14B, Llama 3.1 8B 양자화 버전까지 여유 있게 돌릴 수 있고, 추후 더 큰 모델도 시도해볼 여지가 남는다.
정리하면 이 듀얼 제온 홈서버는 지금 당장 써야 할 기계가 아니라, 앞으로 2~3년 같이 자랄 기계로 설계한 셈이다. 미니 PC로 시작했다면 1년 안에 다시 고민해야 했을 거다. 지금 선택의 핵심은 “여유”를 돈 주고 산 것에 가깝다.
이 시리즈의 지도
듀얼 제온 홈서버 “왜”에 대한 답은 여기서 끝이다. 이 블로그에 이미 올라간 관련 글과 앞으로 이어갈 주제를 한 번에 정리해두면 이렇다.
이미 써둔 글
- ASUS Z11PR-D16 홈서버 조립 가이드 — 보드 자체의 스펙, 소켓 규격(Narrow ILM과 Square ILM), DIMM 배치 순서, 조립 중 저지른 쿨러 실수담.
- 중고 제온 골드 6138, 홈서버 CPU로 쓸 수 있을까? — 가격 변화, 단일 스레드 성능의 한계, 가상화 서버로서의 진짜 가치.
- NanoClaw 설치부터 텔레그램 멀티 봇방 세팅까지 — WSL2 실전 가이드 — 이 글에서 “비용 때문에 자체 LLM으로 떠밀렸다”고 말한 그 NanoClaw의 설치·세팅·운용 기록.
앞으로 쓸 글
- 부품 구매기(중고 RDIMM, 서버 케이스, 파워, 쿨러를 어디서 어떻게 골랐나)
- 첫 POST와 OS 선택(Proxmox vs Ubuntu Server)
- NanoClaw를 본 PC에서 홈서버로 이전하기
- RTX 5060 Ti 16GB에서 Gemma 4를 돌려보는 기록
- 한 달 운용 실측(실측 유휴 전력, 실측 소음, 실측 전기요금)
창고에 잠들어 있던 부품이 어떻게 깨어나는지, 그리고 Gemma 4를 이번엔 제대로 돌릴 수 있는지. 시리즈가 끝날 때쯤 같이 확인해보자.