GPT/LLM deployment project with ArgoCD/GitOps setup for AI model serving.
Sign in to like and favorite skills
GPT/LLM deployment project with ArgoCD/GitOps setup for AI model serving.
/home/gpt-oss/ ├── backend/ # Backend services ├── frontend/ # Frontend application ├── vllm/ # VLLM configuration ├── models/ # Model storage ├── docker-compose.yml ├── Makefile └── build-vllm-local.sh
# Build VLLM locally ./build-vllm-local.sh # Docker compose operations docker-compose up -d docker-compose down # Make commands make build make run make clean
# Backend (if Python) cd backend && ruff check . cd backend && mypy . # Frontend (if Node.js) cd frontend && npm run lint cd frontend && npm run typecheck
# Backend tests cd backend && pytest # Frontend tests cd frontend && npm test
main의존성 사전 다운로드 스크립트 생성 (download-deps.sh)
빠른 빌드 스크립트 생성 (build-fast.sh)
Python 버전 호환성 문제 해결
PyTorch 버전 충돌 해결
여러 Dockerfile 변형 생성
Python 3.13 wheel 호환성 문제
PyTorch 컴포넌트 버전 충돌
멀티스테이지 빌드 시도
Docker 이미지 다운로드 속도 문제
✅ 빌드 성공!
vllm-rtx5090:fast⚠️ 중요한 제한사항
TORCH_CUDA_ARCH_LIST="8.0;8.6;8.9;9.0+PTX"PYTORCH_NO_CUDA_MEMORY_CACHING=1VLLM_WORKER_MULTIPROC_METHOD=spawnTORCH_CUDA_ARCH_LIST="8.0;8.6;8.9;9.0;10.0;12.0+PTX"