AWS (4) 썸네일형 리스트형 [AWS에서 GCP로 AI 서버 마이그레이션하기] - 1단계: 인프라 구축 멀티 클라우드 환경 구축이나 비용 최적화, GPU 리소스 확보 등의 이유로 기존 AWS 환경에서 GCP로 일부 워크로드를 마이그레이션하는 경우가 있습니다. 특히 AI/ML 워크로드의 경우 GPU 가용성과 가격 경쟁력 때문에 GCP를 고려하는 팀들이 많습니다. 이번 포스팅에서는 제가 무료 계정에서 테스트용 인프라 구축하고 기존 AWS 백엔드 서버와 통신하기 위해 방화벽을 설정한 과정을 살펴보겠습니다.google 아이콘 출처: Icons8 (https://icons8.com)마이그레이션 목표참고로 추후 목표는 기존 AWS 환경의 백엔드 서버와 GCP의 새로운 AI 처리 서버 간 안전한 통신 구조를 만들고, GPU 인스턴스 배포를 위한 기반을 마련하는 것 입니다.GCP 인프라 구축VPC 네트워크 설계먼저 격리.. AWS EC2에서 Docker 컨테이너의 스토리지 동작 원리 완전 분석 지난 포스팅에서 AWS EC2 인스턴스에 Docker를 설정하고 인스턴스 스토어를 활용하는 방법을 다뤘습니다. 오늘은 한 단계 더 나아가 Docker 컨테이너가 실제로 어떤 스토리지를 사용하는지, 그리고 각 디스크별 역할과 데이터 저장 경로를 실험을 통해 상세히 분석해보겠습니다. EC2 인스턴스의 스토리지 구성 이해하기각 디스크와 파티션 정리EC2 인스턴스에서 사용되는 스토리지를 정확히 이해하는 것이 중요합니다. 흔히 헷갈리는 /dev/root와 실제 EBS 디스크의 관계부터 살펴보겠습니다.# 루트 파티션이 실제로 어떤 장치에 마운트되었는지 확인findmnt -T /# 모든 블록 디바이스 확인lsblk# 모든 마운트된 파일시스템 확인 (EFS 포함)df -hT핵심 포인트/dev/root는 부팅 시점에 커.. AWS 인스턴스 스토어(ephemeral0)로 EBS 용량 한계 극복하기 지난 글에서 "이 모델이 진짜 8GB 디스크 환경에서 돌아갈 수 있을까"에 대한 실험을 진했했습니다.결론은 Stable Diffusion API 컨테이너를 돌리려면 최소 20~30GB 이상 여유가 필요하다는 점이었습니다.문제는 EBS를 크게 잡으면 비용이 올라간다는 것이죠.그런데 AWS에서 이미 무료로 제공하는 디스크 공간이 있다는 사실, 알고 계셨나요?바로 인스턴스 스토어(Instance Store), 여기서는 ephemeral0라는 이름으로 나타납니다.이 디스크 공간을 사용해서 8GB 환경에서 Stable Diffusion 모델을 결국 돌릴 수 있었습니다!인스턴스 스토어란?EC2 호스트 물리 서버에 직접 연결된 로컬 NVMe/SSD 디스크EBS보다 I/O 속도가 빠르지만, 인스턴스 Stop/Termi.. EBS 최소 볼륨 실험기 & gp3로 전환한 이유 “이 모델이 진짜 8GB로 돌아갈 수 있을까?”라는 질문에서 시작된 실험. 그리고 비용, 성능, 탄력성을 모두 고려해 gp3로 갈아탄 이야기. 실험 배경: EBS 볼륨 너무 크게 쓰고 있진 않을까?Stable Diffusion 기반 API를 운영하면서, 모델 구성 요소는 이미 EFS에 분리 저장한 상태였다.그렇다면 애플리케이션 서버가 직접 사용하는 EBS는 꼭 125GiB까지 필요할까?현재 서버는 g4dn.xlarge 타입인데, 여기에 다음 두 가지 스토리지가 기본으로 붙는다:루트 디스크 (EBS) — 기본 125GiB (수정 가능)ephemeral0 (임시 스토리지) — 디폴트로 제공하지만 실제로 EBS를 얼마나 쓰는지, 그리고 어디까지 줄여도 안정적으로 운영할 수 있는지는 확인이 필요했다.그래서 시.. 이전 1 다음
