하드웨어 비용 폭등 시대, 지혜로운 인프라 확장을 위한 하이브리드 클라우드 전략
최근 IT 인프라 담당자나 CTO들이 모이면 빠지지 않고 등장하는 한숨 섞인 주제가 있습니다. 바로 끝을 모르고 치솟는 ‘하드웨어 비용’과 ‘서버 수급 지연’ 문제입니다. 생성형 AI 시대가 본격화되고 빅데이터 분석 등 고성능 컴퓨팅(HPC)을 요구하는 워크로드가 폭발적으로 증가하면서, GPU는 물론 일반 CPU…
최근 IT 인프라 담당자나 CTO들이 모이면 빠지지 않고 등장하는 한숨 섞인 주제가 있습니다. 바로 끝을 모르고 치솟는 ‘하드웨어 비용’과 ‘서버 수급 지연’ 문제입니다. 생성형 AI 시대가 본격화되고 빅데이터 분석 등 고성능 컴퓨팅(HPC)을 요구하는 워크로드가 폭발적으로 증가하면서, GPU는 물론 일반 CPU…
최근 생성형 AI 열풍이 엔터프라이즈 시장을 휩쓸면서, AI 기술의 패러다임이 빠르게 진화하고 있습니다. 초기에는 사용자가 질문을 던지면 단순히 답변을 생성하는 형태에 머물렀지만, 이제는 AI가 스스로 목표를 설정하고, 복잡한 추론을 수행하며, 다양한 외부 도구를 활용해 작업을 자율적으로 완수하는 '에이전틱 AI'로 진화하고…
지금까지 본 시리즈를 통해 1편 인프라 구성의 현실적인 어려움부터 2편 아코디언 카탈로그를 통한 표준화, 그리고 3편 단 30분 만에 사내 RAG 챗봇을 배포하는 실전 과정까지 살펴보았습니다. 하지만 기업 환경에서 AI 서비스의 '진짜' 시작은 모델을 배포한 직후, 즉 '운영' 단계부터입니다. 모델을…
사내에서 LLM을 위한 개발을 하려면 무엇을 준비해야 할까요? ChatGPT나 Gemini 등은 브라우저에서 사용자가 질문만 하면 바로 답을 하지만, 사내 데이터를 넣어 RAG 챗봇을 만들거나 외부에 데이터를 못 보내는 환경에서 자체 LLM을 구축하려면 이야기가 완전히 달라집니다. 최소한 누군가는 vLLM을 GPU 위에…
AI 개발자와 운영자가 실무에서 가장 어려워하는 것은 무엇일까요? 보통 복잡한 알고리즘이나 모델 튜닝을 떠올리기 쉽지만, 현실의 병목은 전혀 다른 곳에 있습니다. 바로 '인프라 환경 구성'입니다. 새로운 모델 아이디어가 떠오른 개발자는 코드 한 줄을 쓰기 전에 먼저 험난한 인프라 준비 과정을…
최근 엔터프라이즈 환경에서 AI 도입 시도가 폭발적으로 증가하고 있습니다. 본 시리즈는 총 4편(1편 AI 인프라 구성의 어려움, 2편 카탈로그, 3편 RAG 실습, 4편 관찰성)에 걸쳐, 아코디언이 AI 개발 및 운영 조직의 업무 방식을 어떻게 혁신하는지 심도 있게 다룰 예정입니다. 단순한…
최근 기업의 IT 비즈니스 환경에서는 '신속한 업데이트'와 '안정적인 서비스 연속성'을 동시에 확보하는 것이 핵심 경쟁력으로 자리 잡았습니다. 현대의 사용자는 시간대와 관계없이 서비스 중단 상황을 원치 않으며, 이는 곧 기업의 신뢰도 및 비즈니스 성과와 직결됩니다. 서비스의 가용성을 완벽하게 유지하면서 새로운 기능을…
기업의 AI 도입이 본격화되면서 인프라 환경의 최적화가 핵심 과제로 떠오르고 있습니다. 특히, 대규모 연산이 요구되는 AI 워크로드의 특성상 클라우드와 온프레미스를 막론하고 자원이 무한하지 않은 엔터프라이즈 환경에서는 제한된 자원을 얼마나 효율적이고 흔들림 없이 운영하는지가 프로젝트의 성패를 가릅니다. 성공적인 AI 비즈니스를 뒷받침하는…
이번 게시글에서는 CNCF 2021 연간 서베이(CNCF Annual Survey 2021)의 주요 내용을 소개하고 분석해보겠습니다. 지난 2월 CNCF에서는 2021 연간 서베이를 발표 했는데요, 해당 서베이는 2016년부터 매년 클라우드 네이티브 생태계와 관련된 다양한 주제를 설문하고 이에 대한 통계자료를 제공하고 있습니다. 특히 올해는 어느…
Docker v1.13.0 부터 MAINTAINER 사용중단 도커엔진 문서에 따르면 Dockerfile v1.13.0 부터 MAINTAINER은 더 이상 사용되지 않습니다. 최근 Docker 버전은 1.20인 것을 감안하면 사실 사용중단 결정은 오래되었지만 대부분의 사용자들은 이점을 모르고 계속 사용하고 있습니다. MAINTAINER 은 생성된 이미지의 저자 필드를 설정할 수 있기…