Vertex AI 핵심 아키텍처 구성 요소 Vertex AI Core Architecture Components
GCP 콘솔 접속:GCP Console Access: Vertex AI Overview
Vertex AI는 데이터 준비부터 머신러닝 모델의 학습, 배포, 모니터링까지 전체 엔드투엔드 파이프라인을 지원하는 완전 관리형 AI 플랫폼입니다. MLOps 및 LLMOps 워크플로우를 구성하는 세 가지 주요 인프라 컴포넌트가 있습니다. Vertex AI is a fully managed AI platform that supports the entire end-to-end pipeline, from data preparation to machine learning model training, deployment, and monitoring. It consists of three main infrastructure components that form MLOps and LLMOps workflows.
Custom ML Platform
데이터 과학자와 엔지니어가 자체적인 ML 모델을 학습, 평가 및 배포할 수 있도록 컨테이너 기반 런타임, GPU/TPU 프로비저닝 및 MLOps 파이프라인 도구 세트를 제공합니다. Provides a container-based runtime, GPU/TPU provisioning, and MLOps pipeline toolset for data scientists and engineers to train, evaluate, and deploy their own custom ML models.
Model Garden
Google 자사 모델(Gemini, PaLM 등)과 타사/오픈소스 파운데이션 모델(Llama, Claude 등)의 중앙 저장소로, 사전 학습된 모델을 탐색하고 즉시 인프라에 프로비저닝할 수 있습니다. A central repository for Google's proprietary models (Gemini, PaLM, etc.) and third-party/open-source foundation models (Llama, Claude, etc.), allowing exploration and instant provisioning of pre-trained models.
Generative AI Studio
파운데이션 모델의 프롬프트(Prompt) 엔지니어링, 매개변수 조정 및 PEFT(Parameter-Efficient Fine-Tuning)를 지원하여 신속한 LLM 프로토타이핑을 돕는 통합 콘솔입니다. An integrated console supporting prompt engineering, parameter tuning, and PEFT (Parameter-Efficient Fine-Tuning) for foundation models to enable rapid LLM prototyping.
Vertex AI Agent Applications
GCP 콘솔 접속:GCP Console Access: Agent Builder & Applications
사용자 의도를 파악하고, 엔터프라이즈 데이터베이스나 외부 API와 연동해 다중 턴(Multi-turn) 과업을 수행하는 자율형 에이전트(Autonomous Agent) 개발 아키텍처입니다. An architecture for developing autonomous agents that understand user intent and integrate with enterprise databases or external APIs to execute multi-turn tasks.
Application Ecosystem Hierarchy
graph TD
A[Vertex AI Platform] --> B[Search Engine];
A --> C[Agent Engine];
subgraph "Information Retrieval"
B --> D[Unstructured Search];
B --> E[Recommendation Engine];
D -.-> D1(Website/Cloud Storage/PDF/JSON);
E -.-> E1(Retail/Media Personalization);
end
subgraph "Task Execution"
C --> F[Chatbots];
C --> G[Autonomous Agents];
F -.-> F1(DialogFlow CX Integration);
G -.-> G1(API/Database Action Execution);
end
style A fill:#1e293b,stroke:#3b82f6,stroke-width:2px,color:#fff
style B fill:#334155,stroke:#475569,color:#fff
style C fill:#334155,stroke:#475569,color:#fff
style D fill:#475569,stroke:none,color:#e2e8f0
style E fill:#475569,stroke:none,color:#e2e8f0
style F fill:#475569,stroke:none,color:#e2e8f0
style G fill:#475569,stroke:none,color:#e2e8f0
style D1 fill:none,stroke:#64748b,stroke-dasharray: 5 5,color:#94a3b8
style E1 fill:none,stroke:#64748b,stroke-dasharray: 5 5,color:#94a3b8
style F1 fill:none,stroke:#64748b,stroke-dasharray: 5 5,color:#94a3b8
style G1 fill:none,stroke:#64748b,stroke-dasharray: 5 5,color:#94a3b8
Managed Infrastructure
VPC-SC 호환성, IAM 권한 제어 등 보안 요소가 통합된 서버리스 환경 위에서 에이전트를 배포하고 Cloud Trace와 연동하여 상태를 모니터링합니다. Deploys agents in a serverless environment integrated with security features like VPC-SC compatibility and IAM access control, monitoring their status via Cloud Trace.
Framework Agnostic
LangChain, LlamaIndex 또는 자체 커스텀 Python 스크립트로 구현된 다양한 에이전트 구조를 코드 변경 없이 패키징하여 배포할 수 있습니다. Allows packaging and deploying diverse agent structures implemented with LangChain, LlamaIndex, or custom Python scripts without requiring code changes.
Vertex AI Search
GCP 콘솔 접속:GCP Console Access: Vertex AI Search
기존 키워드 기반 시스템과 의미론적 검색(Semantic Search)을 결합하여, 기업 내 흩어진 데이터를 자동으로 색인하고 지능적인 질의응답을 제공하는 완전 관리형 엔터프라이즈 검색 엔진 아키텍처입니다. A fully managed enterprise search engine architecture that combines traditional keyword systems with semantic search to automatically index scattered enterprise data and provide intelligent Q&A.
Search Pipeline Architecture
graph TD
A[End User] -->|Query| B{Vertex AI Search API};
subgraph "Indexing & Processing Pipeline"
C1(Websites) -->|Crawling| D[Data Ingestion];
C2(GCS / Cloud Storage) -->|Unstructured Data| D;
C3(BigQuery / Cloud SQL) -->|Structured Data| D;
D --> E[Document Parsing & Chunking];
E --> F[Embedding Model];
F --> G[(Vector Index)];
E --> H[(Keyword/Lexical Index)];
end
B -->|Search| G;
B -->|Search| H;
subgraph "Retrieval & Ranking"
G -.-> I[Hybrid Search Engine];
H -.-> I;
I --> J[LLM Reranker];
end
J -->|Top-K Results| K[Gemini Model];
K -->|Generates Answer with Citations| B;
style A fill:#1e293b,stroke:#e2e8f0,color:#fff
style B fill:#2d3748,stroke:#60a5fa,stroke-width:2px,color:#fff
style D fill:#475569,stroke:none,color:#e2e8f0
style E fill:#475569,stroke:none,color:#e2e8f0
style F fill:#475569,stroke:none,color:#e2e8f0
style G fill:#334155,stroke:#475569,color:#fff
style H fill:#334155,stroke:#475569,color:#fff
style I fill:#374151,stroke:#60a5fa,stroke-dasharray: 5 5,color:#fff
style J fill:#374151,stroke:#60a5fa,stroke-dasharray: 5 5,color:#fff
style K fill:#2d3748,stroke:#2dd4bf,stroke-width:2px,color:#fff
데이터 수집 파이프라인 내장Built-in Ingestion Pipeline
정형(BigQuery, DB) 데이터부터 비정형(PDF, 웹사이트 크롤링, 이미지) 데이터까지 별도의 외부 파서(Parser)를 구축할 필요 없이, Vertex AI 내부 파이프라인에서 자동으로 Chunking, OCR 및 벡터라이제이션을 수행합니다. Automatically performs Chunking, OCR, and Vectorization within the Vertex AI internal pipeline for both structured (BigQuery, DB) and unstructured (PDF, websites, images) data, removing the need for external parsers.
하이브리드 랭킹(Hybrid Reranking)Hybrid Reranking
희소(Sparse, 키워드 매칭) 검색과 밀집(Dense, 시맨틱 벡터) 검색의 결과를 결합합니다. 이후 LLM 기반의 강력한 Reranker 모델을 통과시켜, 사용자 의도에 가장 완벽히 부합하는 최상위(Top-K) 문서를 생성 모델에 전달합니다. Combines Sparse (keyword) and Dense (semantic vector) search results. It then passes through a powerful LLM-based Reranker to deliver the most intent-accurate Top-K documents to the generative model.
Vertex AI RAG Engine
GCP 콘솔 접속:GCP Console Access: Vertex AI RAG Engine
환각(Hallucination) 현상을 원천적으로 차단하기 위해, 자체 언어 모델 외부에 기업의 독점적인(Proprietary) 정보 저장소(Corpus)를 구축하여 LLM 추론 과정에 실시간으로 매핑하는 아키텍처입니다. Search와 유사하나 개발자 친화적인 세밀한 파이프라인 제어를 허용합니다. To fundamentally prevent hallucinations, this architecture builds a proprietary enterprise information repository (Corpus) external to the language model, mapping it into the LLM inference process in real-time. Similar to Search but allows for fine-grained, developer-friendly pipeline control.
RAG (Retrieval-Augmented Generation) Architecture
graph LR
A(User Query) --> B[Embedding API];
B --> C[Vertex Vector Search];
subgraph "Knowledge Corpus (Data Sync)"
G(Private Docs/Data) --> H[Chunking Strategy];
H --> I[Embedding API];
I -->|Upsert Embeddings| C;
end
C -.->|Retrieve KNN Docs| D[Context Assembler];
A --> D;
D -->|Prompt + Context| E[Gemini Models];
E --> F((Grounded Response
w/ Citations));
style A fill:#1e293b,stroke:#e2e8f0,color:#fff
style B fill:#334155,stroke:#475569,color:#fff
style C fill:#334155,stroke:#475569,color:#fff
style D fill:#374151,stroke:#60a5fa,stroke-dasharray: 5 5,color:#fff
style E fill:#2d3748,stroke:#60a5fa,stroke-width:2px,color:#fff
style F fill:#1e293b,stroke:#2dd4bf,stroke-width:2px,color:#fff
style G fill:#475569,stroke:none,color:#e2e8f0
style H fill:#475569,stroke:none,color:#e2e8f0
style I fill:#475569,stroke:none,color:#e2e8f0
독립적인 RAG 코퍼스 관리Independent RAG Corpus Management
기존 LlamaIndex나 LangChain을 이용해 개발자가 직접 벡터 DB를 띄우고 임베딩을 관리해야 했던 복잡함을 추상화했습니다. Vertex AI Corpus API를 통해 문서를 밀어넣기만 하면, 시스템이 백그라운드에서 임베딩과 청킹(Chunking)을 수행합니다.
Abstracts the complexity of developers manually spinning up vector DBs and managing embeddings using LlamaIndex or LangChain. By simply pushing documents via the Vertex AI Corpus API, the system performs embedding and chunking in the background.
사실 기반 생성(Grounding)과 출처 명시Grounding and Citations
LLM이 오직 RAG 시스템에서 검색해 온 컨텍스트(Context) 내에서만 대답하도록 강제합니다. 그 결과, 답변에 사용된 원본 파일명과 페이지, 구체적인 텍스트 스니펫을 인용구(Citation) 형태로 추적할 수 있어 정보의 신뢰도를 보장합니다. Forces the LLM to answer solely based on the context retrieved by the RAG system. Consequently, original file names, pages, and specific text snippets used in the answer can be tracked as citations, guaranteeing information reliability.
BigQuery 기반 AI 연동 및 데이터 에이전트 BigQuery AI Integration & Data Agents
GCP 콘솔 접속:GCP Console Access: BigQuery SQL Workspace
데이터 이동 없는(Zero-ETL) In-database ML 추론부터 최신 Conversational Analytics(대화형 분석 에이전트)까지, 데이터 웨어하우스 자체를 지능형 분석 플랫폼으로 확장하는 최신 아키텍처 패턴입니다. A modern architecture pattern expanding the data warehouse itself into an intelligent analytics platform—ranging from Zero-ETL In-database ML inference to the latest Conversational Analytics agents.
In-Database AI & Agent Workflow
graph TD
subgraph "BigQuery Environment"
A[Petabytes Structured Data] --> B{SQL Query Execution};
A -.-> J[BigQuery Agents
Preview];
B -->|AI.GENERATE_TEXT / TABLE| C[LLM Remote Connection];
B -->|AI.EMBED & SIMILARITY| D[Embedding Remote Connection];
J -->|Conversational NL2SQL| B;
C --> E[In-place Analysis & Schema Extraction];
D --> F[In-place Vectorization & Search];
E --> G[(Target BQ Table)];
F --> G;
end
subgraph "Vertex AI Platform"
C -.-> H(Gemini Models);
D -.-> I(Text/Multimodal Embeddings);
end
style A fill:#1e293b,stroke:#e2e8f0,color:#fff
style B fill:#2d3748,stroke:#60a5fa,stroke-width:2px,color:#fff
style C fill:#334155,stroke:#475569,color:#fff
style D fill:#334155,stroke:#475569,color:#fff
style E fill:#475569,stroke:none,color:#e2e8f0
style F fill:#475569,stroke:none,color:#e2e8f0
style G fill:#1e293b,stroke:#2dd4bf,stroke-width:2px,color:#fff
style H fill:#1e293b,stroke:#a855f7,stroke-dasharray: 5 5,color:#fff
style I fill:#1e293b,stroke:#a855f7,stroke-dasharray: 5 5,color:#fff
style J fill:#4c1d95,stroke:#c084fc,stroke-width:2px,color:#fff
Zero-ETL 대규모 추론 및 구조화 (AI Functions)
외부 시스템으로의 데이터 전송(ETL) 없이 스토리지 레이어 내부에서 즉각적으로 최신 AI.* 함수를 호출합니다. 기존 복잡했던 JSON 파싱 대신 AI.GENERATE_TEXT로 직관적인 결과를 얻거나, AI.GENERATE_TABLE을 활용해 비정형 로그에서 특정 스키마(날짜, 감성 등) 형태의 정형 데이터를 즉시 추출하여 네트워크 비용과 보안 리스크를 원천 차단합니다.
Calls modern AI.* functions instantly within the storage layer, completely bypassing ETL data transfer to external systems. Use AI.GENERATE_TEXT for intuitive outputs instead of complex JSON parsing, or AI.GENERATE_TABLE to instantly extract structured schemas from unstructured logs, inherently blocking network costs and security risks.
FROM AI.GENERATE_TEXT(
MODEL `my_dataset.gemini_pro`,
(SELECT customer_feedback AS prompt FROM logs),
STRUCT(0.7 AS temperature, 1024 AS max_output_tokens)
);
BigQuery Data Agents (Preview)
복잡한 NL2SQL 파이프라인을 구축할 필요 없이, BigQuery 콘솔에 네이티브로 통합된 Conversational Analytics API를 통해 자연어로 데이터를 즉시 쿼리하고 시각화 차트를 그릴 수 있는 최신 에이전트 솔루션입니다. A modern agent solution natively integrated into the BigQuery console via the Conversational Analytics API. It allows instant natural language data querying and visualization charting, negating the need to build complex custom NL2SQL pipelines.
경량화된 벡터 검색 (AI.EMBED & SIMILARITY)
최신 AI.EMBED 함수를 활용해 텍스트를 즉각 벡터화하고, 새로 도입된 AI.SIMILARITY 함수와 결합하여 두 벡터 간의 유사도를 매우 짧은 쿼리로 밀리초 내에 계산합니다. 외부의 복잡한 벡터 데이터베이스 파이프라인 구축을 웨어하우스 수준의 시맨틱 검색으로 완벽히 대체합니다.
Instantly vectorize text using the streamlined AI.EMBED function, and combine it with the newly introduced AI.SIMILARITY function to calculate vector similarities in milliseconds via ultra-short queries. This perfectly substitutes complex external Vector DB pipelines with native semantic search.
Industry Use Cases (POC)
GCP 콘솔 접속:GCP Console Access: Vertex AI Workspace
다양한 산업군에서 발생한 엔터프라이즈 데이터 병목 및 검색 한계를 Vertex AI 생태계를 활용하여 해결한 개념 증명(POC) 아키텍처 사례입니다. Proof of Concept (POC) architecture use cases resolving enterprise data bottlenecks and search limitations across various industries using the Vertex AI ecosystem.
AI 기반 검색 및 분석
고성능 검색 및 정보 제공 시스템
Challenge: 기존 키워드 기반 검색에서 벗어나 사용자 의도를 정확히 파악하는 자연어 검색 고도화 필요
Solution: Elasticsearch, Cloud Run, Vertex AI를 활용하여 확장 가능한 서버리스 아키텍처 구축. Hybrid Search와 Rerank 기능으로 정확도 향상
멀티 에이전트 기반 전문 정보 검색
Challenge: 사용자의 숨겨진 의도를 파악하여 사내 지식 기반에서 필요한 정보를 효율적으로 제공하는 시스템 구축 필요
Solution: 의도 분류 모델과 의미 검색을 결합한 하이브리드 방식으로 의도를 추출하고, 전문 분야별 에이전트(인사, AS 등) 호출
자연어 기반 데이터 분석 시스템
Challenge: 방대한 데이터를 일반 사용자가 자연어 질의로 쉽게 분석하여 의사결정 과정을 효율화
Solution: Vertex AI의 NLP 기능으로 데이터 스키마와 컨텍스트를 이해하고, 사용자의 질의에 맞는 SQL 쿼리 자동 생성
NL2SQL 및 RAG 기반 데이터 분석
Challenge: 비전문가도 자연어를 통해 손쉽게 게임 데이터를 분석할 수 있는 시스템 구축 필요
Solution: 자연어 질의를 SQL로 변환하고, RAG 기술로 게임 용어집을 참조하여 분석 정확도를 높이는 파이프라인 구성
지능형 자동화 및 챗봇
교육용 AI 챗봇 앱
Challenge: AI 기술을 활용한 맞춤형 학습 경험 제공 및 신뢰도 높은 백과사전 콘텐츠 기반의 정확한 정보 제공
Solution: Gemini를 활용하여 사용자의 연령과 학습 목적에 따라 맞춤형 답변을 제공. 다국어/멀티모달 지원
GenAI RAG 챗봇 구축
Challenge: BigQuery의 데이터를 기반으로 신뢰도 높은 답변을 제공하는 지능형 챗봇 구축 필요
Solution: RAG(검색 증강 생성) 기술을 활용하여 BigQuery 데이터를 실시간으로 참조해 답변 정확성을 확보
Slack 연동 NL2SQL 프로토타입
Challenge: 임직원들이 일상 업무 도구에서 손쉽게 데이터 기반 의사결정을 내릴 수 있는 환경 구축
Solution: NL2SQL 프로토타입을 개발하고 사내 메신저(Slack)와 연동하여 데이터 분석 접근성을 대폭 향상
멀티모달 응용
영상 분석 기반 재난 상황 파악
Challenge: 재난 상황을 신속하게 파악하고 대응하기 위해 실시간 영상 분석 및 기사 생성 자동화 필요
Solution: Gemini Pro/Flash 모델로 영상을 프레임 단위로 분석하여 재난 상황을 인지, 텍스트 초안 자동 생성
영상 분석 기반 오류 검출 시스템
Challenge: 영상 내 오류(자막, 배너 등) 감지로 상품 정보 신뢰도 상승 및 재촬영 비용 절감
Solution: Gemini 모델로 영상을 분석하고, 기준서의 텍스트 정보와 매칭하여 실시간으로 오류를 검출
Veo 2 기반 영상 생성
Challenge: 산업 현장 시뮬레이션 및 안전 교육 자료 제작을 위한 고품질 영상 자동 생성 기술 확보
Solution: Google의 Veo 2 모델을 도입하여 텍스트 프롬프트만으로 정밀한 산업 현장 시뮬레이션 영상 렌더링
데이터 플랫폼 현대화
SAP 데이터 BigQuery 연동 및 분석
Challenge: 폐쇄적인 SAP 핵심 비즈니스 데이터 환경을 현대화하여 데이터 활용성 증대 필요
Solution: SAP 데이터를 BigQuery로 안전하게 이전하고, NL2SQL 파이프라인을 구축해 일반 직원도 분석 가능하도록 설계
BigQuery 중심 데이터 웨어하우스 구축
Challenge: 안전하고 효율적인 데이터 분석 및 AI 모델 학습을 위한 중앙화된 보안 데이터 환경 필요
Solution: BigQuery를 백본으로 삼아 데이터 거버넌스 체계를 수립하고, Vertex AI와 직접 연동하는 In-database ML 아키텍처 완성