Vertex AI Guide

Vertex AI 핵심 아키텍처 구성 요소 Vertex AI Core Architecture Components

GCP 콘솔 접속:GCP Console Access: Vertex AI Overview

Vertex AI는 데이터 준비부터 머신러닝 모델의 학습, 배포, 모니터링까지 전체 엔드투엔드 파이프라인을 지원하는 완전 관리형 AI 플랫폼입니다. MLOps 및 LLMOps 워크플로우를 구성하는 세 가지 주요 인프라 컴포넌트가 있습니다. Vertex AI is a fully managed AI platform that supports the entire end-to-end pipeline, from data preparation to machine learning model training, deployment, and monitoring. It consists of three main infrastructure components that form MLOps and LLMOps workflows.

Vertex AI Agent Applications

GCP 콘솔 접속:GCP Console Access: Agent Builder & Applications

사용자 의도를 파악하고, 엔터프라이즈 데이터베이스나 외부 API와 연동해 다중 턴(Multi-turn) 과업을 수행하는 자율형 에이전트(Autonomous Agent) 개발 아키텍처입니다. An architecture for developing autonomous agents that understand user intent and integrate with enterprise databases or external APIs to execute multi-turn tasks.

Application Ecosystem Hierarchy

graph TD
    A[Vertex AI Platform] --> B[Search Engine];
    A --> C[Agent Engine];

    subgraph "Information Retrieval"
        B --> D[Unstructured Search];
        B --> E[Recommendation Engine];
        D -.-> D1(Website/Cloud Storage/PDF/JSON);
        E -.-> E1(Retail/Media Personalization);
    end

    subgraph "Task Execution"
        C --> F[Chatbots];
        C --> G[Autonomous Agents];
        F -.-> F1(DialogFlow CX Integration);
        G -.-> G1(API/Database Action Execution);
    end

    style A fill:#1e293b,stroke:#3b82f6,stroke-width:2px,color:#fff
    style B fill:#334155,stroke:#475569,color:#fff
    style C fill:#334155,stroke:#475569,color:#fff
    style D fill:#475569,stroke:none,color:#e2e8f0
    style E fill:#475569,stroke:none,color:#e2e8f0
    style F fill:#475569,stroke:none,color:#e2e8f0
    style G fill:#475569,stroke:none,color:#e2e8f0
    style D1 fill:none,stroke:#64748b,stroke-dasharray: 5 5,color:#94a3b8
    style E1 fill:none,stroke:#64748b,stroke-dasharray: 5 5,color:#94a3b8
    style F1 fill:none,stroke:#64748b,stroke-dasharray: 5 5,color:#94a3b8
    style G1 fill:none,stroke:#64748b,stroke-dasharray: 5 5,color:#94a3b8
            

Managed Infrastructure

VPC-SC 호환성, IAM 권한 제어 등 보안 요소가 통합된 서버리스 환경 위에서 에이전트를 배포하고 Cloud Trace와 연동하여 상태를 모니터링합니다. Deploys agents in a serverless environment integrated with security features like VPC-SC compatibility and IAM access control, monitoring their status via Cloud Trace.

Framework Agnostic

LangChain, LlamaIndex 또는 자체 커스텀 Python 스크립트로 구현된 다양한 에이전트 구조를 코드 변경 없이 패키징하여 배포할 수 있습니다. Allows packaging and deploying diverse agent structures implemented with LangChain, LlamaIndex, or custom Python scripts without requiring code changes.

Vertex AI RAG Engine

GCP 콘솔 접속:GCP Console Access: Vertex AI RAG Engine

환각(Hallucination) 현상을 원천적으로 차단하기 위해, 자체 언어 모델 외부에 기업의 독점적인(Proprietary) 정보 저장소(Corpus)를 구축하여 LLM 추론 과정에 실시간으로 매핑하는 아키텍처입니다. Search와 유사하나 개발자 친화적인 세밀한 파이프라인 제어를 허용합니다. To fundamentally prevent hallucinations, this architecture builds a proprietary enterprise information repository (Corpus) external to the language model, mapping it into the LLM inference process in real-time. Similar to Search but allows for fine-grained, developer-friendly pipeline control.

RAG (Retrieval-Augmented Generation) Architecture

graph LR
    A(User Query) --> B[Embedding API];
    B --> C[Vertex Vector Search];
    
    subgraph "Knowledge Corpus (Data Sync)"
        G(Private Docs/Data) --> H[Chunking Strategy];
        H --> I[Embedding API];
        I -->|Upsert Embeddings| C;
    end

    C -.->|Retrieve KNN Docs| D[Context Assembler];
    A --> D;
    
    D -->|Prompt + Context| E[Gemini Models];
    E --> F((Grounded Response
w/ Citations)); style A fill:#1e293b,stroke:#e2e8f0,color:#fff style B fill:#334155,stroke:#475569,color:#fff style C fill:#334155,stroke:#475569,color:#fff style D fill:#374151,stroke:#60a5fa,stroke-dasharray: 5 5,color:#fff style E fill:#2d3748,stroke:#60a5fa,stroke-width:2px,color:#fff style F fill:#1e293b,stroke:#2dd4bf,stroke-width:2px,color:#fff style G fill:#475569,stroke:none,color:#e2e8f0 style H fill:#475569,stroke:none,color:#e2e8f0 style I fill:#475569,stroke:none,color:#e2e8f0

독립적인 RAG 코퍼스 관리Independent RAG Corpus Management

기존 LlamaIndex나 LangChain을 이용해 개발자가 직접 벡터 DB를 띄우고 임베딩을 관리해야 했던 복잡함을 추상화했습니다. Vertex AI Corpus API를 통해 문서를 밀어넣기만 하면, 시스템이 백그라운드에서 임베딩과 청킹(Chunking)을 수행합니다. Abstracts the complexity of developers manually spinning up vector DBs and managing embeddings using LlamaIndex or LangChain. By simply pushing documents via the Vertex AI Corpus API, the system performs embedding and chunking in the background.

사실 기반 생성(Grounding)과 출처 명시Grounding and Citations

LLM이 오직 RAG 시스템에서 검색해 온 컨텍스트(Context) 내에서만 대답하도록 강제합니다. 그 결과, 답변에 사용된 원본 파일명과 페이지, 구체적인 텍스트 스니펫을 인용구(Citation) 형태로 추적할 수 있어 정보의 신뢰도를 보장합니다. Forces the LLM to answer solely based on the context retrieved by the RAG system. Consequently, original file names, pages, and specific text snippets used in the answer can be tracked as citations, guaranteeing information reliability.

BigQuery 기반 AI 연동 및 데이터 에이전트 BigQuery AI Integration & Data Agents

GCP 콘솔 접속:GCP Console Access: BigQuery SQL Workspace

데이터 이동 없는(Zero-ETL) In-database ML 추론부터 최신 Conversational Analytics(대화형 분석 에이전트)까지, 데이터 웨어하우스 자체를 지능형 분석 플랫폼으로 확장하는 최신 아키텍처 패턴입니다. A modern architecture pattern expanding the data warehouse itself into an intelligent analytics platform—ranging from Zero-ETL In-database ML inference to the latest Conversational Analytics agents.

In-Database AI & Agent Workflow

graph TD
    subgraph "BigQuery Environment"
        A[Petabytes Structured Data] --> B{SQL Query Execution};
        A -.-> J[BigQuery Agents 
Preview]; B -->|AI.GENERATE_TEXT / TABLE| C[LLM Remote Connection]; B -->|AI.EMBED & SIMILARITY| D[Embedding Remote Connection]; J -->|Conversational NL2SQL| B; C --> E[In-place Analysis & Schema Extraction]; D --> F[In-place Vectorization & Search]; E --> G[(Target BQ Table)]; F --> G; end subgraph "Vertex AI Platform" C -.-> H(Gemini Models); D -.-> I(Text/Multimodal Embeddings); end style A fill:#1e293b,stroke:#e2e8f0,color:#fff style B fill:#2d3748,stroke:#60a5fa,stroke-width:2px,color:#fff style C fill:#334155,stroke:#475569,color:#fff style D fill:#334155,stroke:#475569,color:#fff style E fill:#475569,stroke:none,color:#e2e8f0 style F fill:#475569,stroke:none,color:#e2e8f0 style G fill:#1e293b,stroke:#2dd4bf,stroke-width:2px,color:#fff style H fill:#1e293b,stroke:#a855f7,stroke-dasharray: 5 5,color:#fff style I fill:#1e293b,stroke:#a855f7,stroke-dasharray: 5 5,color:#fff style J fill:#4c1d95,stroke:#c084fc,stroke-width:2px,color:#fff

Zero-ETL 대규모 추론 및 구조화 (AI Functions)

외부 시스템으로의 데이터 전송(ETL) 없이 스토리지 레이어 내부에서 즉각적으로 최신 AI.* 함수를 호출합니다. 기존 복잡했던 JSON 파싱 대신 AI.GENERATE_TEXT로 직관적인 결과를 얻거나, AI.GENERATE_TABLE을 활용해 비정형 로그에서 특정 스키마(날짜, 감성 등) 형태의 정형 데이터를 즉시 추출하여 네트워크 비용과 보안 리스크를 원천 차단합니다. Calls modern AI.* functions instantly within the storage layer, completely bypassing ETL data transfer to external systems. Use AI.GENERATE_TEXT for intuitive outputs instead of complex JSON parsing, or AI.GENERATE_TABLE to instantly extract structured schemas from unstructured logs, inherently blocking network costs and security risks.

SELECT text_content, status
FROM AI.GENERATE_TEXT(
  MODEL `my_dataset.gemini_pro`,
  (SELECT customer_feedback AS prompt FROM logs),
  STRUCT(0.7 AS temperature, 1024 AS max_output_tokens)
);

BigQuery Data Agents (Preview)

복잡한 NL2SQL 파이프라인을 구축할 필요 없이, BigQuery 콘솔에 네이티브로 통합된 Conversational Analytics API를 통해 자연어로 데이터를 즉시 쿼리하고 시각화 차트를 그릴 수 있는 최신 에이전트 솔루션입니다. A modern agent solution natively integrated into the BigQuery console via the Conversational Analytics API. It allows instant natural language data querying and visualization charting, negating the need to build complex custom NL2SQL pipelines.

경량화된 벡터 검색 (AI.EMBED & SIMILARITY)

최신 AI.EMBED 함수를 활용해 텍스트를 즉각 벡터화하고, 새로 도입된 AI.SIMILARITY 함수와 결합하여 두 벡터 간의 유사도를 매우 짧은 쿼리로 밀리초 내에 계산합니다. 외부의 복잡한 벡터 데이터베이스 파이프라인 구축을 웨어하우스 수준의 시맨틱 검색으로 완벽히 대체합니다. Instantly vectorize text using the streamlined AI.EMBED function, and combine it with the newly introduced AI.SIMILARITY function to calculate vector similarities in milliseconds via ultra-short queries. This perfectly substitutes complex external Vector DB pipelines with native semantic search.

Industry Use Cases (POC)

GCP 콘솔 접속:GCP Console Access: Vertex AI Workspace

다양한 산업군에서 발생한 엔터프라이즈 데이터 병목 및 검색 한계를 Vertex AI 생태계를 활용하여 해결한 개념 증명(POC) 아키텍처 사례입니다. Proof of Concept (POC) architecture use cases resolving enterprise data bottlenecks and search limitations across various industries using the Vertex AI ecosystem.

AI 기반 검색 및 분석

Fashion 👗

고성능 검색 및 정보 제공 시스템

Challenge: 기존 키워드 기반 검색에서 벗어나 사용자 의도를 정확히 파악하는 자연어 검색 고도화 필요

Solution: Elasticsearch, Cloud Run, Vertex AI를 활용하여 확장 가능한 서버리스 아키텍처 구축. Hybrid Search와 Rerank 기능으로 정확도 향상

VertexAI Gemini Pro/Flash Cloud Run
Home Appliances 💧

멀티 에이전트 기반 전문 정보 검색

Challenge: 사용자의 숨겨진 의도를 파악하여 사내 지식 기반에서 필요한 정보를 효율적으로 제공하는 시스템 구축 필요

Solution: 의도 분류 모델과 의미 검색을 결합한 하이브리드 방식으로 의도를 추출하고, 전문 분야별 에이전트(인사, AS 등) 호출

VertexAI Gemini Pro/Flash Cloud Run
Fintech 💹

자연어 기반 데이터 분석 시스템

Challenge: 방대한 데이터를 일반 사용자가 자연어 질의로 쉽게 분석하여 의사결정 과정을 효율화

Solution: Vertex AI의 NLP 기능으로 데이터 스키마와 컨텍스트를 이해하고, 사용자의 질의에 맞는 SQL 쿼리 자동 생성

VertexAI Vertex Colab CPU BigQuery
Gaming 🕹️

NL2SQL 및 RAG 기반 데이터 분석

Challenge: 비전문가도 자연어를 통해 손쉽게 게임 데이터를 분석할 수 있는 시스템 구축 필요

Solution: 자연어 질의를 SQL로 변환하고, RAG 기술로 게임 용어집을 참조하여 분석 정확도를 높이는 파이프라인 구성

VertexAI Gemini Pro/Flash BigQuery

지능형 자동화 및 챗봇

Education 📚

교육용 AI 챗봇 앱

Challenge: AI 기술을 활용한 맞춤형 학습 경험 제공 및 신뢰도 높은 백과사전 콘텐츠 기반의 정확한 정보 제공

Solution: Gemini를 활용하여 사용자의 연령과 학습 목적에 따라 맞춤형 답변을 제공. 다국어/멀티모달 지원

VertexAI Cloud Run BigQuery
Digital Education 🎓

GenAI RAG 챗봇 구축

Challenge: BigQuery의 데이터를 기반으로 신뢰도 높은 답변을 제공하는 지능형 챗봇 구축 필요

Solution: RAG(검색 증강 생성) 기술을 활용하여 BigQuery 데이터를 실시간으로 참조해 답변 정확성을 확보

VertexAI Gemini Pro/Flash BigQuery
Entertainment 🎤

Slack 연동 NL2SQL 프로토타입

Challenge: 임직원들이 일상 업무 도구에서 손쉽게 데이터 기반 의사결정을 내릴 수 있는 환경 구축

Solution: NL2SQL 프로토타입을 개발하고 사내 메신저(Slack)와 연동하여 데이터 분석 접근성을 대폭 향상

VertexAI Slack API

멀티모달 응용

Broadcasting 📺

영상 분석 기반 재난 상황 파악

Challenge: 재난 상황을 신속하게 파악하고 대응하기 위해 실시간 영상 분석 및 기사 생성 자동화 필요

Solution: Gemini Pro/Flash 모델로 영상을 프레임 단위로 분석하여 재난 상황을 인지, 텍스트 초안 자동 생성

Gemini Vision Cloud Run
Home Shopping 🛒

영상 분석 기반 오류 검출 시스템

Challenge: 영상 내 오류(자막, 배너 등) 감지로 상품 정보 신뢰도 상승 및 재촬영 비용 절감

Solution: Gemini 모델로 영상을 분석하고, 기준서의 텍스트 정보와 매칭하여 실시간으로 오류를 검출

VertexAI Gemini Vision
Heavy Industry 🏗️

Veo 2 기반 영상 생성

Challenge: 산업 현장 시뮬레이션 및 안전 교육 자료 제작을 위한 고품질 영상 자동 생성 기술 확보

Solution: Google의 Veo 2 모델을 도입하여 텍스트 프롬프트만으로 정밀한 산업 현장 시뮬레이션 영상 렌더링

VertexAI Veo 2

데이터 플랫폼 현대화

Manufacturing ⚙️

SAP 데이터 BigQuery 연동 및 분석

Challenge: 폐쇄적인 SAP 핵심 비즈니스 데이터 환경을 현대화하여 데이터 활용성 증대 필요

Solution: SAP 데이터를 BigQuery로 안전하게 이전하고, NL2SQL 파이프라인을 구축해 일반 직원도 분석 가능하도록 설계

VertexAI BigQuery SAP
Finance 💳

BigQuery 중심 데이터 웨어하우스 구축

Challenge: 안전하고 효율적인 데이터 분석 및 AI 모델 학습을 위한 중앙화된 보안 데이터 환경 필요

Solution: BigQuery를 백본으로 삼아 데이터 거버넌스 체계를 수립하고, Vertex AI와 직접 연동하는 In-database ML 아키텍처 완성

BigQuery Vertex AI