폐쇄망에서 Bedrock Knowledge Bases로 사내 문서 RAG 만들기: 데이터가 새지 않는 구성

폐쇄망에서 Bedrock 모델을 부를 수 있게 되면 바로 다음 요청이 옵니다. "사내 규정집과 매뉴얼을 보고 답하게 해 주세요." 검색 증강 생성(RAG)은 모델 호출보다 움직이는 부품이 많습니다. 원본 문서, 임베딩 모델, 벡터 저장소, 검색 API가 각각 다른 권한과 경로를 쓰고, 그중 일부는 여러분의 VPC가 아니라 Bedrock 서비스가 직접 접근합니다. 이 글은 Amazon Bedrock Knowledge Bases로 사내 문서 RAG를 만들 때, 데이터가 어디로 흐르는지와 각 지점을 어떻게 막는지를 순서대로 정리합니다.

실무 노트 · Amazon Bedrock Knowledge Bases · 폐쇄망 · RAG · 보안

앞 글 폐쇄망에서 Amazon Bedrock 쓰기의 VPC, 엔드포인트, DNS 구성이 이미 되어 있다고 보고 이어서 씁니다.

폐쇄망에서 Bedrock Knowledge Bases로 사내 문서 RAG 만들기: 데이터가 새지 않는 구성

RAG에서 데이터는 두 번 움직인다

보안 검토에서 가장 자주 빠지는 사실은, 지식 기반에는 경로가 두 개라는 점입니다.

  • 수집(ingestion): 동기화 작업을 시작하면 Bedrock 서비스가 서비스 역할로 S3의 문서를 읽고, 잘게 나누고(chunking), 임베딩 모델로 벡터를 만들어 벡터 저장소에 씁니다. 이 경로는 여러분의 VPC 엔드포인트를 지나지 않습니다.
  • 질의(query): 사내 애플리케이션이 Retrieve 또는 RetrieveAndGenerate를 부르면, 요청은 VPC의 bedrock-agent-runtime 엔드포인트로 들어가고, Bedrock이 벡터 저장소를 검색해 결과(또는 모델이 만든 답)를 돌려줍니다.

그래서 통제도 두 갈래로 겁니다. 사람과 애플리케이션은 "VPC 엔드포인트를 통해서만", 서비스 역할은 "이 지식 기반의 일만" 하도록 묶습니다.

전체 흐름

지식 기반의 두 경로: 수집과 질의
1
사내 배치 → S3
문서를 SSE-KMS 버킷에 올림 · VPC 게이트웨이 엔드포인트로만
2
수집 (서비스 역할)
Bedrock이 S3를 읽고 나눔 · 승인한 임베딩 모델로 벡터화 · 이 경로는 VPC를 지나지 않음
3
벡터 저장소
계정 안의 저장소 · VPC 전용 네트워크 · 고객 관리형 키
4
질의 (애플리케이션)
bedrock-agent-runtime 엔드포인트 · 지식 기반 ARN으로 제한 · 부서 필터는 토큰에서
5
답변과 기록
Guardrails로 민감 정보 차단 · CloudTrail 데이터 이벤트 · 수집 로그
수집은 서비스 역할이, 질의는 사내 애플리케이션이 합니다. 두 경로를 따로 막아야 합니다.

1단계: 원본 문서 버킷

폐쇄망에서 쓸 수 있는 데이터 소스는 사실상 S3입니다. Knowledge Bases에는 웹 크롤러, Confluence, SharePoint, Salesforce 커넥터도 있지만, 이들은 Bedrock이 외부 주소나 SaaS에 접속하는 방식이라 "인터넷과 끊긴 사내 시스템"을 원본으로 쓸 수 없습니다. 사내 문서는 배치 작업으로 S3에 올리는 것이 가장 단순하고 감사하기도 쉽습니다.

  • 버킷 암호화는 고객 관리형 KMS 키(SSE-KMS)로 하고, 퍼블릭 액세스 차단을 켭니다.
  • 버킷은 지식 기반 하나에 하나를 원칙으로 합니다. 권한 경계가 버킷 단위로 깔끔해지고, 실수로 다른 문서가 섞여 들어가지 않습니다.
  • 민감도가 다른 문서(전 직원 공개 규정과 인사 문서)는 같은 지식 기반에 넣지 말고 지식 기반 자체를 나누는 것을 먼저 검토하세요. 아래 4단계의 메타데이터 필터는 보조 수단입니다.

버킷 정책에는 보통 "VPC 엔드포인트 밖에서 오는 요청 거부"를 넣습니다. 여기서 첫 번째 함정이 나옵니다.

{
  "Sid": "DenyOutsideVpceExceptKbRole",
  "Effect": "Deny",
  "Principal": "*",
  "Action": "s3:*",
  "Resource": ["arn:aws:s3:::kb-docs-hr", "arn:aws:s3:::kb-docs-hr/*"],
  "Condition": {
    "StringNotEquals": { "aws:SourceVpce": "vpce-0abc...s3gw" },
    "ArnNotEquals": { "aws:PrincipalArn": "arn:aws:iam::111122223333:role/kb-hr-service-role" }
  }
}

수집은 Bedrock 서비스가 서비스 역할로 S3를 읽는 것이라 aws:SourceVpce 값이 없습니다. 예외 없이 "엔드포인트 밖 거부"만 걸면 동기화 작업이 접근 거부로 실패합니다. 위처럼 지식 기반 서비스 역할만 이름으로 빼 주세요. 두 조건은 AND로 묶이므로, 엔드포인트 밖에서 오면서 서비스 역할도 아닌 요청만 거부됩니다.

2단계: 벡터 저장소 고르기

Knowledge Bases는 여러 벡터 저장소를 지원하지만, 폐쇄망 기준으로 보면 선택지가 좁아집니다. Pinecone, Redis Enterprise Cloud, MongoDB Atlas 같은 외부 관리형 저장소는 Bedrock이 그 서비스의 주소로 접속하므로, "데이터가 AWS 계정 밖으로 나가지 않는다"는 요구사항이 있다면 보통 빠집니다.

저장소폐쇄망에서 볼 점
Amazon OpenSearch Serverless콘솔 기본값. 네트워크 정책을 퍼블릭이 아닌 VPC 전용으로 두고, Bedrock 서비스의 접근을 따로 허용해야 수집과 검색이 됩니다. 암호화 정책에 고객 관리형 키 지정
Amazon Aurora PostgreSQL (pgvector)DB는 프라이빗 서브넷에 두고, Bedrock은 RDS Data API로 접근합니다. 클러스터에 Data API를 켜고, DB 자격 증명은 Secrets Manager에 둡니다. 이미 Aurora를 운영하는 팀에 익숙한 선택
Amazon S3 VectorsS3 안에 벡터를 저장하는 방식이라 운영할 클러스터가 없습니다. 비용이 낮고 권한 모델이 S3와 같아 단순하지만, 검색 지연과 기능 범위가 위 두 저장소와 다르니 요구사항과 대조

실무 팁: OpenSearch Serverless를 VPC 전용으로 바꾼 뒤 "수집은 되는데 콘솔에서 인덱스가 안 보인다"는 문의가 흔합니다. 네트워크 정책이 막은 것은 여러분의 브라우저입니다. 대시보드 접근도 VPC 엔드포인트로 열거나, 인덱스 확인은 VPC 안의 작업 서버에서 API로 하세요. 데이터 접근 정책에는 지식 기반 서비스 역할과 운영자 역할만 넣습니다.

3단계: 서비스 역할을 이 지식 기반에만 묶기

지식 기반 서비스 역할은 수집 경로 전체를 대신하는 계정이라, 가장 넓게 만들고 싶은 유혹이 큰 곳입니다. 필요한 권한만 적으면 다음과 같습니다.

  • S3: 원본 버킷 하나에 대한 s3:ListBucket, s3:GetObject
  • KMS: 버킷과 지식 기반에 쓰는 키에 대한 kms:Decrypt(지식 기반 키에는 kms:GenerateDataKey도)
  • Bedrock: 승인한 임베딩 모델 하나에 대한 bedrock:InvokeModel
  • 벡터 저장소: OpenSearch Serverless라면 해당 컬렉션에 대한 aoss:APIAccessAll, Aurora라면 rds-data:ExecuteStatement·BatchExecuteStatement와 해당 시크릿의 secretsmanager:GetSecretValue

신뢰 정책에는 bedrock.amazonaws.com만 두고, aws:SourceAccount와 aws:SourceArn(이 계정의 지식 기반 ARN) 조건을 겁니다. 다른 계정의 지식 기반이 같은 역할 이름을 가정해 쓰는 혼동된 대리인(confused deputy) 문제를 막는 장치입니다.

더 깊이: 지식 기반에 따로 KMS 키를 주는 이유

수집 중에 Bedrock은 문서를 나누고 임베딩하는 동안 중간 데이터를 잠시 저장합니다. 지식 기반을 만들 때 고객 관리형 키를 지정하면 이 일시 데이터가 그 키로 암호화됩니다. 키 정책을 지식 기반 서비스 역할과 키 관리자에게만 열어 두면, 키를 비활성화하는 것만으로 수집을 즉시 멈출 수 있는 "비상 스위치"가 생깁니다. 버킷 키, 벡터 저장소 키, 지식 기반 키를 하나로 합칠지 나눌지는 키 관리 정책에 따르되, 나누면 사고 범위를 좁힐 수 있습니다.

4단계: 질의 경로와 문서 권한

애플리케이션 쪽은 앞 글과 같은 원칙입니다. bedrock-agent-runtime 인터페이스 엔드포인트를 만들고, 엔드포인트 정책에서 이 지식 기반 ARN에 대한 bedrock:Retrieve(그리고 쓰는 경우 bedrock:RetrieveAndGenerate)만 허용합니다. 관리 작업(지식 기반 생성, 동기화 시작)은 bedrock-agent 엔드포인트로 따로 열고, 운영자 역할에만 줍니다.

여기서 두 번째 함정이 있습니다. Knowledge Bases는 사용자별 문서 권한을 알지 못합니다. Retrieve를 부를 수 있는 역할은 지식 기반의 모든 청크를 검색할 수 있습니다. 부서별로 보이는 문서가 달라야 한다면 방법은 둘입니다.

  • 지식 기반 분리(권장): 민감도나 부서마다 지식 기반을 나누고, IAM에서 역할별로 부를 수 있는 지식 기반 ARN을 제한합니다. 권한이 AWS 쪽에서 강제됩니다.
  • 메타데이터 필터: 문서마다 문서이름.metadata.json 파일을 같은 위치에 두어 department 같은 속성을 붙이고, 애플리케이션이 로그인한 사용자의 부서로 검색 필터를 넣습니다. 강제하는 주체가 애플리케이션이므로, 필터 값을 사용자 입력에서 받지 말고 인증 토큰에서 꺼내야 합니다.
{
  "metadataAttributes": {
    "department": "finance",
    "classification": "internal"
  }
}

5단계: 답변 생성과 가드레일

RetrieveAndGenerate는 검색한 청크를 모델에 넘겨 답을 만듭니다. 검색 결과에 주민등록번호나 계좌번호가 섞여 있으면 그대로 답에 나올 수 있으므로, 생성 설정에 Guardrails를 지정해 민감 정보 필터(차단 또는 마스킹)를 겁니다. 생성 모델도 엔드포인트 정책과 IAM에서 승인한 모델 하나로 묶어 둡니다.

실무 팁: 처음에는 RetrieveAndGenerate 대신 Retrieve만 열고, 답 생성은 애플리케이션이 Converse API로 직접 하는 구성을 권합니다. 어떤 청크가 모델에 들어갔는지 애플리케이션 로그에 남길 수 있고, 프롬프트와 가드레일을 한곳에서 관리할 수 있어 보안 검토에서 설명하기가 쉽습니다.

6단계: 기록 남기기

  • CloudTrail: 지식 기반 생성·수정·동기화 같은 관리 이벤트는 기본으로 남습니다. 누가 무엇을 검색했는지까지 남기려면 Bedrock 지식 기반 리소스에 대한 데이터 이벤트를 켜세요(건수만큼 비용이 듭니다).
  • 수집 로그: 지식 기반 로깅을 켜면 문서별 수집 성공·실패가 CloudWatch Logs에 남습니다. "왜 이 문서는 답에 안 나오나"를 추적할 때 가장 먼저 보는 곳입니다. 로그 그룹도 KMS로 암호화합니다.
  • 모델 호출 로깅: 앞 글에서 켠 호출 로깅과 함께, 애플리케이션에서 사용자 ID와 요청 ID를 같이 남겨 두면 사고 조사 때 한 줄로 이어 볼 수 있습니다.

7단계: 동작 확인

VPC 안의 작업 서버에서 동기화를 시작하고, 끝나면 검색해 봅니다.

aws bedrock-agent start-ingestion-job \
  --knowledge-base-id KB12345678 --data-source-id DS12345678

aws bedrock-agent-runtime retrieve \
  --knowledge-base-id KB12345678 \
  --retrieval-query '{"text": "출장비 정산 기한"}' \
  --retrieval-configuration '{"vectorSearchConfiguration":
      {"numberOfResults": 3,
       "filter": {"equals": {"key": "department", "value": "finance"}}}}'

허용만 확인하면 반쪽입니다. 다음 거부도 함께 시험해 기록으로 남기세요.

  • 엔드포인트 밖(예: 다른 VPC)에서 retrieve 호출 → 거부
  • 권한 없는 역할로 다른 부서 지식 기반 호출 → 거부
  • 다른 부서 필터를 넣은 검색 → 해당 문서 없음
  • KMS 키 비활성화 후 동기화 → 실패(확인 후 다시 활성화)

점검 목록

  • 원본은 S3, SSE-KMS, 퍼블릭 차단, 지식 기반마다 버킷 하나
  • 버킷 정책: 엔드포인트 밖 거부, 서비스 역할만 예외
  • 벡터 저장소: 계정 안의 저장소, VPC 전용 네트워크, 고객 관리형 키
  • 서비스 역할: 버킷·키·임베딩 모델·저장소 하나씩, 신뢰 정책에 SourceAccount·SourceArn
  • bedrock-agent-runtime·bedrock-agent 엔드포인트와 정책
  • 문서 권한: 지식 기반 분리 우선, 필터는 토큰에서
  • Guardrails, 승인된 생성 모델 하나
  • CloudTrail 데이터 이벤트, 수집 로그, 호출 로깅
  • 허용과 거부 양쪽 시험 기록

지원하는 데이터 소스, 벡터 저장소, 리전은 자주 바뀝니다. 적용 전에 Amazon Bedrock 사용 설명서의 Knowledge Bases 항목(지원 벡터 저장소, 서비스 역할, 암호화)과 OpenSearch Serverless 네트워크 정책 문서를 확인하세요. 시험 준비 중이라면 RAG 보안은 AWS AIF-C01, AIP-C01에 나옵니다: cert-bank에서 관련 문제를 풀어 볼 수 있습니다.

Comments