생성형 AI 테스트 (1) - Bedrock

작성이유

최근(?) 굉장히 핫한 생성형 AI를 사용하여 간단한 정보 추출 및 추천서비스? 가 되는지 테스트 해보고 싶어서 기본적인 환경 구성을 작성한다.

 

 

사용 서비스

생성형 AI를 지원하는 다양한 서비스들이 있지만, 그나마 접하기 편하고, 기존에 사용하고있던 계정이 있어서 AWS의 Bedrock을 사용하기로 하였다.

일전에 한번 GenAI 교육을 듣고 오긴 하였지만 WorkShop에서 기본 구성을 다 해주셨었기 때문에 혼자서 진행하는 경우는 처음이다. 그래서 구조나 큰 흐름을 다 모르다보니 많이 헤맬 것 같다는 느낌이 든다..

 

 

Bedrock이란?

AI 스타트업과 Amazon의 고성능 파운데이션 모델을 통합 API를 통하여 사용할 수 있게 해주는 완전 관리형 서비스

내가 이해한 바로는 기존 머신러닝, 딥러닝을 통하여 모델을 생성하며, 내가 원하는 결과를 얻기 위하여 프롬프트 튜닝 작업들을 직접 해줘야하는 단점들을 보완하여 하나의 서비스로 만든 제품

 

 

 

 

Bedrock 서비스 요청

Bedrock 접속

- 현재 Bedrock은 한국을 제외한 일부 지역에서만 사용 가능하기 때문에 시드니로 작업 진행

 

 

시작하기

- 일반적으로 IAM 으로 파운데이션 모델에 대한 권한을 설정하는 것 같다.
(지금은 회사가 아닌 본인 계정이기 때문에 별도의 권한을 설정하고 않고 진행 할 예정이다.)

 

 

 

- 플레이 그라운드에서 내가 원하는 모델에 대해서 테스트를 진행해 볼 수 있다.

(지금은 엑세스 권한이 없기 때문에 권한신청 후 이어서 작성)

 

 

 

모델 권한 요청

좌측 하단을 보면 "모델 액세스" 영역이 있다. 여기서 내가 사용할 파운데이션 모델에 권한을 요청하면 될 것 같다.

 

 

모델 선택

아래 사진을 보면 원하는 모델에 따라서 굉장히 많은 모델을 가지고있다.
각 모델들이 어떤 특성들을 가지고있는지 모르기 때문에, 가능한 모델은 최대한 요청!!!

Antropic 모델은 신청 하려고 하니 회사명, 회사 홈페이지 URL 등의 정보를 입력해야 하는 것을 보니 기업용 서비스 인 것 같아서 제외하고 요청!!!!
(마지막에 사용 사례를 등록하라고 하는 것을 보니 AWS Workshop에서 같이 사용하려고 하는 듯 하다....?)

 

 

 

모델 엑세스 요청 결과

Cohere 모델은 조금 요청 응답이 조금 오래 걸림!!! 기다리면 완료 

 

 

 

샘플 테스트

좌측 시작하기 > 개요 로 들어가면 "플레이그라운드" 에서 내가 요청한 모델에 대하여 샘플 테스트를 진행하 수 있다.

 

- 아래와 같은 식으로 모델을 선택하여 본인에게 맞는 모델을 사용할 수 있다.

 

 

Bedrock 비용

우선 기본적인 데모는 이정도로 마치며 가장 궁금 했던 비용을 좀 알아보려고 한다.

우선 회사가 아닌 개인이 테스트 용도로 사용해 볼 예정이기때문에 아래와 같은 정보들이 굉장히 중요하다.

(+ 개인적으로 테스트하다가 비용 폭탄맞으면 가슴이 미어지죠....)

 

1. 나에게 맞는 모델은 어떤 모델?

2. 몇번의 요청까지 가능한지?

3. 각 모델의 비용 청구 방식

 

 

 

 

요금 모델

모델	정책
온디멘	온디맨드 모드에서는 기간 약정 없이 사용한 만큼만 비용을 지불하면 됩니다.  - 텍스트 생성 모델의 경우 처리된 모든 입력 토큰과 생성된 모든 출력 토큰에 대해 요금이 부과됩니다.  - 임베딩 모델의 경우 처리된 모든 입력 토큰에 대해 요금이 부과됩니다.  토큰은 몇몇 문자로 구성되며 모델이 사용자 입력과 프롬프트를 이해하기 위해 학습하는 기본 텍스트 단위를 나타냅니다.  - 이미지 생성 모델의 경우 생성된 모든 이미지에 대해 요금이 부과됩니다.
배치	배치 모드에서는 프롬프트 세트를 단일 입력 파일로 제공하고 응답을 단일 출력 파일로 수신하여 대규모 예측을 동시에 수행할 수 있습니다.  응답은 처리된 후 Amazon S3 버킷에 저장되므로 나중에 액세스할 수 있습니다.  배치 모드 요금은 온디맨드 모드 요금과 동일합니다.
프로비저닝된 처리량	프로비저닝된 처리량 모드에서는 특정 기본 모델이나 사용자 지정 모델의 모델 단위를 구매할 수 있습니다.  프로비저닝된 처리량 모드는 주로 보장된 처리량이 필요한 대규모의 일관된 추론 워크로드를 위해 설계되었습니다.  사용자 지정 모델은 프로비저닝된 처리량을 사용해야만 액세스할 수 있습니다.  모델 단위는 분당 처리되는 입력 또는 출력 토큰의 최대 수로 측정되는 특정 처리량을 제공합니다.  프로비저닝된 처리량 요금제에서는 시간 단위로 요금이 청구되므로 1개월 또는 6개월 약정 기간 중에서 유연하게 선택할 수 있습니다.
모델 사용자 지정	Amazon Bedrock을 사용하면 데이터로 FM을 사용자 지정하여 특정 작업 및 비즈니스 상황에 맞는 맞춤형 응답을 제공할 수 있습니다.  레이블링된 데이터로 모델을 미세 조정하거나 레이블링되지 않은 데이터를 사용한 지속적인 사전 훈련에서 모델을 미세 조정할 수 있습니다.  - 텍스트 생성 모델을 사용자 지정하는 경우 모델에서 처리한 총 토큰 수(훈련 데이터 코퍼스의 토큰 수에 에포크 수를 곱한 값) 및 모델당 월별 모델 스토리지 요금이 부과됩니다.  (에포크는 미세 조정 또는 지속적인 사전 훈련 중에 훈련 데이터세트를 한 번 완전히 통과하는 것을 말합니다. 사용자 지정 모델을 사용한 추론은 프로비저닝된 처리량 플랜에 따라 요금이 부과되며 프로비저닝된 처리량을 구매해야 합니다.) 사용자 지정 모델에 대한 추론을 위해 약정 기간 없이 하나의 모델 단위를 사용할 수 있습니다.  사용자 지정 모델 추론에서 첫 번째 모델 단위에 사용한 시간에 대해 요금이 부과됩니다.  한 모델 단위 이상으로 처리량을 늘리려면 1개월 또는 6개월 약정 기간을 구매해야 합니다.
모델 평가	Amazon Bedrock에서 모델 평가를 사용하면 프롬프트 또는 응답 수에 대한 볼륨 약정 없이 사용한 만큼만 요금이 부과됩니다.  자동 평가의 경우 평가에서 선택한 모델의 추론에 대한 비용만 지불하면 됩니다.  자동으로 생성된 알고리즘 점수는 추가 비용 없이 제공됩니다.  자체 작업 팀을 데려오는 인간 기반 평가의 경우 평가의 모델 추론에 대한 비용이 청구되며, 완료된 인간 태스크당 0.21 USD의 요금이 부과됩니다.  - 인간 태스크는 인간 작업자가 인간 평가 사용자 인터페이스에서 단일 프롬프트 및 이와 관련된 추론 응답에 대한 평가를 제출하는 경우로 정의됩니다.  - 평가 작업의 모델 수가 한 개든 두 개든 상관없이 요금은 동일하며, 포함하는 평가 지표 및 평가 방법의 수와 관계없이 동일합니다.  인간 태스크에 대한 요금은 AWS 청구서의 Amazon SageMaker 섹션 아래에 표시되며 모든 AWS 리전에서 동일합니다.  인력은 고객이 공급하므로 인력에 대한 별도의 비용은 없습니다. AWS 관리형 평가의 경우 AWS의 전문가 평가 팀과 협력하는 동안 비공개 계약을 통해 평가 요구 사항에 맞게 요금이 사용자 지정됩니다.

 

현재 시드니 기준으로 금액은 아래와 같다.

 

 

너무 많은 모델이 있어서 자세한 내용은 홈페이지에 방문해서 찾아보면 될 것 같다.

https://aws.amazon.com/ko/bedrock/pricing/

파운데이션 모델(FM)을 사용하여 생성형 AI 애플리케이션을 구축 - Amazon Bedrock 요금 - AWS

 

 

 

 

 

 

마치며

aws에서 ec2, s3는 자주 사용했었지만, 해당 서비스는 처음 접해보는 것이다보니 데모 접속부터 살짝 좀 헤맸었다.

또한 한국에서는 정식으로 지원하지 않다보니 어떤 지역이 유리한지, 모델이 많다보니 내가 원하는 모델은 어떤 것인지를 찾아보는 것들을 해야된다는 것을 알게 되었다.

마지막으로 비용을 찾아보면서 지역별, 모델별 서비스 비용이 다르다는것을 보고 저렴한 지역으로 다시 만들어야되나? 하는 생각을 했었다....ㅎㅎ 

다음편은 RAG에 대하여 진행을 하며 추후에 Bedrock - Rag 기반으로 테스트를 진행해 나갈 예정이다.