infra/AWS

RAG 파일 업로드일단 나의 경우 우선 pdf로만 테스트를 진행해볼 예정이기 때문에 S3에 파일을 업로드 후 테스트 해보려한다.   S3 버킷에 파일 업로드CLI를 이용해서 업로드 하지는 않고 직접 업로드를 하였다.(업로드 속도가 빠른건 기분탓인가...)    지식창고 동기화새로운 파일을 업로드 하였기 때문에 지식 창고를 동기화 및 데이터를 청킹해줘야함.    테스트 진행 (실패)지식창고 생성 후 모델을 생성해서 테스트를 진행하려는데, 모델이 나오지 않았다...무한 로딩창만이 있을뿐...혹시 몰라서 에이전트 생성도 진행해서 테스트를 해봤는데 Antropic Model이 필요했었다..Antropic Model은 기업 정보를 입력해야되서 불가능할걸로 예상하고 테스트를 중단할 수 밖에 없었다.... ㅠㅠ   ..

Bedrock 기본 연동AWS SDK (python) 연동작업 전 필수 조건AWS 계정이 있고, Bedrock에 필요한 권한이 있는 역할에 액세스 권한 필요루트 계정으로는 작업이 안됨. 사용자 생성 필요 (사용자 생성 및 Access Key 발급은 여기로)IAM 사용자에 대한 액세스 키 필요AWS CLI 사용자 프로필 구성 필요 (사용자 프로필 등록은 여기로!!)  이 글의 "생성 실패" 는 루트 계정으로 작업을 진행해서 실패한 케이스이다.해당 부분은 그러려니 하고 넘어가주면 된다.   기본 SDK 설치pip install boto3  기초 모델 나열# Use the ListFoundationModels API to show the models that are available in &BR; in a g..

작성 이유Bedrock 서비스 이용을 하기 위해서는 루트 계정이 아닌 사용자 계정을 만들어서 진행해야한다.일반적으로도 사용자 계정을 만들어서 작업을 진행하는것이 좋다.  IAM 서비스 접속신규 사용자 생성  사용자 이름 작성- Bedrock 서비스로 이용할 예정이기 때문에 이름은 "Bedrock"으로 작성하였다.- IAM 사용자를 만들 것이기 때문에 "AWS Management Console" 선택  (비밀번호는 기억하기 쉽게 직접 설정하였다.)   권한 부여- Bedrock을 사용 할 예정이기 때문에 "AmazonBedrodkFullAccess", "AmazonS3FullAccess" 권한을 준다.   사용자 정보 확인생성을 완료하게 되면 아래와 같은 정보들이 나온다- 콘솔 로그인 URL- 사용자 이름..

작성 이유Bedrock SDK 작업을 진행하려면 액세스키를 가지고 작업을 진행해야한다.사용자를 생성해서 IAM 권한으로 키를 등록하는게 좋지만, 단순 작업을 위하여 루트 계정으로 발급을 진행하려한다.   AWS 사용자 프로필 구성AWS CLI 다운로드- AWS CLI가 없는 사람들은 설치 후 진https://docs.aws.amazon.com/ko_kr/cli/latest/userguide/getting-started-install.html 최신 버전의 AWS CLI설치 또는 업데이트 - AWS Command Line Interface이전 버전에서 업데이트하는 경우 unzip 명령을 실행하면 기존 파일을 덮어쓸지 묻는 메시지가 표시됩니다. 스크립트 자동화와 같은 경우에 이러한 프롬프트를 건너뛰려면 unz..

작성 이유웹 서버에 정적 소스를 올려서 작업을 진행해야 할 일이 생겨서 S3 버킷을 알게 되었었다.또한 최근 Bedrock이라는 생성형 AI가 출시하게 되면서 RAG의 데이터 소스를 S3로 많이 사용하는 것을 알게되서 나 또한 사용해보기 위하여 작성한다.  S3란?어디서나 원하는 양의 데이터를 저장하고 검색할 수 있도록 구축된 객체 스토리지.   사용 용도S3는 확장성이 뛰어나고 사용한 만큼만 비용이 지불되기 때문에 작은 규모에서 큰 규모까지 성능, 안정성 저하 없이 사용할 수 있다.또한 원하는 형식의 데이터를 원하는 만큼 저장하고, 동일한 데이터를 수백만 번 읽거나, 비상 재해 복구 용도로만 사용하여도 좋다.   S3 버킷 생성기본 버킷 정보 설정- 객체 소유권 : 외부 계정에서 접속하지 않을 예정이므..

작성이유최근(?) 굉장히 핫한 생성형 AI를 사용하여 간단한 정보 추출 및 추천서비스? 가 되는지 테스트 해보고 싶어서 기본적인 환경 구성을 작성한다.  사용 서비스생성형 AI를 지원하는 다양한 서비스들이 있지만, 그나마 접하기 편하고, 기존에 사용하고있던 계정이 있어서 AWS의 Bedrock을 사용하기로 하였다.일전에 한번 GenAI 교육을 듣고 오긴 하였지만 WorkShop에서 기본 구성을 다 해주셨었기 때문에 혼자서 진행하는 경우는 처음이다. 그래서 구조나 큰 흐름을 다 모르다보니 많이 헤맬 것 같다는 느낌이 든다..  Bedrock이란?AI 스타트업과 Amazon의 고성능 파운데이션 모델을 통합 API를 통하여 사용할 수 있게 해주는 완전 관리형 서비스내가 이해한 바로는 기존 머신러닝, 딥러닝을 ..

작성 이유AWS pem 키의 경우 다운로드를 받으면 일반적으로 권한이 400이 아닌 다른 값으로 설정되어있다.그러다보니 SSH 접속을 할 수가 없다. 윈도우 및 Linux의 경우 권한을 변경하는 방식이 달라서 작성해놓는다.  Linux- 아래코드는 /test/test.pem 이라는 경로에 존재한다는 가정하에 진행 1. 해당 파일이 존재하는 위치로 이동cd /test  2. 권한을 400 으로 변경chmod 400 test.pem  윈도우- 아래코드는 C:\Users\JJLEE\test\test.pem 이라는 경로에 존재한다는 가정하에 진행 1. 파일 탐색기로 해당 폴더로 이동 2. 상단에 cmd 라고 입력 (그러면 해당 폴더 위치로 명령프롬프트가 열린다) 3. 권한 변경 명령어 입력icacls.exe t..