전체 글39 [AWS]Analytics on AWS 워크샵 실습하기-마무리 이전 실습 : [AWS]Analytics on AWS 워크샵 실습하기(5) 모든 리소스를 정리하지 않으면 AWS 사용 요금이 계속 발생합니다.. 아래의 링크에 따라 전부 정리하시길 바랍니다! https://catalog.us-east-1.prod.workshops.aws/workshops/44c91c21-a6a4-4b56-bd95-56bd443aa449/ko-KR/lab-guide/cleanup 6장의 포스팅을 하면서 아래의 그림 전반적인 테스크를 경험했습니다. 이번 워크샵 덕분에 AWS를 활용한 적재,변환, 처리, 분석에 대한 전반적인 과정을 통과할 수 있어서 값진 경험이었습니다. 특히, 분석할 때 Athena와 Quicksight를 활용한 시각화 경험은 처음이라 신기한 경험이었습니다. 이 워크샵의 학.. 2022. 3. 31. [AWS]Analytics on AWS 워크샵 실습하기(5) 이전 실습 : [AWS]Analytics on AWS 워크샵 실습하기(4) 마지막 실습 시간입니다. 이번 시간은 매우 구체적인 사용 사례 예제로 Lambda 함수를 생성 해 볼 것입니다. 7. 람다(Lambda) 함수 1. Lambda 함수 생성 우리가 이번에 작성할 람다 함수는 Athena가 S3의 processsed data에서 Hits 별 Top 5 Popular Songs를 쿼리하고 가져 오는 코드를 호스팅하는 것입니다. AWS Lambda 콘솔로 이동합니다.리전이 버지니아 북주(us-east-1)인지 체크해줍니다. 그리고 함수 생성을 클릭해줍니다. 함수 생성 단계는 다음과 같이 작성합니다. 그리고 함수 생성을 눌러 마무리합니다. 2. Lambda 함수 작성 boto3를 사용하여 Athena 클라.. 2022. 3. 31. [AWS]Analytics on AWS 워크샵 실습하기(4) 이전 실습 : [AWS]Analytics on AWS 워크샵 실습하기(3) 5. Athena로 데이터 탐색 지금까지 Amazon S3에 몇 가지 데이터세트를 저장하고 이를 AWS Glue 데이터 카탈로그에 카탈로그화 했습니다. Amazon Athena를 사용하면 표준 SQL 쿼리를 사용하여 데이터를 탐색 해볼 차례입니다. 우선, Athena 콘솔로 이동합니다. Athena는 데이터 원본을 추적하기 위해 AWS Glue 카탈로그를 사용하기 때문에 Glue의 모든 S3 지원 테이블이 Athena에 표시됩니다. 왼쪽 탭에 데이터 베이스를 아래와 같이 두고 오른쪽에 다음과 같은 쿼리를 실행합니다. SELECT artist_name, count(artist_name) AS count FROM processed_d.. 2022. 3. 30. [AWS]Analytics on AWS 워크샵 실습하기(3) 이전 실습 : [AWS]Analytics on AWS 워크샵 실습하기(2) 3. AWS Glue를 이용한 데이터 변환 이번에는 AWS Glue ETL을 사용하여 데이터를 처리하고 결과를 다시 S3에 저장해보도록 합시다! 1. Glue 개발엔드포인트 생성 PySpark를 사용하여 Glue ETL 스크립트를 대화식으로 개발하기 위해 AWS Glue Dev Endpoint를 생성합니다. Glue 개발 엔드포인트 콘솔로 이동하여 '엔드포인드 추가'를 클릭합니다 개발 엔드포인트 설정은 아래와 같이 진행합니다. DPU를 2로 하게 되면 이 실습을 실행하는데 드는 비용이 절감됩니다. 다음을 누릅니다. 네트워킹은 '네트워킹 정보 건너뛰기' 그대로 유지하고 다음으로 넘어갑니다. 퍼플릭 키도 마찬가지로 넘어갑니다. 그리고.. 2022. 3. 30. 이전 1 2 3 4 ··· 10 다음