How to check file sizes by prefix in a s3 bucket.

프로그래밍까지 할줄 알면 좋겠지만, 그냥 할줄아는 Shell Script로 심플하게 만들기. 나중에 다시 하려면 까먹을거 같아서 냉큼 써놓기.

일단 실행결과는 아래와 같음.

./s3_prefix_size.sh 버킷이름 입력 You are checking each prefix size of s3://당신의 버킷이름. athena    Total Size: 525.7 MiB s3lens    Total Size: 30.0 MiB test    Total Size: 369.7 KiB

대충 짠 셀스크립트. 실행하실때 변수로 버킷이름 넣어야 합니다.
실행방법 - ./s3_prefix_size.sh yourbucketname
짧게 기록해보자면, s3 ls 로 PREFIX 별로 가져와서 s3prefix.txt로 저장하고, 해당 파일을 읽어서 recursive로 읽은다음에 Total Size 체크. 

#!/bin/bash echo "You are checking each prefix size of s3://"$1. aws s3 ls --summarize --human-readable s3://"$1" | grep PRE | awk '{print $2}' | awk -F '/' '{print $1}' > s3prefix.txt  while IFS=- read -r prefix do 	echo $prefix 	aws s3 ls --summarize --human-readable --recursive s3://"$1"/"$prefix" | grep 'Total Size' done < s3prefix.txt

확인하지 않은거.. 이거 API call cost가 얼마나 나올지 모르겠다.

 This free site is ad-supported. Learn more
​