꼬꼬마 데이터 분석가의 스킬트리

스토리지 버킷이란?

- 버킷: 데이터를 담는 기본 컨테이너

일반적인 사람들이 생각하는 '클라우드'에 엑셀 파일,  csv파일 등을 업로드 할 수 있도록 업로드 할 수 있는 저장 공간을 말한다. 

굳이 google storage에 넣어야하는가? 에 대해 묻는다면 아래와 같은 대표적인 장점이 있다.

- csv 또는 엑셀로 이뤄진 로컬 파일 데이터를 BigQuery 등으로 전송할 수 있다.

- 구글 클라우드에서 제공하는 프로덕트와 유연한 연계가 가능

1. 스토리지 버킷 만들기 클릭

Google Console에서 프로젝트를 선택한 뒤 메인 화면 -> 스토리지 버킷 만들기 선택

(메인 화면을 못찾았다면, 좌상단의 햄버거 버튼 클릭 -> Storage)

2. 버킷 이름 설정

버킷 이름 지정 및 기타 다른 설정을 선택할 수 있다. 이름을 짓는데는 여러 가지 룰 및 권장 사항이 있는데, 이는 아래의 공식 문서를 참고하자.

나의 경우 mydata-sample로 설정하였다.

https://cloud.google.com/storage/docs/buckets?hl=ko 

3. 공개 액세스 설정

버킷 기본 설정으로 공개 액세스가 차단되어 있으므로, 호스팅 등의 이슈가 없다면 설정하는 것이 좋다.

확인 클릭

4. 생성한 버킷 확인

확인까지 누르고 나면 위와 같은 버킷이 생성된다. 중간의 파일 업로드, 폴더 업로드, 폴더 만들기를 이용하여 구글 드라이브처럼 사용할 수 있다. 나는 파일 업로드를 통해 테스트용 csv 파일을 하나 업로드했다.

5. 파일 업로드

파일 업로드 버튼을 클릭해 원하는 파일을 생성할 수 있다. 

버킷 생성 및 파일 업로드는 굉장히 간단하고 UI로 작성 가능하다. 사실 업로드가 중요한 것 보다는 이를 통해 확장시킬 수 있는 다른 프로덕트를 어떻게 유연하게 사용할 것인지가 더 중요하고, 버킷에서 가져온 나의 로컬 데이터 뿐만 아니라 로컬 MySQL 워크벤치로 작업할 수 있는 Cloud SQL 서버, 이를 대시보드(루커스튜디오)에 연결하는 방법, BigQuery의 사용까지.. 삽질을 하면서 얻은 GCP의 다양한 기능들을 살펴볼 예정이다.

많관부

GCP, Google Cloud Platform은 구글에서 클라우드 컴퓨팅 시스템이다. 클라우드 스토리지는 물론 다양한 엔진 및 데이터 스토어, 그 유명한 빅쿼리를 제공하기도 하고, mysql같은 다른 IDE 와 연결하여 사용도 가능하다. 나는 스토리지 및 빅쿼리 사용을 위해 GCP에 입문했다.

GCP를 처음 시작하는 사람들은 이런 저런 기능이 많아 헷갈리기 쉽다. 프로젝트를 준비하면서 GCP 사용을 하고 BigQuery에 연결해서 쿼리를 날렸는데, 그 과정을 블로그에 작성해보고자 한다.

왜 GCP를 사용했나요?

: 우선 대용량의 데이터를 팀원들과 공유하기 위한 클라우드가 필요했고, 다른 구글 클라우드 플랫폼 서비스와 연동이 쉽게 하기 위해 GCP를 사용하기로 했다.

계정만들기

처음 GCP를 실행하면 나오는 화면이다. 무료로 시작하기 버튼을 누르면 된다.

위와 같이 화면이 나오면 해당하는 사항을 체크해주면 된다. 서비스 약관은 필수 동의이고, 이메일 업데이트는 선택해주면 된다.

다음으로 넘어가면 결제 정보를 입력하는 창이 뜬다. GCP는 $300, 90일동안 무료 크레딧(무료 평가판)을 제공하고, $300 크레딧을 초과하거나, 90일이 지나면 무료 체험판이 종료된다. 남은 크레딧 확인은 여기 에서 확인할 수 있다.

무료 영역에 상당히 많은 부분을 제공하기 때문에 웬만큼 날리는 쿼리로는 90일 동안 크레딧을 다 채우기는 어렵다. 주로 사용할 툴이 Storage와 BigQuery인데

구글 혜자...

여기에 더 다양한 무료 프로그램 지원 용량이 명시되어있다. 

결제 정보까지 등록하고 나면 

나는 프로젝트를 새로 만들어서 blog test 라는 이름으로 되어있는데, My first Project 라는 이름으로 처음 프로젝트가 자동 생성될 것이다. 튜토리얼을 제공하는 프로젝트라서 써도 그만 안 써도 그만인데 나는 그냥 삭제했다.

GCP에서 제공하는 기능(리소스)을 사용하기 위해서는 프로젝트가 먼저 구성되어 있어야 한다. 말 그대로 프로젝트다. 회사에서도 A프로젝트와 B프로젝트에서 필요한 기능과 데이터와 일정이 다르듯이 A프로젝트 안에서 일어나는 일은 A프로젝트에서 관리하면 되는....... 지금은 찰떡같은 비유가 생각이 잘 안나는데 써보면 어려운 개념은 아니다.

프로젝트 만들기

구글 클라우드 상단으로 가면 로고 옆 프로젝트를 선택하는 칸이 있다. (죠르디 있는 곳) 클릭하면 아래와 같은 창이 나타난다. 새 프로젝트를 누르자.

프로젝트 이름은 자유롭게 설정하면 된다. 진짜 프로젝트 이름을 넣는게 일반적이다. 이름을 정하면 아래에 프로젝트 ID가 생성된다. 위치는 상위 프로젝트 또는 조직을 선택할 수 있는데, 상위 프로젝트를 상속해야하면 선택하나, 나는 상속할 프로젝트가 없으므로 그냥 넘어갔다.

생성이 완료되면 구글 클라우드 콘솔 메인 화면에 사진과 같이 현재 프로젝트, 프로젝트 번호, 프로젝트 ID가 표시된다.

다음은 스토리지에 버킷을 생성하여 파일을 업로드하는 법을 알아볼 예정이다.