Miner

구글 colab을 바탕으로 CSV 파일을 받아 Redshift 테이블로 로딩하기 1. !pip install ipython-sql==0.4.1 !pip install SQLAlchemy==1.4.49 ! 는 외부 셸 명령어를 실행하라는 뜻 ex) !ls 리눅스 셸 명령어 사용가능 ipython-sql은 ipython 환경에서 SQL 코드를 실행할 수 있게 해주는 확장 모듈 SQLAlchemy 는 SQL 데이터베이스와 상호 작용하기 위한 파이썬 SQL 툴킷 및 ORM 라이브러리 2. %load_ext sql %로 시작하는 IPython 매직 명령어의 일종으로, 특정 기능을 확장하거나 추가하는 역할 %load_ext sql는 ipython-sql 라이브러리의 일부로 제공되는 IPython 확장을 로드하는데 ..

11/27 - 데이터 웨어하우스 관리와 고급 SQL과 BI 대시보드(1) 다양한 데이터 웨어하우스 옵션 데이터 조직의 비전 - 신뢰할 수 있는 데이터를 바탕으로 부가 가치 생성 (본업을 더 잘할 수 있게) 데이터의 중요성을 강조하니 데이터 팀도 회사에서 인정을 받는다 ? - NO 1. 데이터 조직이 하는 일 (데이터 분석가) 고품질 데이터를 기반으로 의사 결정권자에게 입력 제공 결정 과학 데이터를 고려한 결정(data informed decisions) vs 데이터 기반 결정(data driven decisions) 데이터 기반 지표 정의, 대시보드와 리포트 생성 2. 데이터 조직이 하는 일 (데이터 사이언티스트) 고품질 데이터를 기반으로 사용자의 서비스 경험을 개선 머신 러닝과 같은 알고리즘을 통해 사..

가장 많이 사용되는 AWS 클라우드에 대해 실습 중심으로 학습(1) 1. AWS 전 세계적으로 분포한 데이터 센터에서 200개가 넘는 완벽한 기능의 서비스를 제공하는, 세계적으로 가장 포괄적이며, 널리 채택되고 있는 클라우드 플랫폼 (애자일 방식) ≫ 클라우트 컴퓨팅이란? 클라우드 컴퓨팅 IT 리소스를 인터넷을 통해 온디맨드로 제공하고 사용한 만큼만 비용을 지불하는 방식 물리적 데이터 센터와 서버를 구입, 소유 및 유지 관리하는 대신, AWS 와 같은 클라우드 공급자로부터 필요에 따라 컴퓨팅 파워, 스토리지, 데이터베이스와 같은 기술 서비스에 액세스한다. 사용한 만큼 지불한다. 민첩성 | 탄력성 | 비용절감 | On demend | 관리 용이성 아마존 AWS, 마이크로소프트 애저, 구글 GCP, 오라클 ..

AWS 에서 제공하는 클라우드 기반의 완전 관리형 데이터 웨어하우스 서비스이다 PetaByte 규모의 데이터까지 처리할 수 있다. PostgreSQL 을 기반으로 두고 있어 표준 SQL 을 이용하는 데이터 처리를 지원하며 이를 통해 BI를 얻을 수 있다. 고성능 컴퓨팅과 분산 스토리지 기능을 결합해 대규모 데이터 집합의 저장, 분석 및 쿼리 수행에 최적화되어 있음 컬럼 기반 스토리지가 사용 가능하다. / 데이터의 압축률을 높이고 저장 용량을 최적화 대용량 병렬 처리(MPP) 기능을 제공한다. / 대규모 데이터 집합을 빠르게 처리 가능 SQL 기반의 쿼리 언어를 지원한다. 다른 AWS 서비스와 통합되어 있어 데이터를 쉽게 가지고 올 수 있다. / 높은 유연성과 확장성 다만 RedShift는 고정 비용 옵션..

11/15 - 데이터 웨어하우스와 SQL 기본에 대해 배우고 이를 바탕으로 데이터 분석에 대해 학습(3) 1. Group By & Aggregate 함수 SELECT LEFT(ts, 7) AS mon, COUNT(1) AS session_count FROM raw_data.session_timestamp GROUP BY 1 -- GROUP BY mon, GROUP BY LEFT(ts, 7) ORDER BY 1; >> 가장 많이 사용된 채널 SELECT channel, COUNT(1) AS session_count, COUNT(DISTINCT userid) AS user_count FROM raw_data.user_session_channel GROUPBY 1 ORDERBY 2 DESC; LIMIT 1; ..

데이터 웨어하우스와 SQL 기본에 대해 배우고 이를 바탕으로 데이터 분석에 대한 학습(2) 1. Redshift 론치 데모 AWS 콘솔을 통해 Redshift를 론치한다. redshift를 외부에서 액세스 가능하게 해야 함 default 값은 security 설정 때문에 같은 AWS 안의 서버에서만 접근 가능 -> Use defaults를 off 해줌 Network and Security 에서 https://docs.aws.amazon.com/ko_kr/redshift/latest/mgmt/managing-cluster-subnet-group-console.html 콘솔을 사용하여 클러스터 서브넷 그룹 관리 - Amazon Redshift 이 페이지에 작업이 필요하다는 점을 알려 주셔서 감사합니다. 실망..