Miner

가장 많이 사용되는 AWS 클라우드에 대해 실습 중심으로 학습(1) 1. AWS 전 세계적으로 분포한 데이터 센터에서 200개가 넘는 완벽한 기능의 서비스를 제공하는, 세계적으로 가장 포괄적이며, 널리 채택되고 있는 클라우드 플랫폼 (애자일 방식) ≫ 클라우트 컴퓨팅이란? 클라우드 컴퓨팅 IT 리소스를 인터넷을 통해 온디맨드로 제공하고 사용한 만큼만 비용을 지불하는 방식 물리적 데이터 센터와 서버를 구입, 소유 및 유지 관리하는 대신, AWS 와 같은 클라우드 공급자로부터 필요에 따라 컴퓨팅 파워, 스토리지, 데이터베이스와 같은 기술 서비스에 액세스한다. 사용한 만큼 지불한다. 민첩성 | 탄력성 | 비용절감 | On demend | 관리 용이성 아마존 AWS, 마이크로소프트 애저, 구글 GCP, 오라클 ..

AWS 에서 제공하는 클라우드 기반의 완전 관리형 데이터 웨어하우스 서비스이다 PetaByte 규모의 데이터까지 처리할 수 있다. PostgreSQL 을 기반으로 두고 있어 표준 SQL 을 이용하는 데이터 처리를 지원하며 이를 통해 BI를 얻을 수 있다. 고성능 컴퓨팅과 분산 스토리지 기능을 결합해 대규모 데이터 집합의 저장, 분석 및 쿼리 수행에 최적화되어 있음 컬럼 기반 스토리지가 사용 가능하다. / 데이터의 압축률을 높이고 저장 용량을 최적화 대용량 병렬 처리(MPP) 기능을 제공한다. / 대규모 데이터 집합을 빠르게 처리 가능 SQL 기반의 쿼리 언어를 지원한다. 다른 AWS 서비스와 통합되어 있어 데이터를 쉽게 가지고 올 수 있다. / 높은 유연성과 확장성 다만 RedShift는 고정 비용 옵션..

11/15 - 데이터 웨어하우스와 SQL 기본에 대해 배우고 이를 바탕으로 데이터 분석에 대해 학습(3) 1. Group By & Aggregate 함수 SELECT LEFT(ts, 7) AS mon, COUNT(1) AS session_count FROM raw_data.session_timestamp GROUP BY 1 -- GROUP BY mon, GROUP BY LEFT(ts, 7) ORDER BY 1; >> 가장 많이 사용된 채널 SELECT channel, COUNT(1) AS session_count, COUNT(DISTINCT userid) AS user_count FROM raw_data.user_session_channel GROUPBY 1 ORDERBY 2 DESC; LIMIT 1; ..

1. range 함수 사용 def solution(n): return list(range(1, n+1, 2)) def solution(a, b): if a > b: a,b = b,a return sum(range(a,b+1)) range 함수를 list로 묶어버리면 사용 가능, sum 도 사용가능 2. 아스키코드 변환 ord() chr() 3. 리스트 끼리도 부등호 사용 가능

데이터 웨어하우스와 SQL 기본에 대해 배우고 이를 바탕으로 데이터 분석에 대한 학습(2) 1. Redshift 론치 데모 AWS 콘솔을 통해 Redshift를 론치한다. redshift를 외부에서 액세스 가능하게 해야 함 default 값은 security 설정 때문에 같은 AWS 안의 서버에서만 접근 가능 -> Use defaults를 off 해줌 Network and Security 에서 https://docs.aws.amazon.com/ko_kr/redshift/latest/mgmt/managing-cluster-subnet-group-console.html 콘솔을 사용하여 클러스터 서브넷 그룹 관리 - Amazon Redshift 이 페이지에 작업이 필요하다는 점을 알려 주셔서 감사합니다. 실망..

※ 데이터 웨어하우스와 SQL 기본에 대해 배우고 이를 바탕으로 데이터 분석에 대해 학습 (1) ◆ 데이터 관련 3개의 직군 데이터 엔지니어 파이썬, 자바/스칼라 SQL, 데이터베이스 ETL, ELT (Airflow, DBT) Spark, Hadoop 데이터 분석가 SQL, 비지니스 도메인에 대한 지식 통계 (AB 테스트 분석) 데이터 과학자 머신러닝 SQL, 파이썬 통계 1. 관계형 데이터베이스 구조화된 데이터를 저장하고 질의할 수 있도록 해주는 스토리지 엑셀, 스프레드시트 형태의 테이블로 데이터를 정의하고 저장 테이블에는 칼럼(열)과 레코드(행)가 존재 관계형 데이터베이스를 조작하는 프로그래밍 언어가 SQL 테이블 정의를 위한 DDL(Data Definition Language) 테이블 데이터 조작/..