Miner

11/27 - 데이터 웨어하우스 관리와 고급 SQL과 BI 대시보드(1) 다양한 데이터 웨어하우스 옵션 데이터 조직의 비전 - 신뢰할 수 있는 데이터를 바탕으로 부가 가치 생성 (본업을 더 잘할 수 있게) 데이터의 중요성을 강조하니 데이터 팀도 회사에서 인정을 받는다 ? - NO 1. 데이터 조직이 하는 일 (데이터 분석가) 고품질 데이터를 기반으로 의사 결정권자에게 입력 제공 결정 과학 데이터를 고려한 결정(data informed decisions) vs 데이터 기반 결정(data driven decisions) 데이터 기반 지표 정의, 대시보드와 리포트 생성 2. 데이터 조직이 하는 일 (데이터 사이언티스트) 고품질 데이터를 기반으로 사용자의 서비스 경험을 개선 머신 러닝과 같은 알고리즘을 통해 사..

11/21 - 가장 많이 사용되는 AWS 클라우드에 대해 실습 중심으로 학습(2) 1. 네트워크 서비스 : Route53 Amazon Route 53는 가용성과 확장성이 뛰어난 DNS(도메인 이름 시스템) 웹 서비스 Route 53을 사용하여 세 가지 주요 기능, 즉 도메인 등록, DNS 라우팅, 상태 확인을 조합하여 실행할 수 있다. Route53은 public host zone 과 private host zone 존재 Route53 = DNS(네임서버) + 모니터링 + L4 + GSLB 2. DB 서비스 ① RDS DB 인스턴스는 클라우드에서 실행하는 격리된 데이터베이스 환경. DB 인스턴스에는 여러 사용자가 만든 데이터베이스가 포함될 수 있으며, 독립 실행형 데이터베이스 인스턴스에 액세스할 떄 사용..

가장 많이 사용되는 AWS 클라우드에 대해 실습 중심으로 학습(1) 1. AWS 전 세계적으로 분포한 데이터 센터에서 200개가 넘는 완벽한 기능의 서비스를 제공하는, 세계적으로 가장 포괄적이며, 널리 채택되고 있는 클라우드 플랫폼 (애자일 방식) ≫ 클라우트 컴퓨팅이란? 클라우드 컴퓨팅 IT 리소스를 인터넷을 통해 온디맨드로 제공하고 사용한 만큼만 비용을 지불하는 방식 물리적 데이터 센터와 서버를 구입, 소유 및 유지 관리하는 대신, AWS 와 같은 클라우드 공급자로부터 필요에 따라 컴퓨팅 파워, 스토리지, 데이터베이스와 같은 기술 서비스에 액세스한다. 사용한 만큼 지불한다. 민첩성 | 탄력성 | 비용절감 | On demend | 관리 용이성 아마존 AWS, 마이크로소프트 애저, 구글 GCP, 오라클 ..

AWS 에서 제공하는 클라우드 기반의 완전 관리형 데이터 웨어하우스 서비스이다 PetaByte 규모의 데이터까지 처리할 수 있다. PostgreSQL 을 기반으로 두고 있어 표준 SQL 을 이용하는 데이터 처리를 지원하며 이를 통해 BI를 얻을 수 있다. 고성능 컴퓨팅과 분산 스토리지 기능을 결합해 대규모 데이터 집합의 저장, 분석 및 쿼리 수행에 최적화되어 있음 컬럼 기반 스토리지가 사용 가능하다. / 데이터의 압축률을 높이고 저장 용량을 최적화 대용량 병렬 처리(MPP) 기능을 제공한다. / 대규모 데이터 집합을 빠르게 처리 가능 SQL 기반의 쿼리 언어를 지원한다. 다른 AWS 서비스와 통합되어 있어 데이터를 쉽게 가지고 올 수 있다. / 높은 유연성과 확장성 다만 RedShift는 고정 비용 옵션..

11/15 - 데이터 웨어하우스와 SQL 기본에 대해 배우고 이를 바탕으로 데이터 분석에 대해 학습(3) 1. Group By & Aggregate 함수 SELECT LEFT(ts, 7) AS mon, COUNT(1) AS session_count FROM raw_data.session_timestamp GROUP BY 1 -- GROUP BY mon, GROUP BY LEFT(ts, 7) ORDER BY 1; >> 가장 많이 사용된 채널 SELECT channel, COUNT(1) AS session_count, COUNT(DISTINCT userid) AS user_count FROM raw_data.user_session_channel GROUPBY 1 ORDERBY 2 DESC; LIMIT 1; ..

1. range 함수 사용 def solution(n): return list(range(1, n+1, 2)) def solution(a, b): if a > b: a,b = b,a return sum(range(a,b+1)) range 함수를 list로 묶어버리면 사용 가능, sum 도 사용가능 2. 아스키코드 변환 ord() chr() 3. 리스트 끼리도 부등호 사용 가능