Miner

※ 데이터 웨어하우스와 SQL 기본에 대해 배우고 이를 바탕으로 데이터 분석에 대해 학습 (1) ◆ 데이터 관련 3개의 직군 데이터 엔지니어 파이썬, 자바/스칼라 SQL, 데이터베이스 ETL, ELT (Airflow, DBT) Spark, Hadoop 데이터 분석가 SQL, 비지니스 도메인에 대한 지식 통계 (AB 테스트 분석) 데이터 과학자 머신러닝 SQL, 파이썬 통계 1. 관계형 데이터베이스 구조화된 데이터를 저장하고 질의할 수 있도록 해주는 스토리지 엑셀, 스프레드시트 형태의 테이블로 데이터를 정의하고 저장 테이블에는 칼럼(열)과 레코드(행)가 존재 관계형 데이터베이스를 조작하는 프로그래밍 언어가 SQL 테이블 정의를 위한 DDL(Data Definition Language) 테이블 데이터 조작/..

11/2 파이썬 장고 프레임워크를 사용해서 API 서버 만들기(4) 1. User 추가하기 polls/models.py class Question(models.Model): question_text = models.CharField(max_length=200, verbose_name='질문') pub_date = models.DateTimeField(auto_now_add=True, verbose_name='생성일') owner = models.ForeignKey('auth.User', related_name='questions', on_delete=models.CASCADE, null=True) @admin.display(boolean=True, description='최근생성(하루기준)') def w..

11/1 - 파이썬 장고 프레임워크를 사용해서 API 서버 만들기 1. serializer 시리얼라이져 Serialize : 모델 인스턴스나 QuerySet과 같은 데이터를 JSON 형식의 파일로 변환하는 작업 Deserialize : JSON 형식의 데이터를 정의된 포맷에 맞추어 다시 모델 인스턴스로 변환하는 작업 Serializer 는 Serialize와 Deserialize 를 모두 수행한다. Restful API 에서 데이터를 전송할 때 자주 사용된다. 장고 restframework 기능을 수행할 새로운 app을 만든다. python manage.py startapp poll_api ※ restframework 가 설치가 안되있다..! ---> 중간에 설치해서 들어가는 방법이 있지 않은 듯하다(망..

10/31 파이썬 장고 프레임워크를 사용해서 API 서버 만들기(2) 1. 뷰(Views) 와 템플릿(Templates) poll/views.py from .models import * from django.shortcuts import render def index(request): latest_question_list = Question.objects.order_by('-pub_date')[:5] context = {'first_question': latest_question_list[0]} return render(request, 'polls/index.html', context) templates/poll/index.html {{first question}} 2. 템플릿에서 제어문 사용하기 tem..

* 파이썬 장고 프레임워크를 사용해서 API 서버 만들기(1) https://challengvirus.tistory.com/entry/%EC%9E%A5%EA%B3%A0-Instagram-clone-1-%EA%B0%80%EC%83%81%ED%99%98%EA%B2%BD-%EC%A4%80%EB%B9%84%ED%95%98%EA%B8%B0 장고 Instagram clone #1 가상환경 준비하기 https://www.youtube.com/watch?v=M8UPyeF5DfM&t=6887s 를 참고 해서 만들어 봤습니다. 1. 파이썬 가상환경 사용 1. C드라이브에 venvs 폴더 만들기 mkdir venvs 2. venvs 폴더 안에 가서 가상환경 만들기 C:venvs > python -m v challengvir..

10/26 파이썬으로 웹 데이터를 크롤하고 분석하기(4) 파이썬을 통해 브라우저를 자동화하기 1. 브라우저 자동화하기, Selenium %pip install selenium Web Driver 웹 브라우저와 연동을 위해서는 WebDriver가 필요하다. WebDriver는 웹 브라우저를 제어할 수 있는 자동화 프레임워크입니다. 이 실습에서는 Chrome을 기준. pip insall을 통해 webdriver를 관리하는 라이브러리 webdriver-manager를 설치한다. %pip install webdriver-manager # selenium으로부터 webdriver 모듈을 불러옵니다. from selenium import webdriver from selenium.webdriver.chrome.se..

10/25 - 파이썬으로 웹 데이터를 크롤하고 분석하기(3) 1. HTML 을 분석해주는 BeautifulSoup ▶ requests 모듈의 res.text 의 문제점 : 원하는 요소만을 분석하기가 어려움 따라서, HTML 코드를 분석해주는 HTML Parser를 사용한다. BeautifulSoup4 모듈에서 사용한다. 1. %pip install beautifulsoup4 2. import requests res = requessts.get("https://www.naver.com") import bs4 import BeautifulSoup soup = BeautifulSoup(res.text, "html.parser") print(soup.prettify()) 하면 정리된 html 코드가 나옴 3. ..

10/24 파이썬으로 웹 데이터를 크롤하고 분석하기(2) 1. HTTP 인터넷과 웹 두 컴퓨터를 연결하는 네트워크(Network)의 탄생 이 네트워크를 묶어 근거리 지역 네트워크(Local Area Network, LAN) 탄생 범지구적으로 연결된 네트워크 - Internet 탄생 웹 --> 인터넷에서 정보를 교환할 수 있는 환경(World Wide Web), 시스템 (수단) 웹에서 정보 주고받기 손님이 직원에 요청 | "programmers.co.kr 정보 주세요 요청에 대하여 직원이 처리 | 작업 진행 상황에 따라서 직원이 손님에게 응답 | "여기 있습니다" / "요청이 이상한데요" 클라이언트 (정보를 요청하는 컴퓨터) / 서버 (정보를 제공하는 컴퓨터) HTTP 의 구조 Hypertext Trans..