분류 전체보기(79)
-
Data Lake / Data Warehouse / Data Silo / Federated Query / Ad-hoc Query / Data Catalog
https://aws.amazon.com/ko/big-data/datalakes-and-analytics/ AWS 기반 데이터 레이크 및 분석 - Amazon Web Services Moderna Salesforce Intuit Pinterest aws.amazon.com Data Lake vs Data Warehouse Data lakes and data warehouses are both widely used for storing big data, but they are not interchangeable terms. A data lake is a vast pool of raw data, the purpose for which is not yet defined. A data warehouse is a..
2023.03.19 -
jupyter notebook markdown tip!
1. 첫 문단의 띄어쓰기, 여러번 띄어쓰기 등에 활용될 수 있는 띄어쓰기 2. Enter 기능 두 번 띄어쓰기 후 엔터 3. Bold체 ** text ** 4. italic체 * text * 참고 : Format Text In Jupyter Notebook With Markdown | Earth Data Science - Earth Lab
2021.06.11 -
[공공데이터 포털 Open API]국토교통부 상업업무용 부동산 거래정보 EDA
※ 최대한 보기 편하도록 jupyter notebook을 그대로 올리고자 하였으나, 종종 업로드 길이문제, 혹은 jupyter notebook상 preview에서 지원하지 않는 시각화로 인해서 코드블럭을 사용하고 있습니다. 데이터셋 todayisbetterthanyesterday.tistory.com/86?category=858543 [공공데이터 포털 Open API] - Python을 활용해서 공공데이터 포털 국토교통부 데이터 로드 (글자 깨 from lxml import html from urllib.parse import urlencode, quote_plus, unquote import xml.etree.ElementTree as ET import requests, bs4 import pandas..
2020.11.26 -
[서울시 지하철 시간대별 데이터 2015~2019] 지하철 시간별 승객 승하차 데이터 EDA - (2)
이 데이터 EDA과정은 앞의 과정과 연결되어있다. 그렇기에 앞에 과정을 보고 참고하길 권장한다. todayisbetterthanyesterday.tistory.com/87 [국토교통부 지하철 데이터 2015~2019] 지하철 시간별 승객 승하차 데이터 EDA - (1) plot_station(df = subway, name = '홍대입구', line = 2, type_ = '승차') ※ 데이터는 전처리 후 사용했기에 현재 압축시 약 60MB정도 됩니다. 2015~2019 서울 1~8호선 시간대별 승하차 승객수를 나타내는 데이.. todayisbetterthanyesterday.tistory.com ※ 데이터 준비과정은 위의 링크를 통해 확인하길 부탁드립니다. 또한 데이터셋은 개인적인 전처리과정을 진행후 ..
2020.11.24 -
[서울시 지하철 시간대별 데이터 2015~2019] 지하철 시간별 승객 승하차 데이터 EDA - (1)
※ "BC 금융 빅데이터 플랫폼 공모전 - 젠트리피케이션 예측" 프로젝트에서 방향성을 전환하여 새롭게 시작하는 분석입니다. ※ 데이터는 전처리 후 사용했기에 현재 압축시 약 60MB정도 됩니다. 2015~2019 서울 1~8호선 시간대별 승하차 승객수를 나타내는 데이터로 1000000 row 정도입니다. 필요하실 경우 메일링크를 남겨주시면 보내드리겠습니다. # library load import pandas as pd import numpy as np import matplotlib.pyplot as plt %matplotlib inline from mpl_toolkits.mplot3d import axes3d from matplotlib import style import seaborn as sns i..
2020.11.24 -
[공공데이터 포털 Open API] - Python을 활용해서 공공데이터 포털 국토교통부 데이터 로드 (글자 깨짐 방지)
from lxml import html from urllib.parse import urlencode, quote_plus, unquote import xml.etree.ElementTree as ET import requests, bs4 import pandas as pd # parameter for request # pageNo를 다르게 주어도 다른데이터가 발생하지 않는 것을 확인 def download_open_api(YMD,CODE,pageNo = 1): # 1. URL 파라미터 분리하기. # Service URL xmlUrl = 'http://openapi.molit.go.kr/OpenAPI_ToolInstallPackage/service/rest/RTMSOBJSvc/getRTMSDataSvcN..
2020.11.23