데이터조이

group by 'col1'을 기준으로 그룹 만들고 'col2'의 평균 값 사용 (mean, sum, count 사용 가능) d = {'col1': [1, 2, 3], 'col2': [4, 5, 6]} df = pd.DataFrame(data=d) df.groupby('col1')[['col2']].mean() df.groupby('col1', as_index=False)[['col2']].mean() # index reset reset index 할 때 already exists 오류날 경우 df.groupby(['col1', 'col2'])[['col2']].count().reset_index(drop=True) index to columns and reset index df.reset_index(l..

목적 특정 장소들을 각각 경유하는 여러대의 차량이 있을 때, 경유지와 이동 순서를 지도 위에 표현하고자합니다. 이 때 경유 장소에 대한 위도(latitude), 경도(longitude) 정보는 주어집니다. 또한 경유 장소에 대한 zone 정보를 tool tip 형식으로 표현하겠습니다. 1. folium을 이용한 경유지, 경유 순서 시각화 데이터 준비 필요한 라이브러리를 import 합니다. import folium from folium import plugins import pandas as pd import matplotlib.colors as mcolors 차량 별 경유 정보 데이터를 가져옵니다. df = pd.read_csv('sample_data/tsp_result_nodes.csv') 차량은 2..

folium을 처음 접하며 해결하지 못했던 오류들 기록. geo json 대신 shape file을 이용할 경우 지리 데이터 시각화(1)에서 다운 받은 202105기초구역DB_전체분 > 서울특별시 > 11000 > .dbf, .shp, .shx파일 세개와 202105기초구역DB_전체분 > GRS80_UTMK.prj 파일의 이름을 위 세파일과 똑같이 바꾼 파일(TL_KODIS_BAS.prj)을 올림. import geopandas as gpd 우편번호 - 권역 코드 매핑 데이터 가져옴. df = pd.read_csv('sample_data/code-bas_id_euc-kr.csv', encoding = 'euc-kr') df['우편번호*'] = df['우편번호*'].astype('str').str.zfil..

목적 우편번호 별로 권역 코드가 매핑되어 있는 데이터를 지도 위에 표현하고자합니다. 권역코드 별로 색상을 다르게하여 권역을 구분하고 우편번호를 지도 위에서 확인하겠습니다. 1. folium을 이용한 시각화 데이터 준비 folium의 경우 utf-8로 인코딩된 csv파일을 이용할 경우 오류가 납니다. euc-kr로 인코딩을 변경해주세요. 저는 mac 환경을 사용하고 있고 아래 명령어로 인코딩을 바꾸었습니다. iconv -c -f utf-8 -t euc-kr code-bas_id.csv > code-bas_id_euc-kr.csv file -I code-bas_id.csv, file -I code-bas_id_euc-kr.csv 명령어로 인코딩이 잘 된 것을 확인하였습니다. colab에서 작업을 하였습니다...

먼저 말씀드리면 저는 plotly로 만든 html 파일이 너무 늦게 열리거나 안 열리는 문제로 folium을 사용하고 있습니다. folium 사용법을 원하시는 분들은 다음 글을 참고해주세요! ^_^ 목적 우편번호 별로 권역 코드가 매핑되어 있는 데이터를 지도 위에 표현하고자합니다. 권역코드 별로 색상을 다르게하여 권역을 구분하고 우편번호를 지도 위에서 확인하겠습니다. Choropleth map (등치 지도) 등치 지도는 미리 정의된 영역이 집계 요약을 나타내는 통계 변수(인구 밀도 또는 1인당 소득 등)에 비례해 색이 지정되거나 패턴화된 주제 지도 유형입니다. 변수가 지리적 영역에 따라 어떻게 변하는지 시각화하거나 지역 내 변동성 수준을 표시하는 쉬운 방법을 제공합니다. Plotly를 이용한 시각화 데이..

Folium을 이용한 데이타 시각화 먼저 위 사이트에서 많은 도움을 받았음을 밝힙니다. 거의 위 사이트에 있는 내용 실습이라고 봐주시면 됩니다. 목적 1. 지리 데이터 시각화(1)에서 다운 받은 한국 기초 구역도의 좌표계를 UTM-K에서 WGS84형태로 변경합니다. 2. SHP 파일을 GeoJSON 형태로 저장합니다. 1. UTM-K to WGS84 한국 기초 구역도는 SHP 지도 좌표계가 UTM-K로 되어 있어 Folium에서 사용하기 어렵습니다. 따라서 위경도 형태의 WGS84 형태로 변경을 해 주어야합니다. 좌표계 변환 툴은 XrProjection v3.1 를 사용했습니다. 아래 페이지에서 다운을 받아주세요. http://www.gisdeveloper.co.kr/?p=2101 [GIS] XrProj..

데이터 사이언스 스쿨 - 지리 정보 데이터 처리 먼저 위 사이트에서 많은 도움을 받았음을 밝힙니다. 지리 데이터를 처음 접하시는 분은 한 번 정독하시는 걸 추천드립니다. 목적 아래 테이블과 같이 우편번호 별로 권역코드가 매핑되어 있는 데이터를 지도 위에 표현하고자 합니다. 지도 위에 표시! 권역코드 별로 색상을 다르게하여 권역 구분을 한 눈에 알아 볼 수 있는 지도를 만들어 보겠습니다. 목차 1. 한국 기초 구역도 다운로드 2. GeoPandas를 이용한 시각화 3. 한국 기초 구역도에서 서울과 경기도 데이터를 합치기 1. 한국 기초 구역도 다운로드 가장 먼저 아래 사이트에서 한국 기초 구역도를 다운 받습니다. https://www.juso.go.kr/addrlink/addressBuildDevNew.d..

CSV 읽고 쓰기 읽기 df = pd.read_csv("./dataset.csv") 쓰기 df.to_csv("./dataset.csv", sep=',', float_format='%.f2', index=False) 경고 끄기 pd.set_option('mode.chained_assignment', None) Data Frame 생성 d = {'col1': [1, 2, 3], 'col2': [4, 5, 6]} df = pd.DataFrame(data=d) Data Frame index reset df.reset_index(inplace=True, drop=True) 행 선택/삭제 iloc(integer-location based)로 행 선택 df.iloc[0] # 0 번째 행 선택 (행만 series로) ..

노트북 환경: MacBook Pro / Interl 칩 맥에 도커 설치 home brew 설치가 안 되어 있다면 설치 링크: https://brew.sh/index_ko 맥 터미널에서 brew install docker 입력 도커 관리 프로그램 설치 (선택) 링크: https://docs.docker.com/docker-for-mac/install/ 도커 이미지 생성하기 도커 이미지 생성 작업을 할 폴더 생성. mkdir do_test 나는 do_test라는 폴더를 만들었음. do_test 폴더로 이동 cd do_test requirements.txt 파일 생성 vi requirements.txt 위 명령어 입력 후 엔터 scikit-learn pyyaml pandas numpy xgboost matpl..

3학년 1학기 컴퓨터개론및실습 데이터사이언스개론 3학년 2학기 자연어처리와지식마이닝 데이터마이닝및실습 도메인데이터분석프로젝트 빅데이터비즈니스개론 3학년 겨울방학 인턴 4학년 1학기 데이터시각화 비즈니스데이터분석 데이터분석프로그래밍기초 4학년 2학기 데이터분석프로그래밍응용 통계적데이터분석