column 순서 변경In [2]:import pandas as pdimport seaborn as snstitanic = sns.load_dataset('titanic')ML 모델 학습에 필요한 다양한 피처를 입력할 때 열 인덱스가 뒤죽박죽으로 섞이게 레이블과 피처를 분리하기 불편한 경우가 발생한다. 물론 하나하나 피처를 입력해서 처리하는 것 또한 가능하지만 간단히 iloc를 이용해서 피처와 레이블을 분리하는 것이 피처가 변경되어도 코드를 변경하지 않는 방법이다.In [8]:# lable을 분리하는 예시titanic.iloc[:,0]Out[8]:0 01 12 13 14 0 ..886 0887 1888 0889 1890 0N..

데이터프레임 병합데이터 전처리 작업을 진행하다보면 데이터프레임을 여러개로 나누고 또다시 하나로 합치는 등의 경우가 발생한다. 이번 포스팅은 이러한 경우 사용할 수 있는 데이터프레임 병합 메소드에 대해서 다루어보자.pd.concat()concat이라는 함수명에서도 알 수 있듯이 concat 함수는 데이터프레임을 연결시켜주는 함수이다.먼저 병합을 위한 데이터프레임을 두개 생성해보자In [5]:import pandas as pddf1 = pd.DataFrame({'a':['a0','a1','a2','a3'], 'b':['b0','b1','b2','b3'], 'c':['c0','c1','c2','c3']}, index..

pd.cut() 함수와 pd.cut() 함수를 이용하여 수치형 변수를 특정 구간으로 나눈 범주형 레이블을 생성할 수 있다. 위 함수들을 이용하여 특정 구간들에 대한 그룹별 통계량을 구하는 것이 가능해진다.위의 두 함수의 차이점은 아래의 도표를 통해 이해할 수 있다. cut은 데이터를 동일한 길이로 나누는 것이고 qcut은 동일한 갯수로 나누는 것이다.pd.cut()먼저 예제로 사용할 타이타닉 데이터를 불러온다.In [1]:import pandas as pdimport seaborn as snsimport matplotlib.pyplot as plttitanic = sns.load_dataset('titanic')titanic.head()위 데이터에서 수치형 변수로 age 컬럼이 존재한다. 이 age 컬럼..

특정 값이 최대값을 가지는 행 추출In [2]:import pandas as pdimport numpy as npimport seaborn as snsdf = sns.load_dataset('titanic')df.head()Out[2]:boolean indexing시리즈 객체에 특정 조건식을 적용해 해당 조건에 참인 행(row)을 추출하기 위해선 boolean indexing을 이용할 수 있다.다음의 예제로 성별이 남성이면서 생존한 인원에 대한 행들을 추출해보자In [19]:condition = (df.sex == 'male') & (df.survived ==1) # 조건식 작성df[condition]Out[19]:In [20]:df.loc[condition] # loc를 이용해도 무방하다.Out[20]..

lambda 함수는 데이터를 핸들링 하기 위해 pandas와 관련된 map, apply 등과 함께 유용하게 쓰인다.def 키워드로 함수를 정의해서 사용하는 것 또한 가능하지만 간단한 전처리를 위해선 1회용 함수인 lambda 함수를 주로 사용한다.일반적인 함수와 lambda 함수의 비교일반적인 def 키워드로 생성하는 함수는 아래와 같다.In [2]:def plus(left, right): result = left + right return resultplus(10, 20)Out[2]:30이번에는 같은 함수를 lambda 함수를 이용해서 만들어보자In [6]:f = lambda x, y:x + yf(10, 20)Out[6]:30위와 같이 lambda에 매개변수를 지정하고 :(콜론) 뒤 반환값으..

map()map함수는 DataFrame의 Series타입을 Input으로 받습니다.따라서 map함수를 이용하면 Series를 대상으로 원하는 함수를 적용할 수 있습니다.In [1]:import pandas as pdIn [2]:df = pd.DataFrame({"age":[30,25,25,12,40], "height":[178,180,160,140,176], "weight":[80,100,55,40,70]})dfOut[2]:ageheightweight01234301788025180100251605512140404017670In [4]:df['weight(pound)'] = df['weight'].map(lambda x: x*2.205)dfOut..

피벗테이블이란?피벗(Pivot) 테이블이란 수많은 양의 데이터 속에서 필요한 데이터만 뽑아 유의미한 표를 생성하는 기술이다.엑셀에서 이 기능이 자주 사용되며 Pandas를 이용해사용자 임의대로 데이터를 핸들링 할 수 있다.data.pivot() | python을 이용한 피벗테이블 생성# 예제를 위한 라이브러리와 데이터 로드import numpy as npimport pandas as pdimport seaborn as snstips = sns.load_dataset('tips')titanic = sns.load_dataset('titanic')iris = sns.load_dataset('iris')예제를 위해 seaborn 라이브러리에서 제공하는 tips 팁, iris 꽃잎 데이터를 로드했다.tips 데..

🔨 첫 DAG 만들기DAG를 생성하기 위해 먼저 dags 폴더를 하나 만들고 tutorials.py 라는 DAG를 작성할 python 파일을 생성한다.처음으로 만들어볼 DAG는 3개의 Task로 구성된다.Task1 : 현재 날짜와 시간을 문자열로 출력Task2 : 5초 동안 대기 상태 유지Task3 : "Hello Airflow!" 문자열을 5번 출력Task4 : Gmail로 작업 완료 메일 전송DAG가 트리거되면 Task1이 가장 먼저 수행되고 Task2, Task3가 병렬로 실행되고 그 이후 Task4가 수행된다.webserver에서 Graph 기능을 제공하기 때문에 아래와 같이 내가 만든 DAG가 어떤 순서로 동작하는지 시각적으로 확인할 수 있다.🪄 Importing ModulesDAG 객체를 ..

⚙️ Airflow 설치Airflow를 설치하기 위해 먼저 가상환경을 세팅한다.개인적으로 poetry가 편해 poetry를 사용했지만 venv를 사용해도 무방하다.poetry add apache-airflow🛢️ 데이터베이스 초기화가상환경에서 apache-airflow를 설치하고 데이터베이스를 init해준다.airflow db init🤠 Admin 계정 생성webserver에 접속하기 위한 테스트용 Admin 계정을 생성한다.계정 생성 양식은 다음과 같다.airflow users create \ --username admin \ --firstname FIRST_NAME \ --lastname LAST_NAME \ --role Admin ..

Airflow란?Apache Airflow는 배치 지향 워크플로우를 개발, 스케줄링 및 모니터링하기 위한 오픈 소스 플랫폼으로 python을 이용해 구축 가능하며 웹 인터페이스를 통해 워크플로우 상태 모니터링이 가능하다는 점이 특징이다.출처 : https://airflow.apache.org/docs/apache-airflow/stable/index.htmlWorkflow란?Workflow는 특정 이벤트 혹은 스케줄에 의해 트리거되는 태스크의 시퀀스를 의미한다.ETL과 같은 빅데이터 처리 파이프라인에서 주로 사용된다.일반적인 Workflow전형적인 Workflow는 다음과 같다.데이터수집데이터 전처리모니터링리포트 생성리포트 발송출처 : https://www.youtube.com/watch?v=AHMm1w..