데이터 분석에 사용되는 기초 통계용어(1)
2020. 11. 28. 15:59
Data/Data Analysis
기초 통계 용어(1) I. 변수(variable) 컬럼(column) 또는 피쳐(feature)로 부름 1. 특성에 따른 분류 1) 질적 변수 : 카테고리 분류가 가능한 변수 A. 명목변수 : 순위(서) 개념이 없음 B. 순위변수 : 순위(서) 개념이 있음 2) 양적 변수 : 수치적 분류가 가능한 변수 A. 이산변수 : Count가 가능한 변수 B. 연속변수 : 변수와 다른 변수 사이에 무수히 많은 값이 존재하는 경우(여기서 변수간 간격 측정이 가능하면 등간변수, 비율까지 계산이 가능하면 비율 변수로 표현) 2. 관계에 따른 분류 1) 독립 변수 : 다른 변수에 영향을 줄 수 있는 변수 2) 종속 변수 : 다른 변수에 영향을 받는 변수 II. 통계량 1. 형태 통계량 데이터의 분포와 왜곡을 나타내는 수치..
[Python/Data]Pandas Profiling을 활용한 쉽고 빠른 Python EDA
2020. 10. 8. 13:48
Data/Data Analysis
Pandas_profiling I. Pandas Profiling 머신 러닝 등 데이터를 이용하는 모든 활동에서 선행되는 것은 보유한 데이터의 성격과 변수간 관계 파악 등 분석 과정과 전처리 과정입니다. 오늘 주제인 pandas profiling 은 한 줄의 명령어로 빠르게 데이터 EDA를 가능하게 해주는 라이브러리입니다. II. Pandas Profiling 사용 1. 설치 pip install pandas_profiling 2. 사용하기 google colab 환경에서 사용한 예시입니다. profile_report(), to_file() 이 두가지 메소드만 기억하시면 됩니다. 패키지 import 후 원하는 데이터를 가져와서 profile_report() 를 사용하면 됩니다. 파일로 저장하고 싶을 땐 ..
[시계열/python]Python을 이용한 Dynamic Time Wraping(DTW)
2020. 8. 6. 15:32
Data/ML
DTW Dynamic time wraping(동적 시간 워핑)은 다른 속도, 움직임을 가진 서로 다른 신호의 시간축에 대한 파장의 유사성을 측정하는 알고리즘 그래픽, 비디오, 오디오 분야에서 자주 사용되며 의료분야에서 보행 유사성, 생체신호 분석 등에 자주 사용되기도 한다. 특히 자동 음성 인식기술 분야에서 가장 두각을 나타내는 알고리즘 I. DTW 의 특징과 개념 1. 일반적인 시계열 신호의 비교 일반적으로 시계열 신호간 유사성을 따질 때 유클리드 거리(Euclidean distance)를 이용 (각각 시간별 신호 간 MSE를 이용) 장점 계산이 용이 연산속도가 뛰어남 단점 신호의 떨림과 움직임이 심해질수록 결과가 어긋나는 현상 발생 길이가 다른 시계열 분석 불가 2. DTW를 이용한 시계열 신호 비교..
[OR/최적화]Operation Research(경영과학/운영과학) - 4.심플렉스
2020. 6. 13. 21:12
Data/Operations Research
2020/04/26 - [Data Science&Analysis] - [OR/최적화]Operation Research(경영과학/운영과학) -3. LP(선형계획법) [OR/최적화]Operation Research(경영과학/운영과학) -3. LP(선형계획법) 2020/04/16 - [Data Science&Analysis] - [OR/최적화]Operation Research(경영과학/운영과학) - 2. OR의 연구방법 [OR/최적화]Operation Research(경영과학/운영과학) - 2. OR의 연구방법 2020/04/13 - [Data Scie.. leo-bb.tistory.com 1. 심플렉스 심플렉스는 선형계획법을 풀이하기 위한 하나의 방법론으로 오늘날 가장 널리 사용되는 방법론 입니다. 심플렉스..
[OR/최적화]Operation Research(경영과학/운영과학) -3. LP(선형계획법)
2020. 4. 26. 19:56
Data/Operations Research
2020/04/16 - [Data Science&Analysis] - [OR/최적화]Operation Research(경영과학/운영과학) - 2. OR의 연구방법 [OR/최적화]Operation Research(경영과학/운영과학) - 2. OR의 연구방법 2020/04/13 - [Data Science&Analysis] - [OR/최적화]Operation Research(경영과학/운영과학) -1. OR이란? [OR/최적화]Operation Research(경영과학/운영과학) -1. OR이란? 1. O.R(Operation Research)은 무엇인가.. leo-bb.tistory.com 1. 선형계획법(Linear Programming) : LP 선형계획법은 가장 보편적이고 익숙한 문제해결방법으로 제한된..
[OR/최적화]Operation Research(경영과학/운영과학) - 2. OR의 연구방법
2020. 4. 16. 22:45
Data/Operations Research
2020/04/13 - [Data Science&Analysis] - [OR/최적화]Operation Research(경영과학/운영과학) -1. OR이란? [OR/최적화]Operation Research(경영과학/운영과학) -1. OR이란? 1. O.R(Operation Research)은 무엇인가? OR은 경영과학, 운영과학 등으로 불리는 학문입니다. 대기업화, 글로벌화로 기업의 규모가 커지고 기업을 구성하는 조직의 세분화, 구성원의 분업화, 전문화가 심화되었습.. leo-bb.tistory.com 1. OR의 연구절차 지난 자료에 이어 이번엔 OR의 연구방법에 대해 조금 더 자세히 알아보도록 하겠습니다. 대부분 현장에서 만나게되는 OR의 문제는 수학적 방법론에 치중되어 있습니다.(실제로 수학적 방법론..
[OR/최적화]Operation Research(경영과학/운영과학) -1. OR이란?
2020. 4. 13. 22:25
Data/Operations Research
1. O.R(Operation Research)은 무엇인가? OR은 경영과학, 운영과학 등으로 불리는 학문입니다. 대기업화, 글로벌화로 기업의 규모가 커지고 기업을 구성하는 조직의 세분화, 구성원의 분업화, 전문화가 심화되었습니다. 그러나 한 조직의 방향성이 다른 조직과는 반대될 수 있고, 무책임한 개인은 언제나 등장하여 조직의 능률을 떨어뜨립니다. 운영자는 이윤극대화를 위해 기업목표와 조직/구성원의 목표를 일치시키고 가용자원을 효율적으로 분배해야 할 필요성이 증가하였고, 이것이 OR이 사용되는 배경입니다. 1) OR의 등장 2차 세계 대전 당시 제한된 자원을 효율적으로 분배하는 것이 굉장히 시급했고, 영국과 미국이 처음으로 전략적, 전술적문제에 과학적으로 접근하려는 시도를 펼쳤습니다. 이를 "작전(Op..