머신러닝을 위한 기초통계 개념정리

데이터 시각화 그래프

1. 통계학이란?

사람들은 불확실한 미래를 예측하고 싶어한다.

사람이나 사물, 사건 등을 조사해 결과를 구체적인 숫자로 나타내고 사회적 현상과 자연 현상을 규명하기 위해 수집된 각종 데이터를 요약하여 적절한 방법을 통해 1차 가공되어 도출된 정보(숫자, 차트, 평균, 상관계수)를 분석하여 올바른 탑을 구하는 학문이다.

 

과거부터 현재까지 통계 적용분야

전쟁, 일식, 무역, 질병(흑사병), 기상, 농업(농작물작황, 쌀 생산량), 주식투자, 환경과학(쓰레기의 양),

생명과학, 산업연구, 품질보증, 시장조사 등

 

통계청 사이트 (https://kostat.go.kr/portal/korea/index.action)

통계청

뉴스기반통계검색[출처-통계청]

 

국내주제별통계[출처-통계청]

 

2. 통계관련 용어

모집단(Population)과 표본(Sample)

모집단 : 관심의 대상이 되는 모든 개체의 관측값이나 측정값의 집합

표본 : 모집단에서 추출한 일부 관측값이나 측정값의 집합

 

전수조사와 표본조사

전수조사 : 모집단 전체를 조사하는 것(시간, 비용 소요)

표본조사 : 표본만 가지고 조사하는 것

 

양적자료 와 질적자료

양적 자료 : 숫자로 표현할 수 있고 연살할 수 있는 수치형 데이터

예시) 키, 몸무게, 유권자수

질적 자료 : 숫자로 표현할 수 없는 범주형 데이터

예시) 성별, 직업, 주민등록번호

 

개체, 요인, 변수

개체 : 연구자 또는 관찰자가 관심을 갖는 대상

요인 : 개체에 관한 특성 중 연구자가 특별히 관심을 갖는 특성

변수 : 요인을 구성하고 있는 요소(성적, 자격증, 실무경험, 개발능력, 외국어능력)

 

변수의 종류

독립변수(Independent variable)

다른 변수에 영향을 받지 않고, 종속변수에 영향을 주는 변수

예) 종속변수(출력값) ----> Y = 3x <---- 독립변수(입력값)

 

종속변수(Dependent variable)

독립변수에 영향을 받아서 변화하는 변수를 말한다.

 

통계학의 개념

통계학은 관찰 및 조사로 얻을 수 있는 데이터로부터, 응용 수학의 기법을 이용해 수치상의 성질, 규칙성 또는 불규칙성을 찾아낸다. 통계적 기법은 실험 계획, 데이터의 요약이나 해석을 실시하는데 있어서의 근거를 제공하는 학문이며, 폭넓은 분야에서 응용되어 실생활에 적용되고 있다.

통계학은 실증적인 뿌리를 가지고 있으며 실질적 활용에 초점을 맞추고 있기 때문에, 흔히 순수수학과는 다소 구분되는 응용수학의 일종으로 여겨진다. 통계학의 방법을 통해, 실제의 수치들을 왜곡하여 해석하는 것을 막고 연구를 바탕으로 합리적인 의사결정을 할 수 있다.

 통계학은 과학, 산업, 또는 사회의 문제에 적용되며 모집단을 연구하는 과정이 우선시된다. 모집단은 "한나라 안에 사는 모든 사람" 또는 "크리스탈을 구성하는 모든 원자"와 같이 일정한 특성을 지닌 집단이면 어느 것이든 가능하다. 통계학자들은 전체인구(인구조사를 하는 기업)에 대한 데이터를 편집한다. 이것은 정부의 통계관련 법률요약집같은 조직화된 방법으로 수행될 수도 있다. 기술통계학은 모집단의 데이터를 요약하는데 사용된다.

도수 및 비율 (경주 등) 범주 형 데이터를 설명하는 측면에서 더 유용할 동안 수치 기술자는 연속적인 데이터 유형 (소득 등)에 대한 평균과 표준 편차를 포함한다. 데이터 분석 방법 엄청난 자료가 연구되는 현대 사회에서 경제지표연구, 마케팅, 여론조사, 농업, 생명과학, 의료의 임상연구 등 다양한 분야에서 응용되고 있는 통계는 단연 우리 사회에서 가장 필요하고 실용적인 학문이라고 할 수 있다.


통계학의 역할

매우 다양한 분야의 연구에서 주어진 문제에 대하여 적절한 정보를 수집하고 분석하여 해답을 구하는 과정은 아주 중요하다. 이런 방법을 연구하는 과학의 한 분야가 통계학이다. 통계학을 필요로 하는 연구분야는 농업, 생명과학, 환경과학, 산업연구, 품질보증, 시장조사 등 매우 많다. 또한 이러한 연구방식은 기업체와 정부의 의사결정과정에서 현저하게 나타난다. 주어진 문제에 대하여 필요한 자료의 형태, 자료를 수집하는 방법, 문제에 대한 최선의 답을 구하기 위한 분석방법을 결정하는 것이 통계학자의 역할이다.

자료는 어떤 특정한 현상(주제, 사실)을 조사하기 위하여 설계하고 계획한 실험에서 나온다. 이런 종류의 자료, 즉 실험자료는 농업연구와 같은 분야에 흔히 있다. 통계학자들은 이미 나온 실험자료를 분석하는데만 관심이 있지않고, 자원을 효과적으로 사용하고 주어진 문제를 실험으로 해결하기 위하여 처음부터 실험을 계획하는데 관심이 있다.또 다른 형태의 자료를 관측으로부터 얻는다.

조사자들은 연구실 밖으로 나가서 실제로 존재하는 것을 조사한다. 이런 예로는 인구 및 주택센서스와 같은 전수조사, 여론조사, 교통량조사 등등이 있다. 이 경우 조사방법과 설문지 작성은 매우 중요한 문제가 된다. 설문지 조사에 있어서 가장 핵심적인 부분은 설문지 작성 요령이다. 묻고자 하는 질문을 짧고 명확하게 물어야 하고 응답자가 고민을 하지 않고 바로 대답할 수 있도록 구성해야 한다. 설문지는 묻고자 하는 질문이면 무엇이든지 다 물을 수 있는 것이 아니라 문제의 핵심적 내용을 담고 있어야 한다.

[출처] 위키백과
https://ko.wikipedia.org/wiki/%ED%86%B5%EA%B3%84%ED%95%99

 

통계로 세상을 치료하다[EBS MATH]

https://www.youtube.com/watch?v=drhH5Wl419Q&list=PLSPRvqsBCqH6KEwuJIgMVffILYm2bY7UC&index=2 

 

 

스마트인재개발원