본문 바로가기

분류 전체보기21

빅데이터의 수집과 활용 (1) - 데이터 플랫폼 1. 빅데이터의 수집빅데이터는 정부, 기업의 업무 수행 과정에서 생성되어 비공개로 유지되는 내부데이터와, 웹페이지, 포털, SNS 등의 외부 데이터로 구분된다. 외부데이터는 정부에 의해 무료로 공개되기도 하는데,  정부가 수집한 공공데이터는 통계청 홈페이지인 KOSIS에서 데이터베이스로 공개하거나, 파일로 공개하거나, API형태로 공개하기도 한다. 공개 API란 Application Programming Interface를 의미하는 것으로 프로그래밍 인터페이스이며, 외부의 개발자나 사용자들에게 공개, 활용되는 것이다. 우리나라의 공공데이터는 KOSIS 이외에도 공공데이터 포털 (https://www.data.go.kr)에서 공개되고 있으며, 네이버나 구글의 데이터도 공개 API 등을 이용하여 활용할 수 .. 2024. 8. 31.
빅데이터의 개요 (2) - 데이터 분석과 데이터 과학자 1. 데이터 분석20세기에는 표본조사와 실험계획법의 발달로 양질의 데이터를 축적하게 되었다.표본조사란 모집단에서 임의로 표본을 추출하여, 해당 모집단의 특성값을 추측하는 것으로 여론조사, 국가 통계 등을 예시로 들 수 있다.실험계획법은 피셔가 제안한 방법으로 실험의 실시를 통해 데이터 변화 요소의 효과를 측정하는 방법이며, 신약 계발이나 품질관리 등이 그 예이다.즉 양질의 데이터를 활용한 통계 모형을 만들고, 변수 간 인과관계를 도출하여 현상을 설명하였으며, 이는 20세기의 발전을 이룬 핵심 인프라로 작용했다.통계학이란 데이터 수집 및 분석 과정 그 자체이며, 모집단 가정, 양질의 데이터, 공정한 방법론을 통해 전체를 가장 그럴듯하게 추정하는 것이다.하지만 21세기에는 빅데이터 시대가 열렸으며, 통계 모.. 2024. 8. 30.
빅데이터의 정의와 배경 빅데이터는 매우 빠르게 생성되고, 규모가 크고, 다양한 형태를 가진 데이터로 기존의 방식으로는 분석하기 어려운 데이터를 의미한다.  빅데이터 시대의 개막, 빅데이터의 확산 배경과 정의에 대해 알아보고자 한다.  1. 빅데이터 시대 DIKW 피라미드는 데이터로부터 의미 있는 지식과 지혜를 만들어 가는 과정을 의미한다.Data - Information - Knowledge - Wisdom데이터가 축적되고, 추상화되고, 통찰을 주게 되는 일련의 과정을 피라미드로 표시한 것데이터 역사에서 중요한 사건은 1450년 구텐베르크의 인쇄술 대중화, 1835년 벨기에 케틀레의 사회 측정, 1991년 팀 버너스가 제안한 인터넷의 확산, 2007년 스티브 잡스가 개발한 스마트폰의 확산, 2019년 테슬라 전기차 기반 모빌리.. 2024. 8. 30.

티스토리툴바