Data

DATA

Data (데이터): 현실 세계로부터 수집된 사실 , 값 들중 정형화되고 기록될만한 가치가 있다고 판단되는 현실세계의 현상이나 사건에 대한 묘사.

Information (정보) : 어떤 상황에 의사 결정을 할 수 있게하는 지식.

DIKW 피라미드

 지혜       /\
           --
  지식    /    \
         ------
  정보  /        \
       ----------
데이터 /            \
     ---------------

Data 특징

존재적 특징

정서적 데이터

데이터 하나에 함축된 의미를 갖고있는 데이터 ( 나는 오늘 기분이 좋다.)

정량적 데이터

측정이나 설명이 가능한 데이터 ( 이름 , 나이 등등)

형태적 특징

정형데이터

• 저장하는 데이터의 구조( 스키마 )가 미리 정의
• TType, Length가 미리 정의되어있음.
• DBMS에서 스키마를 관리하는 DB(Dictionary)가 별도로 존재하며 DB저장소와 구분됨

  반정형 데이터

• 메타데이터를 갖고있으며, 파일 형태로 저장됨

  비정형 데이터

• 객체화 되어있는 데이터
• 텍스트 , 이미지 , 동영상 등이 비 정형 데이터임.

구분	정형데이터	반정형 데이터	비정형 데이터
source	내부 업무 데이터 , DBMS시스템 ,DW 시스템	웹 센서 Excel	Pdf 이미지/오디오/비디오 SNS, GIS
저장 형태	Data Base , 스프레드 시트	XML CSV .log	.pdf Mp4 , mp3 , .mpec .jpg,png,jepg 등
수집 방법	SQL , OPEN API	Scrapper , Crawler Opne API , Longscriber , Sencsor	Scrapper , Crawler , 촬영 , 녹음
수집 난이도	낮음	보통	높음
처리 난이도	낮음	보통	높음
필요한 기술	ERD해석 , SQR프로그래밍 , 통계	XML 처리 , No SQL , 수집 및 처리기술	텍스트마이닝 , GIS , 이미지 , 영상 분석 ( 파싱 ➡️ 메타기반 데이터셋 ➡️ 정형데이터 구조 로 변환)