4

품질 기술 연구

빅데이터 이미지

빅데이터(Big data)

최근의 ICT 융합기술은 과거와 비교할 수 없을 정도로 많은 정보와 데이터를 생성하여, ‘빅데이터(Big Data)’ 환경을 구축하는 변화를 선도하고 있습니다.
오늘날에는 아날로그 시기나 이전 디지털 시기와는 다르게 정형화된 수치 데이터뿐 아니라, 비정형화된 데이터(사진, 오디오, 비디오 등)까지
방대한 양의 데이터가 짧은 주기로 생성되어 축적, 저장, 처리, 분석되고 있습니다.
빅데이터의 특징은 5V – 규모(volume), 다양성(Variety), 속도(Velocity), 정확성(Veracity), 가치(Value)로 정의되며, 빅데이터란 용어도 빠르게 생성되고 있는 대규모의 데이터를 처리하는 기술뿐 아니라, 그 데이터에서 가치 있는 정보를 추출하는 기술을 포함하는 것으로 그 의미를 확대되고 있습니다. 이러한 용어의 의미 확장은 빅데이터의 진정한 가치가 대용량 데이터 자체보다는 그 데이터의 처리∙분석을 통해 가치를 생성할 수 있는데 있음을 의미합니다.

빅데이터 주요 5가지 구성요소

구분 주요 내용
규모(Volume) – 기술적인 발전과 IT의 일상화가 진행되면서 해마다 디지털 정보량이 기하급수적으로 폭등
→제타바이트(ZB) 시대로 진입
다양성(Variety) – 로그기록, 소셜, 위치, 소비, 현실데이터 등 데이터 종류의 증가
– 텍스트 이외의 멀티미디어 등 비정형화된 데이터 유형의 다양화
속도(Velocity) – 사물정보(센서, 모니터링), 스트리밍 정보 등 실시간성 정보 증가
– 실시간성으로 인한 데이터 생성, 이동(유통) 속도의 증가
– 대규모 데이터 처리 및 가치 있는 현재정보(실시간) 활용을 위해 데이터 처리 및 분석 속도 중요
신뢰성(Veracity) – 분석방법, 데이터의 오류 제거를 통한 신뢰할 수 있는 결과 도출이 중요
가치(Value) – 다양하고 대량의 데이터 간의 상호연관성 분석과 의미추출을 통하여 조직의 의사결정에 가치를 더해주는 결과 도출 지향

빅데이터 처리 기술은 각 단계별 핵심 기술을 통해 가치 있는 정보 추출과 시각화된 정보 제공을 주 목적으로 합니다. 데이터 수집부터 저장, 처리, 분석, 활용(시각화)의 5 단계 처리 과정을 거치며, 활용 가능하고 의미 있는 정보로 가공됩니다.

요소기술 설명 해당기술
빅데이터 수집 조직 내부와 외부의 분산된 여러 데이터 소스로부터 필요로 하는 데이터를 검색하여 수동 또는 자동으로 수집하는 과정과 관련된 기술로 단순 데이터 확보가 아닌 검색/수집/변환을 통해 정제된 데이터를 확보하는 기술 ETL
크롤링 엔진
로그 수집기
센싱
RSS 및 Open API
빅데이터 저장 작은 데이터라도 모두 저장하여 실시간으로 저렴하게 데이터를 처리하고, 처리된 데이터를 더 빠르고 쉽게 분석하도록 하여 이를 비즈니스 의사결정에 바로 이용하는 기술 병렬 DBMS
하둡(Hadoop)
NoSQL
빅데이터 처리 엄청난 양의 데이터의 저장/수집/관리/유통/분석을 처리하는 일련의 기술 실시간 처리
분산 병렬처리
인-메모리 처리
인-데이터베이스 처리
빅데이터 분석 데이터를 효율적으로 정확하게 분석하여 비즈니스 등의 영역에 적용하기 위한 기술로 이미 여러 영역에서 활용해온 분석 기술 통계 분석
데이터 마이닝
텍스트 마이닝
예측 분석
최적화
평판 분석
소셜 네트워크 분석
빅데이터 시각화 자료를 시각적으로 묘사하는 학문으로 빅데이터는 기존의 단순 선형적 구조의 방식으로 표현하기 힘들기 때문에 빅데이터 시각화 기술이 필수적임 편집기술
정보 시각화 기술
시각화 도구

Big Data(대용량) 활용 절차단계별 품질 관리 요소

빅데이터 이미지

데이터 정합성에 대한 품질 검증 방법

빅데이터 이미지
ICT시험인증연구소는 빅데이터 핵심 기술인 데이터 정합성에 대한 품질 확보 및 향상 방안을 연구하고 있습니다.