4

ICT시험연구

인공지능 이미지

인공지능(Artificial Intelligence, AI)

인공지능이란?

인공지능(Artificial Intelligence)이란 인간의 학습능력과 추론능력, 지각능력, 자연언어의 이해능력 등을 컴퓨터 프로그램으로 실현한 기술입니다.
인공지능 기술 구성 요소는 크게 데이터, 인공지능 알고리즘, SW제품으로 구성되며 HW적 컴퓨팅 능력을 구성요소로 포함하기도 합니다. 각각의 기술들은 기존의 한계점들을 극복하며 지속적으로 발전하고 있습니다.

기술 분류

연구활동

와이즈스톤 ICT시험연구소는 인공지능 기술의 품질을 확보하기 위한 방안을 연구합니다.
국제표준 ISO/IEC 25023을 기반으로 품질 지표를 도출하여 인공지능 기술의 품질 요소(인공지능 기술의 품질을 좌우하는 기술적 요소)에 대한 시험을 수행하고 있습니다.
와이즈스톤 ICT시험인증연구소는 다양한 인공지능 기반의 제품 및 서비스의 품질 경쟁력을 높일 수 있도록 끊임없이 연구합니다.

주요 품질 요소

  • 데이터

    인공지능을 학습시키기 위해서는 일정량 이상의 데이터가 필요하고, 해당 데이터의 품질에 따라 인공지능 알고리즘의 성능이 결정됩니다. 이에 따른 품질 지표는 정확성, 일관성, 완전성, 현재성이있습니다.

  • 알고리즘

    데이터를 학습하여 인간과 유사한 사고를 하도록 구현된 인공지능 기술의 핵심요소로 인공지능 알고리즘(모델, 함수 등)의 성능에 따라 인공지능 품질이 결정됩니다. 이에 따른 품질 지표는 정확성, 성능 효율성이 있습니다.

  • SW제품

    인공지능 알고리즘을 적용한 시스템 또는 응용프로그램으로 사용자에게 제공되는 관점으로 기능뿐 아니라 보안과 사용성 등의 SW 제품의 전반적인 품질이 보장되어야 합니다. 이에 따른 품질 지표는 기능 정확성, 성능 효율성, 사용성, 호환성, 보안성 등이 있습니다.

인공지능 품질지표

주요 성능 지표 측정 방법 ISO/IEC 25023
정확도(Accuracy) 예측한 값과 기준값(실제값)을 비교하여 정확도를 산출
※ 정확도(Accuracy) = 정확하게 예측한 데이터 수 / 시험한 데이터 수		 8.2.2 기능적 정확성
기능적 정확성
정밀도(Precision) 예측한 값과 기준값(실제값)을 비교하여 정밀도(precision)를 산출
※ 정밀도(Precision) = TP / (TP + FP)		 8.2.2 기능적 정확성
기능적 정확성
재현율(Recall) 예측한 값과 기준값(실제값)을 비교하여 재현율(recal))를 산출
※ 재현율(Recall) = TP / (TP + FN)		 8.2.2 기능적 정확성
기능적 정확성
특이도(Specificity) 예측한 값과 기준값(실제값)을 비교하여 특이도(Specificity)를 산출
※ 특이도(Specificity) = TN / ( TN + FP )		 8.2.2 기능적 정확성
기능적 정확성
F1 Score
(F-measure)		 예측한 값과 기준값(실제값)을 비교하여 F1 Score(F-measure)를 산출
※ F1 Score(F-measure) = 2 X (Precision X Recall) / (Precision + Recall)		 8.2.2 기능적 정확성
기능적 정확성
평균 응답 시간 시스템이 사용자 또는 시스템 작업에 대해 응답하는 시간 측정 (로그 또는 도구 등으로 확인)
※ 평균응답시간 = ∑(응답시간) / 측정 횟수		 8.3.1 시간 반응성
평균응답시간

시험 사례

  • 사례1

    인공지능 기반 추천 서비스

    시험 대상 특성
    인공지능 기반 개인 맞춤형 추천 서비스
    별첨 예측 데이터를 바탕으로 또 다른 추천에 활용

    시험 항목 및 시험 방법

    시험 항목 시험 방법 품질 요소
    정확도 평가 모듈을 활용한 시험
    재현율 평가 모듈을 활용한 시험
    평균절대오차 평가 모듈을 활용한 시험
  • 사례2

    실시간 지능형 디스커버리 시스템

    시험 대상 특성
    Web DB 전자저널, e-archive 등 다양한 형태의 전자정보원을 통합 검색 시스템
    실시간 검색 엔진을 통해 다양한 정보원의 최신 데이터를 제공하는 목적형 통합 검색 시스템

    시험 항목 및 시험 방법

    시험 항목 시험 방법 품질 요소
    검색 정확도 사용자 관점의 시험
  • 사례3

    딥러닝 기반 CCTV 신원 확인·추적 시스템

    시험 대상 특성
    객체 검출 모듈, 단일 추적 모듈, 다중 추적 모듈로 구성
    각각 적외선 영상 또는 안일 센서 영상을 기반으로 동작

    시험 항목 및 시험 방법

    시험 항목 시험 방법 품질 요소
    객체 검출 정확도 평가 모듈을 활용한 시험
    객체 검출 정확도 평가 모듈을 활용한 시험
  • 사례4

    의료용 자동 대화 에이전트

    시험 대상 특성
    24시간 응대가 가능한 의료용 자동 대화 에이전트
    고객의 답변을 토대로 상황을 파악하여 증상에 대한 피드백 및 정보 제공

    시험 항목 및 시험 방법

    시험 항목 시험 방법 품질 요소
    추론 정확도 사용자 관점의 시험
문의하기