AI Testing
LLM Testing Vision AI Testing AI agent Testing Physical AI TestingData Validation
AI 학습용 데이터 검증 공공데이터 품질 검증 기업 운영 데이터 검증Software Testing
SW Testing
개발 단계 리스크
조기 발견
실환경 배포 전
최종 검증
도입 의사결정
근거 확보
운영 중
정기 점검
레벨 4·5 자율주행차,
UAM(도심항공교통)·드론
물류창고 AMR·AGV,
스마트 팩토리 협동 로봇 팔
자율주행 배송 로봇,
수술 보조 로봇
호텔·공항 안내 로봇,
가정용 로봇 청소기
교육용 자율주행 키트
| 검증 항목 | 측정 방법 | 지표 |
|---|---|---|
| 멀티 센서 데이터 융합 정확도 | LiDAR·Radar·카메라 입력을 다양한 환경 조건에서 동시 수집해, 융합된 인식 결과와 실측(Ground Truth) 값을 비교 | 센서 융합 정확도(%), 센서 간 인식 불일치 발생률 |
| SLAM 자가 위치 추정 오차율 | 사전 측량된 경로를 반복 주행시켜 추정 위치와 실제 위치의 편차를 구간별로 측정 | 위치 추정 오차(cm 단위), 누적 드리프트(Drift)율 |
| 동적·정적 객체 분류·인식 성능 | 보행자, 차량, 장애물 등을 다양한 밀도·조도 조건에서 노출시켜 분류 정확도를 측정 | 객체 분류 정확도(%), 오탐지·미탐지 건수 |
| 검증 항목 | 측정 방법 | 지표 |
|---|---|---|
| 충돌 회피 경로 생성 정밀도 | 돌발 장애물을 예측 불가능한 시점에 투입해, 생성된 회피 경로의 안전 거리와 경로 효율성을 측정 | 최소 안전 거리 확보율(%), 경로 재계산 소요 시간 |
| 교통 안전 규제 인지 및 판단력 | 신호등·차선·표지판 등을 다양한 기상·조도 조건에서 인식시켜 규제 준수 여부를 확인 | 규제 준수율(%), 오판단 사례 수 |
| 엣지 케이스 의사결정 속도 | 예측 불가능한 복합 돌발 상황(다중 장애물, 급변 환경)에서 판단부터 제어 명령 전달까지의 지연 시간을 측정 | 의사결정 지연 시간(ms), 지연 시간 임계값 초과율 |
| 검증 항목 | 측정 방법 | 지표 |
|---|---|---|
| 목적지 자율 주행 완료 성공률 | 인간 개입 없이 목적지까지 반복 주행시켜 완료 여부와 중도 실패 원인을 분류 | 자율 주행 완료율(%), 실패 유형별 발생 빈도 |
| 군집·다수 로봇 라우팅 최적화 | 다수 로봇을 동일 공간에 동시 투입해 경로 충돌, 병목 발생 여부와 전체 처리 효율을 측정 | 라우팅 충돌 건수, 전체 작업 처리 효율(%) |
| 통신 단절 시 자율 복구 능력 | 네트워크 음영 구간을 인위적으로 조성해 통신 두절 시 복귀·대기 로직의 동작을 관찰 | 자율 복귀 성공률(%), 평균 복구 소요 시간 |
| 검증 항목 | 측정 방법 | 지표 |
|---|---|---|
| 하드웨어 제어 응답 지연 | 모터·조향 액추에이터에 제어 명령을 반복 전달해 명령 인가 시점부터 물리적 반응까지의 지연을 측정 | 제어 응답 지연(ms), 지연 편차(Jitter) |
| 극한 환경 센서 강건성 | 우천·강설·야간 저조도 등 조건을 재현해 센서 인식 성능 저하 정도를 측정 | 환경별 인식 성능 저하율(%), 센서 차단·오작동 발생률 |
| 전복 방지 및 Fail-Safe 메커니즘 | 급제동·급선회 시나리오를 반복 실행해 차량·로봇 역학 기반 안정성과 긴급 정지 동작을 확인 | Fail-Safe 작동 성공률(%), 평균 정지 소요 거리·시간 |
| 등급 | 도메인 | 중점 검증 항목 |
|---|---|---|
| R3 | 레벨 4·5 자율주행차, UAM·드론, 수술 보조 로봇 | 기능 안전 표준(ISO 26262, SOTIF) 준수, Fail-Safe 및 물리 하드웨어 제어 무결성 |
| R2 | 물류창고 AMR·AGV, 스마트 팩토리 협동 로봇 팔, 자율주행 배송 로봇 | 안전 펜스 준수, 통제 환경 내 대량 라우팅, 돌발 충돌 방지 및 안전 컴플라이언스 |
| R1 | 호텔·공항 안내 로봇, 가정용 로봇 청소기, 교육용 자율주행 키트 | 보행자 밀집 구역 안전거리 유지, 실내 지형지물 극복력, 주행 임무 완료율 |
일반 소프트웨어/LLM 테스팅과 구체적으로 어떤 점이 다른가요?
가상 환경 내 텍스트나 이미지 출력 품질에 집중하는 서비스와 달리, Physical AI Testing은 현실의 물리 세계를 대상으로 합니다.
LiDAR·카메라 등 멀티 센서 데이터의 융합 정확도를 확인하고, 돌발 상황 판단력뿐 아니라 실제 모터·조향 장치의 반응 지연, 제동 안전성,
물리적 Fail-Safe 장치까지 기계 역학적 안전성을 통합 검증합니다.
실물 로봇이나 차량을 와이즈스톤 측에 직접 입고시켜야 하나요?
프로젝트 성격에 따라 다릅니다. 초기 검증 단계에서는 실물 사양을 반영한 하드웨어 시뮬레이터 환경(HIL, 가상 트랙)에서 소프트웨어와 제어 알고리즘의 결함을 우선 검증합니다.
프로덕션 직전 단계에서는 조율된 테스트 베드(실제 주행 트랙 또는 격리 공간)에서 와이즈스톤 전문 엔지니어가 실물 장비 테스트를 병행합니다.
테스트 수행을 위해 어떤 기술 데이터가 필요한가요?
로봇·모빌리티의 하드웨어 제어 사양서, 센서 인터페이스 명세서(API/ROS 토픽 가이드), 시뮬레이터 구동 환경 또는 실물 테스트 베드 접근 권한이 필요합니다.
또한 타깃 도메인의 안전 기준 및 시나리오 기획 문서가 포함되어야 합니다.