Challenge

K사는 시퀀스 다이어그램 이미지, 소스코드, 자연어 명령문을 입력하면 이를 워크플로우로 변환하고 시각화하는 기능을 개발하고 있었습니다. 입력 유형이 달라질 때마다 오류가 발생하는 지점도 달라질 수 있다는 점이 핵심 과제였습니다.

다이어그램에서는 객체 간 메시지 흐름을 잘못 해석할 수 있고, 소스코드에서는 분기 조건이나 컴포넌트 구성이 누락될 수 있으며, 자연어 명령문은 표현이 자유로운 만큼 의도한 연결 구조가 다르게 해석될 가능성이 있었습니다. 결과물이 생성되었다는 사실만으로는 품질을 설명하기 어려웠고, 생성된 워크플로우가 입력에 담긴 구조와 의도를 유지하고 있는지가 중요했습니다.

Testing Approach

와이즈스톤은 워크플로우 생성 기능을 다이어그램 기반 변환, 코드 기반 변환, 자연어 명령문 기반 변환으로 구분해 평가했습니다. 각 입력 유형별로 정상 생성 기준을 정의하고, 생성 결과가 입력에 포함된 주요 구성요소와 흐름을 반영한 경우를 정상 생성으로 판정해 생성 정확도를 산출했습니다.

다이어그램 변환은 객체 간 상호작용이 표현된 이미지를 입력해 생성된 워크플로우에서 액터·객체·메시지 구성이 확인되는지 평가했습니다. 코드 기반 변환은 코드 안의 주요 컴포넌트, 메시지 라우팅, 조건 분기 구조가 워크플로우에 반영되는지를 핵심 기준으로 삼았습니다.

자연어 명령문 변환은 외부 서비스·API 연동 요청이 워크플로우 구성으로 이어지는지 확인했습니다. 세 입력 유형 모두 복수의 생성형 AI 모델을 대상으로 동일하게 평가했으며, 반응 버튼 선택부터 결과 확인까지의 시간을 반복 측정해 평균 반환 시간을 산출했습니다.

What We Tested

• ৹ 시퀀스 다이어그램의 액터·객체·메시지 흐름이 워크플로우에 반영되는지

• ৹ 소스코드의 컴포넌트와 라우팅 구조가 워크플로우로 유지되는지

• ৹ 자연어 명령문의 API 연동 요구사항이 워크플로우로 구성되는지

• ৹ 입력 유형별·모델별 생성 정확도 및 평균 반환 시간

Results & Value

K사는 이번 검증을 통해 시퀀스 다이어그램, 소스코드, 자연어 명령문처럼 형식이 다른 입력을 워크플로우로 변환할 수 있음을 확인했습니다. 와이즈스톤은 입력별 판정 기준을 달리 적용하고 모델별 정확도와 반환 시간을 비교해, 기업 시스템 연동 흐름을 자동 구성하는 기능의 품질을 구체적으로 검증했습니다.