AI 이미지 분석 및 정보 추출, 데이터 입력 자동화

사진(이미지) 형태로 입력되는 데이터를 인식하여, 특정 텍스트와 이에 해당하는 숫자값을 추출하여 데이터베이스화 하는 반복 작업을 자동화하는 프로젝트입니다.

제작 배경

비슷한 형태의 표에 기입되어 있는 문자와 숫자들 엑셀 파일에 정리하는 업무를 전담하는 인력을, 최소 1.5 Man/Month를 투입해야 했었습니다
표의 형태와 크기가 유사하기는 하지만, i) 완벽하게 동일하지 않았고, ii) Key값의 순서가 일정하지 않았기에 사람이 업무를 수행할 경우 일정 수준 이상의 집중력을 필요로 하는 작업이었습니다
이미지 형태로 인입된 자료를 인식하여 엑셀로 입력해야 하는 작업이었기에, 사람이 할 경우 실수가 발생할 수 밖에 없는 환경이었고, 이러한 실수를 발견/수정하기 위해 추가적인 Resource를 생각하면 End-to-End Task 기준으로는 2 Man/Month 이상이 필요하였습니다
2 Man/Month 이상의 Resource를 줄이고, 에러 발생 확률을 낮추기 위해서는, "AI를 활용한 이미지 분석 및 입력 자동화"가 꼭 필요하였기에, 프로젝트를 수행하게 되었습니다

사용자들은 표 형식의 이미지를 사진을 찍어서 제출하며, 이 표에는 텍스트(Key값)과 숫자(Value값)가 표시되어 있습니다. 이를 AI 솔루션을 활용하여 분석합니다
텍스트를 인식하여 각각의 Key값과 일치하는 것을 찾고, 이에 해당하는 Value값을 인식하여 자동으로 입력합니다. 이를 자동으로 Database에 저장합니다
사용자들이 촬영한 사진의 표에, 텍스트(Key값)-숫자(Value값)이 순서가 일정하지 않게 입력되어도, Key값에 맞게 Sorting 하여 Value값이 자동 정렬됩니다
사진 촬영된 이미지를 입력받기 때문에, "3"과 "8"의 구분, "숫자 9"와 "알파벳 g"의 구분 등을 위한 '이미지 분석에 대한 Tuning 작업'이 중요하였습니다

데이터를 수기로 입력하기 위하여 필요로 해야만 했던, 2 Man/Month 이상의 Human Resource 투입을 줄일 수 있었습니다
잘못된 인식 또는 기입(오타)으로 인한 오류 발생 확률을 약 1~~2%에서 1/10로 줄어든, **0.1~~0.2%로 감소**시켰습니다. 이에, 데이터를 활용한 추후 작업의 효율도 함께 증가하였습니다
기존 사람이 직접 입력할 경우에는, 40~~50개의 데이터를 입력하고, 검수하는 과정을 통하여 입력 시간이 약 4~~5시간이었다면, AI를 활용할 경우 데이터 입력에 필요한 시간이 10분 이내로 크게 감소하였습니다
이미지(사진 촬영)를 활용하므로, 데이터 입력에 필요한 절차도 단순화 하였습니다

Step 1: 서비스 요구사항 정립
- 입력 받아야 하는 이미지의 기본적인 형태 확인
- 다양한 이미지 예시/형식을 분류하고 초기 데이터 정제
Step 2: 사용자 시나리오 확정
- 사용자가 이미지를 입력하는 시나리오 확정
- 사진 촬영, 이미지 확인, 입력값 확인 등의 Flow 확정
- 사용자에게 정확한 이미지 촬영을 요청할 수 있는 방법 정리
Step 3: User Interface 및 App UX 디자인
- 이미지 입력, 데이터 확인이 수월한 User Interface 개발
- 부가 기능을 포함한 전체 App UX 디자인
- 사용자에게 이미지 촬영/입력에 대하여 자세한 Guidance를 줄 수 있는 Interface 개발
Step 4: 아키텍쳐 설계, AI 솔루션 연결
- 백엔드 시스템, Database 구성 관련 설계
- Gemini를 활용한 이미지 인식 기능 개발
- Fine-Tuning 진행
Step 5: 전체 기능 개발 및 상용화
- Front-End 개발 진행 (Flutter 등)
- Back-End 개발 진행 (Node.js 등)
- 상용화를 통한 사용자 피드백 수집
Step 6: 지속적인 튜닝 (AI)
- 이미지 인식률을 높이기 위한 Gemini 관련 튜닝
- 사용자 피드백 분석을 통한 업데이트 진행
Step 7: 자체 Review와 비교를 통한 Tuning
- 자체 Review 결과와 실제 인식 결과 비교를 통한 Fine-Tuning
- 더 좋은 형태의 이미지를 받을 수 있는 사용자 Communication 강화