측정 데이터 리포트 자동화
기간, 인원, 역할: 2024.07 – 2024.10 · 2인 (신입 2명) · 핵심 개발 · 고객사 대응
- 기간
- 4개월
- 팀
- 신입 2명
- 측정 데이터
- 3종
- 리포트 형식
- Excel · PPT · Word
- Python
- Spring Boot
- React
- Plotly
- docxtpl
한눈에 보기
리포트 1건 처리 시간 (빠른 경우)
- 측정 로그로 리포트를 만드는 일이 파싱, 그래프 합치기, 엑셀을 메일로 주고받는 확인, Word 정리까지 사람이 단계를 잇는 수작업이어서 1건에 약 2주가 걸렸습니다.
- 파싱·계산·이상치 검증은 백엔드(Spring Boot)에 넣고, 그래프와 Excel·PPT·Word 생성은 Python으로 자동화해 업로드 한 번으로 끝나는 파이프라인을 만들었습니다.
- 리포트 1건이 빠르면 10분 만에 나오고, 결과를 따로 검증할 사람에게 기대지 않아도 됩니다.
배경과 문제
측정 로그로 리포트를 만드는 데 1건당 약 2주가 걸렸습니다. 작업 자체보다 단계 사이를 사람과 메일이 잇는 병목 때문이었습니다.
- 측정 로그를 받아 파싱 장비에 넣습니다.
- 그래프를 뽑아 하나로 합칩니다.
- 중간중간 엑셀로 뽑아 메일로 보내고, 회신을 받아 확인합니다.
- Word로 리포트를 작성합니다.
도입 후에는 로그를 올리면 시스템이 그래프를 뽑아 주고, 화면에서 비교해 확인한 뒤 바로 리포트를 생성합니다. 빠른 경우 이 과정이 10분이면 끝납니다.
도메인 배경: 국내 반도체 파운드리의 표준 셀(STD Cell, 칩 설계에 쓰는 기본 회로 단위) 팀이 쓰는 시스템입니다. 리포트(시험성적서)에는 세 종류의 측정 결과(Leakage · Shmoo · Delay)가 들어가고, 고객사가 정해 둔 형태의 그래프(웨이퍼 맵, Delay 그래프)와 형식이 고정된 Word 문서로 나가야 했습니다.
팀 구성과 내 역할
신입 2명이 진행한 프로젝트로, 처음부터 리더를 정해 두지는 않았습니다. 입사 직후여서 화면 설계와 DB 설계는 상급자가 맡았고, 저는 그 설계를 바탕으로 구현했습니다.
진행하면서 제가 맡는 부분과 영향을 주는 범위가 넓어졌고, 상급자가 맡기는 역할도 늘었습니다.
- 구현: Leakage · Shmoo · Delay 세 파트의 로그 파싱과 데이터 시각화, Excel · PPT · Word 문서 추출, 측정 데이터 · PDK 버전 관리 화면
- 고객사 대응: 테스트 기간에 고객사와 메일로 직접 소통하며 테스트를 진행했고, 고객사에 가서 시스템을 시연했습니다.
시스템 구조도
- 화면: React 18 · TypeScript · Recoil · React Query
- 백엔드: Java 17 · Spring Boot 3.1 · MyBatis · PostgreSQL. 측정 로그 파싱, Delay 계산, 이상치 검증
- 그래프: Python Plotly(Dash). 같은 코드를 화면과 PPT 리포트가 함께 사용
- 리포트 생성: Python(openpyxl · python-pptx · docxtpl)으로 Excel · PPT · Word 리포트 생성
내가 맡은 일
2024.07 – 2024.10
- 로그 파서 (측정 3종 전부): .log/.xlsx 파일에서 Leakage · Shmoo · Delay 측정값을 추출하고, 계산과 이상치 검증을 백엔드에 내재화
- 커스텀 차트 (측정 3종 전부): Plotly에 없는 차트를 기본 차트와 도형을 겹쳐 직접 구성. 웨이퍼 맵(칩 위치별 색상 지도)은 Heatmap + 테두리 Lines, Delay 그래프는 Markers + 범위 Shape
- 템플릿 기반 문서 생성: 형식이 고정된 Word 리포트에 맞춰 docxtpl 템플릿 방식을 골라, 프로젝트 기간 안에 완료
- Excel · PPT 생성: 측정 데이터를 정리한 Excel 리포트(openpyxl)와 PPT 리포트(python-pptx) 생성
- 검증 결과 피드백: 파일별 성공 / 실패 / 이상 사유로 묶어, 화면에서 행 단위로 원인을 바로 확인
- 그래프 코드 재사용: 화면 그래프와 PPT 리포트가 같은 Plotly Dash 코드를 쓰도록 구성하고, 데이터 적재 충족 여부를 SQL로 판정해 리포트 생성 버튼과 연동
- 관리 화면: 측정 데이터 관리 화면과 설계 키트(PDK) 버전 관리 화면 (React, Recoil, React Query)
- 고객사 대응: 테스트 기간에 고객사와 메일로 직접 소통하며 테스트를 진행하고, 고객사에 가서 시스템 시연
검증 로직을 백엔드에 둔 설계
측정 로그를 올리면 백엔드가 파싱과 Delay 계산, 이상치 검증까지 마칩니다. 검증 결과는 파일별 성공 / 실패 / 이상 사유로 묶여 화면에 돌아오므로, 사용자는 어느 파일의 어느 행이 문제인지 바로 확인할 수 있습니다.
화면과 PPT가 같은 그래프 코드를 쓰는 구조
화면에 보이는 그래프와 PPT 리포트에 들어가는 그래프가 같은 Plotly Dash 코드에서 나옵니다. 리포트 생성 버튼은 필요한 데이터가 모두 적재됐는지를 SQL로 판정한 결과에 따라 활성화됩니다.
기술 선택과 이유
Word 추출: python-docx 대신 docxtpl
회사의 기존 프로그램은 python-docx로 템플릿 문서를 열고, 데이터를 가져와 문서를 새로 써 내려가는 방식이었습니다.
이 프로젝트의 리포트는 달랐습니다. 문서 형식이 일정하고, 정해진 자리에 값만 채우면 되는 구조였습니다. 그래서 템플릿 기반 라이브러리인 docxtpl을 골랐습니다. Word 파일 안에 {{ }}로 변수 자리를 표시해 두고, Python에서 데이터를 불러와 그 자리에 넣어 문서를 완성합니다.
# 예시 (가상의 값)
# 템플릿 .docx 안: 측정 셀 {{ cell_name }}, 평균 Delay {{ avg_delay }} ps
from docxtpl import DocxTemplate
doc = DocxTemplate("report_template.docx")
doc.render({"cell_name": "CELL_A", "avg_delay": 12.3})
doc.save("report.docx")
문서 모양은 Word 템플릿이 맡고 코드는 값만 넘기면 되므로, 문서를 코드로 하나하나 조립하는 기존 방식보다 작성할 코드가 훨씬 적었습니다. 기존 방식을 따랐다면 시간이 부족했을 것이고, 이 선택 덕분에 프로젝트 기간 안에 완료했습니다.
기술적 난제와 해결
Plotly에 없는 그래프를 도형을 겹쳐 그린 일
- 상황 시스템은 Python Plotly로 그래프를 그리고 있었습니다. 고객사는 정해진 형태의 그래프를 원했습니다. 웨이퍼 맵은 칩 위치마다 값을 색으로 표시해야 했고, Delay 그래프는 값의 위치와 허용 범위를 함께 보여줘야 했습니다.
- 원인 Plotly에는 데이터만 넣으면 이런 모양이 나오는 그래프 유형이 없었습니다.
- 해결 기본 그래프 위에 여러 요소를 덧붙여 원하는 모양을 조립했습니다.
- 웨이퍼 맵: Heatmap으로 값의 크기에 따른 색상 분포를 표시하고, Heatmap에 없는 테두리는 Lines로 그렸습니다.
- Delay 그래프: Markers로 각 값의 위치를 찍고, Shape로 직사각형을 그려 범위를 표시했습니다.
- 결과 고객사가 원하는 형태의 그래프를 리포트와 화면에 넣을 수 있었습니다.
성과
- 리포트 1건 처리 시간 약 2주 → 빠르면 10분: 단계마다 파일을 메일로 주고받던 수작업 흐름을 업로드 한 번의 파이프라인으로 대체
- 파싱 · 검증을 백엔드에 내재화해 별도 검증 인력 의존도 해소
- 템플릿 기반 Word 추출로 프로젝트 기간 안에 완료
회고
- 잘한 점: Word 추출은 기존 방식을 그대로 따르지 않고, 문서의 성격(형식이 고정됨)에 맞는 도구를 골라 기간 안에 끝냈습니다.
- 아쉬운 점: 그래프는 Plotly만 써야 한다고 생각하고, 여러 도형을 억지로 겹쳐 그렸습니다. 다른 라이브러리나 다른 방법을 찾아봤다면 더 깔끔하게 그렸을 것입니다.
- 배운 점: 같은 프로젝트 안에서 도구를 의심했을 때와 의심하지 않았을 때 결과가 갈렸습니다. 이후로는 주어진 도구가 이 문제에 맞는지부터 확인합니다.
서명인