스튜디오씨드코리아 · 설계·개발 (1인)

Decision Graph

LLM Pipeline
Eval
Cost Optimization

문제

결정은 Slack과 Notion 곳곳에서 내려지지만, 나중에 '누가, 무엇을, 왜' 정했는지 근거와 함께 찾기 어렵고, 프로젝트 전체의 결정 흐름도 한눈에 보이지 않았습니다. LLM으로 자동 추출하되, 지어낸 결정이나 빠진 조건 없이 믿을 수 있어야 했고 매일 돌려도 부담 없는 비용과 속도여야 했습니다.

핵심 결정

01결정은 목록이 아니라 그래프로 — 시스템이 결정 사이의 전제·대체·중단 관계를 자동으로 잇고 근거 원문을 참조로 연결해, 프로젝트의 결정 흐름을 빠르게 파악
02발언 중 결정만 후보로 올리고, 사람이 확정하기 전에는 기록에 넣지 않도록 설계
03근거는 원문 문장 번호로 인용하고, 코드와 별도 검증 단계가 두 번 확인
04사람이 정답을 표시한 골든셋과, 자주 틀리는 경우(조건 누락 등)로 만든 테스트 24건으로 고칠 때마다 품질 확인
052-tier 추론 — 잡담은 경량 모델이 먼저 거르고 결정 추출·검증만 고성능 모델이 처리 (전부 경량 모델로 바꾸는 안은 테스트 24건 중 17건만 통과해 기각)
06한 번 분석한 내용은 저장해 두고, 새로 바뀐 대화만 다시 분석

결과

최근 1년 내 실제 프로젝트 1건에 사람이 직접 정답(결정·근거)을 표시한 골든셋과 비교해, 정답 결정의 80% 이상을 맞게 추출하는 것을 확인했습니다. 추출된 결정은 관계도와 타임라인으로 자동으로 그려집니다. 테스트 24건을 모두 통과하고 잘못 제외된 결정 없이 품질을 지키면서, 같은 데이터 기준 호출 수 74%(1,289 → 336회), 실행 비용 25%($10.2 → $7.6)를 줄였습니다. 새로 바뀐 대화만 다시 돌리면 $0.7입니다.

사내 알파 단계 기준입니다.

흩어진 대화에서
근거 있는 결정으로

시스템이 자동으로 그린 결정 관계도 — 추출된 결정 사이의 전제·대체·중단 관계와 상태를 자동으로 연결 (결정 내용은 사내 정보라 흐리게 처리)

시스템이 자동으로 그린 결정 타임라인 — 결정 수준(전사·프로젝트·기능·실무)과 시점, 마일스톤으로 프로젝트의 결정 흐름 표시

상세

프로젝트 명: Decision Graph (Slack·Notion 의사결정 추출 LLM 파이프라인)
고객사 · 분야: 스튜디오씨드코리아 / 신규 제품 PoC (사내 알파)
수행 기간: 2026.08 - 2026.10
업무 내용: PO 요구사항을 기술 명세서로 정리하고 PoC로 기술 타당성 검증 — 신규 제품 검토
Slack·Notion에서 '누가·무엇을·왜' 결정했는지 원문 인용 근거와 함께 추출하는 LLM 파이프라인 1인 설계·개발
추출된 결정을 관계도·타임라인으로 자동 시각화 — 결정 간 전제·대체·중단 관계를 자동으로 잇고, 각 결정에서 근거 원문으로 바로 이동
최근 1년 내 실제 프로젝트 1건의 대화에 사람이 직접 정답(결정·근거)을 표시한 골든셋으로 PoC 결과 검증 — 정답 결정의 80% 이상을 맞게 추출
PoC로 우려되던 기술 리스크를 직접 검증·검토 (예: 사람이 만든 정답 기준으로 품질 판단, 원문 → 결정 → 문서 단방향 기록, 재실행 중복 반영 방지)
분석 단위 분할 → 1차 분류(경량 모델) → 결정 추출 → 근거 검증(코드 + 모델) → 중복·관계 분석의 다단계 파이프라인 설계
2-tier 추론 구조 — 같은 데이터·같은 테스트로 모델을 비교해 1차 분류는 경량 모델, 추출·검증은 고성능 모델로 결정
요청마다 지연·대기·재시도·캐시 적중·토큰·비용을 기록해 병목을 찾고 호출 구조 최적화
콘텐츠 해시 캐시와 바뀐 부분만 다시 분석하는 증분 실행, 대화·스레드 단위 배치, 문장 번호 인용, 단계를 겹쳐 실행하는 스케줄러 구현
정답을 정해 둔 테스트 24건으로 프롬프트·모델을 바꿀 때마다 품질이 떨어지지 않았는지 확인 (평가 비용 상한 설정)
담당 역할: 설계·개발 (1인)
사용 기술: Node.js
React
TypeScript
OpenAI API
LLM Pipeline
Eval
Telemetry

상세

이야기 나눠요