Hyosung · IBee(효비) 고도화

작업 WBS · 8주 타임라인

현대화 효성 IBee 챗봇 화면 + 현대화 Admin + Excel Agent 분석 + Agent Admin + 기존 사내검색 RAG Assessment + LiteLLM 별도 옵션

기간 8주 인력 엔지니어 2명 전략 기존 기능 현대화 + 신규 운영 화면 병렬 기준 최종 추가기능정의서 2026-06-05 RAG Assessment 2개 지표 우선 + 2개 지표 조건부 Excel 분석 UI + 일반 분석 + 사전 정의 업무 LiteLLM WBS 외 별도 옵션

마인드맵 — 작업 구조

고정 범위·신규 범위·옵션 경계

0공통 기반

W1 선행조건

프로젝트 전체 일정의 병목이 되는 환경·인증·계약 범위 확정 영역이다.

효성 개발/스테이징 접속 개통, 배포 경로 확정
React+Vite + Node BFF, SSO/JWT, SSE 계약
Gateway/Front codebase, 화면설계서, wireframe 확정
Excel 샘플, RAG Golden Set, 레이블링 리소스 확인

1현대화 효성 IBee 챗봇 화면

FR-001~068 · 고정

효성 제공 원본 기능정의서의 기존 챗봇 화면을 React+Vite 기반으로 현대화한다.

확보 코드: aichat010.jsp + aichat010.js
두 파일은 Ask Hyobee 채팅 한 화면의 JSP/JS 조합
SSE 스트리밍, 중지, 파일 첨부, HiCloud
CORP/WEB/Deep Research/피드백/설정

Hyosung IBee

효비 고도화
8주 WBS

기존 챗봇 유지 + 사용자 Excel 기능 + 운영 Admin + 기존 RAG 평가 체계

2현대화 Admin

FR-069~120 · 수령/대체설계

기존 Admin 기능을 유지·개선하고, 같은 Admin IA 안에 Agent Admin과 RAG Assessment 화면을 확장한다.

aichat010.jsp에서 aichat020.jsp 관리자 링크만 확인
aichat020.jsp/JS/CSS 수령 또는 OpenAPI 기반 대체 화면 설계
사용자 관리, 조직/게시판 권한
임베딩 작업/상태/로그, 크롤링 재시도
Metrics, 검색품질, 피드백, 단어 관리

3Excel Agent 분석

신규 사용자 기능

효성 IBee 챗봇 화면에서 Excel을 문서가 아니라 구조화 데이터로 다루는 분석 기능이다.

분석 UI: 파일 첨부, 질의 입력, 결과/근거/오류 상태
일반 Excel 분석: 시트 구조, 컬럼 이해, 통계·조건 집계
사전 정의 업무 자동화 실행: 합의된 업무만 실행
Agent Admin의 운영 정책·샘플 테스트와 연결

5RAG Assessment

기존 사내검색 RAG 평가

Excel Agent 하위 기능이 아니라 기존 사내검색 RAG 응답 품질을 평가하는 체계다.

평가 운영 화면: 샘플링, Judge, Golden Set, Human Review
대시보드 화면: 결과, 추이, 드릴다운, Export, 알림
Faithfulness / Answer Relevance 우선 처리
Context Precision/Recall은 리소스 확정 후 처리

4Agent Admin

신규 Admin 메뉴

현대화 Admin 안에 추가되는 운영 화면으로, Agent 등록과 Excel Agent 운영관리를 담당한다.

Agent Registry 화면: 등록, 카드/목록, Health Check
Excel Agent 운영관리 화면: 실행 이력, 오류 로그, 파일 정책
사전 정의 업무 운영·조회·활성화
향후 확장 메타는 고려하되 플랫폼화는 별도 협의

1 · 공통 기반환경 접속 개통 · React/Node BFF · SSO/JWT · API 계약 · Excel/LiteLLM 옵션 확정

2 · 현대화 효성 IBee 챗봇 화면aichat010.jsp + aichat010.js 기반으로 기존 화면을 React+Vite로 현대화하고 Excel Agent 분석 진입을 붙인다.

3 · 현대화 Admin기존 Admin 화면을 유지·개선하고 Agent Admin, RAG Assessment를 같은 Admin IA 안에 확장한다.

4 · Excel Agent 분석분석 UI, 일반 Excel 분석, 사전 정의 업무 자동화 실행을 분리해 검수 기준을 만든다.

5 · Agent AdminAgent Registry 화면과 Excel Agent 운영관리 화면으로 나누고 사전 정의 업무 운영·조회·활성화를 포함한다.

6 · RAG Assessment / LiteLLMRAG Assessment는 기존 사내검색 RAG 평가로 반영하고, LiteLLM은 WBS 1~5 밖의 별도 옵션으로 둔다.

WBS — 트랙별 작업 분해

5 트랙

공통 기반 채팅 전환 현대화 Admin Excel Agent 분석 Agent Admin / RAG Assessment

T0공통 기반

환경 접속 개통 개발/스테이징·DB
React 셋업 Vite+TS·자체호스팅
Node.js BFF SSO·SSE 중계
xui 대체 session/ajax/dialog
API 계약서 + Excel Agent 메타 스키마
Excel Agent 분석 범위 확정 분석 UI·일반 분석·사전 정의 업무
RAG 평가 리소스 확인 Golden Set·기대 컨텍스트·레이블링 담당자
LiteLLM 옵션 의사결정 WBS 외 별도 옵션

A · FR-001~068현대화 효성 IBee 챗봇 화면

aichat010.jsp/js 채팅 한 화면 조합
레이아웃·LNB·히스토리
메시지 렌더 marked+KaTeX+hljs
SSE 스트리밍 8상태·중지
파일 업로드 로컬+HiCloud
검색토글·피드백·설정·다국어

B · FR-069~120현대화 Admin

Admin 화면 소스 수령·대체설계 aichat020 등
Admin 공통·대시보드
사용자 관리 CRUD·조직도
게시판 권한 관리
임베딩 설정·현황·로그
단어 관리

CExcel Agent 분석

분석 UI 파일 첨부·질의·결과·근거·오류 상태
일반 Excel 분석 구조 요약·통계·조건 집계
사전 정의 업무 자동화 실행 합의된 업무만 실행
SheetJS+DuckDB-WASM OPFS
스키마 프로파일링 고정/통제형 변동 우선
Text2SQL 계산 근거·쿼리 근거 표시
Univer.js 렌더 LG 포팅

D + EAdmin 확장

D-1 Agent Registry 화면Agent 등록·카드/목록·Health Check·확장 메타
D-2 Excel Agent 운영관리 화면실행 이력·오류 로그·파일/파서 정책·샘플 테스트
D-3 사전 정의 업무 운영합의된 업무의 운영·조회·활성화와 산출물 기준 검수
E-1 RAG Assessment 평가 운영 화면샘플링·Judge·Golden Set·Human Review
E-2 RAG Assessment 대시보드 화면결과 추이·드릴다운·Export·알림

요구사항·기능 한눈에 보기

효성 질문 대응용 요약

사용자 화면

1. 현대화 효성 IBee 챗봇 화면

기존 JSP 기반 Ask Hyobee 채팅을 React SPA로 전환하고, 기존 사용 흐름은 유지한다.

대화 목록, 메시지 렌더링, SSE 스트리밍, 응답 중지
CORP/WEB/Deep Research 모드, 피드백, 설정, 다국어
로컬 파일 첨부와 HiCloud 파일 첨부 흐름 유지

운영자 화면

2. 현대화 Admin

기존 Admin 기능을 React 기반 운영 화면으로 정리하고, 신규 Agent Admin과 RAG Assessment 메뉴를 같은 Admin 구조에 확장한다.

사용자/조직/게시판 권한, 임베딩 작업/상태/로그
크롤링 재시도, Metrics, 검색 품질, 피드백, 단어 관리
Admin 원본 소스 수령 여부에 따라 포팅 또는 OpenAPI 기반 재구성

신규 사용자 기능

3. Excel Agent 분석

Excel을 문서 RAG가 아니라 구조화 데이터로 다루고, 채팅에서 분석·집계·질의응답을 수행한다.

분석 UI: 파일 첨부, 질의 입력, 결과/근거/오류 상태
일반 Excel 분석: 시트 구조 설명, 컬럼 의미 요약, 기본 통계 분석
조건별 집계/비교/정렬, 이상치 탐지, 자연어 질의응답
사전 정의 업무 자동화 실행: 합의된 업무만 실행하고 기준 미충족 시 관리자 설정 필요 안내

신규 운영자 기능

4. Agent Admin

현대화 Admin 안에 Agent Registry 화면과 Excel Agent 운영관리 화면을 추가한다.

Agent Registry 화면: Agent 등록, endpoint/health, 버전, 담당자, 권한 관리
Excel Agent 운영관리 화면: 실행 로그, 오류 로그, 파일/파서 정책
사전 정의 업무 운영·조회·활성화, 샘플 질의와 산출물 기준 테스트

기존 RAG 평가

5. RAG Assessment

Excel Agent와 별개로 기존 사내검색 RAG 응답 품질을 평가하고 개선하기 위한 평가 운영 화면과 대시보드 화면을 추가한다.

Faithfulness / Answer Relevance는 리소스 미확정 상태에서도 우선 처리
Context Precision/Recall과 Golden Set batch 비교는 리소스 확정 후 처리
운영 샘플링, 케이스 드릴다운, Human Review, Golden Set
대시보드, 데이터소스 현황, Export, 알림, Audit

선택 옵션

6. LiteLLM 운영관리

LiteLLM은 기능정의서 필수 항목이 아니므로, 효성/Wrtn 접근 권한에 따라 옵션형 운영관리로 제안한다.

L1: 모델/사용자/조직/Agent별 사용량·비용·호출 로그
L2: Virtual Key, Budget, Rate Limit, 모델 접근 제어
L3: LiteLLM OSS Admin UI 한글화/fork는 별도 대형 옵션

한 문장 답변: 기존 Ask Hyobee 채팅과 Admin은 React+Vite 기반으로 현대화하고, 사용자가 Excel을 분석·집계·사전 정의 업무로 실행할 수 있는 Excel Agent 분석을 추가하며, 운영자는 Agent Admin과 RAG Assessment로 Agent 운영 및 기존 사내검색 RAG 품질을 관리한다. LiteLLM 운영관리는 WBS 1~5 밖의 별도 옵션으로 분리한다.

범위 옵션 리스트

계약/착수 전 선택지

권장 1차 제안 현대화 챗봇 + 현대화 Admin + Excel Agent 분석 + Agent Admin + RAG Assessment를 기본 범위로 두고, LiteLLM은 별도 옵션으로 분리.

RAG 평가 조건 Faithfulness / Answer Relevance는 우선 처리하고, Context Precision/Recall과 Golden Set batch 비교는 리소스 확정 후 처리.

별도 고도화로 분리 완전 자유형 Excel 자동화, 사용자 정의 워크플로우 빌더, 범용 Agent Platform, LiteLLM 제어·UI fork는 별도 협의 권장.

현대화 Admin기존 Admin 기능을 유지·개선하고 신규 운영 화면을 같은 IA 안에 확장

ADM-A

기본

기존 Admin React+Vite 전환

사용자/조직/게시판 권한, 임베딩 작업·상태·로그, 크롤링 재시도, Metrics, 피드백, 단어 관리.

판단: Admin 원본 소스가 있으면 포팅, 없으면 OpenAPI/기능정의서 기준으로 대체 화면화.

ADM-B

권장

Admin IA 확장

기존 Admin 화면 아래 Agent Admin과 RAG Assessment 메뉴를 추가하고, 화면 구조도 기준으로 연결.

판단: 기능은 분리하되 진입 구조는 하나로 보여야 피드백의 큰 그림 요구에 맞음.

Excel Agent 분석사용자 분석 UI, 일반 Excel 분석, 사전 정의 업무 자동화 실행을 분리

Excel-A

기본

분석 UI

효성 IBee 챗봇 화면에서 Excel 파일 첨부, 질의 입력, 결과/근거, 오류 상태를 제공.

기능: 파일 없음, 권한 없음, 분석 실패, 재시도 등 사용자 화면 상태까지 검수 대상으로 둔다.

Excel-B

권장

일반 Excel 분석

시트 구조, 컬럼 의미, 통계, 조건 집계, 정렬, 이상치 등 분석 질의응답을 처리.

기능: 고정 스키마와 통제형 변동을 우선 처리하고, 자유형 Excel은 결과 한계를 표시한다.

Excel-C

중요

사전 정의 업무 자동화 실행

Agent Admin에서 합의·활성화된 업무에 한해 산출물 생성 또는 정리를 실행.

판단: 업무를 사용자가 자유롭게 만드는 빌더가 아니라, 이번 외주에서 확정된 업무를 실행하는 범위.

Agent AdminAgent Registry 화면과 Excel Agent 운영관리 화면으로 구성되는 신규 Admin 메뉴

XLA-A

필수

Agent Registry 화면

Agent 등록, 카드/목록 조회, endpoint, 담당자, 사용 여부, Health Check, 확장 메타를 관리.

목적: Excel Agent 외 Agent도 메타로 표현 가능하게 하되, 범용 라우팅 실행은 별도 범위로 둔다.

XLA-B

권장

Excel Agent 운영관리 화면

실행 이력, 오류 로그, 파일 정책, 파서 정책, 용어사전, 샘플/산출물 기준 테스트를 관리.

지표: 파싱 성공률, 헤더 인식률, SQL 성공률, 계산 검증 통과율, 컬럼 매핑 정확도.

XLA-C

후속

확장 메타 고려

agent_type, capabilities, auth_type, routing_mode는 저장하되 플랫폼 기능은 별도 협의.

판단: 향후 Agent Platform으로 확장 가능하게 고려하지만 이번 WBS에는 Registry와 운영관리 화면 중심으로 반영.

RAG AssessmentExcel Agent와 독립된 기존 사내검색 RAG 품질평가 체계

RAG-A

기본

평가 운영 화면

샘플링, LLM Judge, 4대 지표 평가 정책, Golden Set 관리, Human Review를 제공.

조건: Faithfulness / Answer Relevance는 우선 처리하고, Context Precision/Recall은 기대 컨텍스트와 레이블링 리소스 확정 후 처리.

RAG-B

권장

대시보드 화면

평가 결과 카드, 기간 통계, 케이스 드릴다운, 데이터 소스, Export, 알림을 제공.

판단: 평가 운영 화면과 대시보드 화면을 나누어 고객이 화면 범위를 이해하게 한다.

RAG-C

조건부

Golden Set batch 비교

동일 Golden Set 기준 baseline/candidate 결과를 batch로 비교하고 저점 케이스를 확인.

조건: Golden Set, 기대 답변, 기대 컨텍스트가 부족하면 2개 지표 기준 비교부터 처리하고 나머지는 리소스 확정 후 처리.

LiteLLM 운영관리기능정의서 필수 항목이 아니라 효성/Wrtn 접근 권한에 따른 선택 옵션

제외

LiteLLM 연계 제외

자체 Agent 로그와 RAG Assessment 저장소만으로 운영 화면 구성.

장점: 일정/권한 리스크 최소. 단점: LLM 비용/토큰/Key 운영 정보는 제한.

권장

조회 연동

모델/사용자/조직/Agent별 사용량, 토큰, 비용, 호출 로그, Export.

전제: LiteLLM API 또는 spend log DB 접근, user/team/agent metadata 저장.

선택

운영 제어

Virtual Key, Budget, RPM/TPM, 모델 접근 권한, fallback 정책.

전제: LiteLLM Admin API 권한. 보안/승인/감사 요건이 같이 커짐.

별도

OSS Admin UI 포크

LiteLLM Admin 자체 한글화, 로고, 메뉴 구조, 로그인 UI 조정.

판단: upstream 추적과 보안 패치 부담이 커서 별도 견적/별도 일정으로 분리.

항목	기본 제안	옵션으로 분리할 항목	범위 결정 기준
현대화 효성 IBee 챗봇 화면	기존 챗봇 화면의 React+Vite 현대화와 Excel Agent 분석 진입 추가	Gateway/Front codebase, 인증/세션, API 계약, 화면설계서	원본 기능정의서 사용자 화면 기능 대응 여부
현대화 Admin	기존 Admin 기능 유지·개선 + Agent Admin/RAG Assessment 메뉴 확장	Admin 원본 소스, 와이어프레임, 메뉴 IA, 누락 API	기존 Admin 기능과 신규 운영 화면의 연결성
Excel Agent 분석	분석 UI, 일반 Excel 분석, 사전 정의 업무 자동화 실행	대표 Excel 샘플, 실제 질문, 기대 답변, 업무 자동화 대상 목록	고정/통제형 변동 기준 검수 가능 여부
Agent Admin	Agent Registry 화면 + Excel Agent 운영관리 화면	Agent endpoint, 인증 방식, 로그 정책, 사전 정의 업무 산출물 기준	1차 Registry/운영관리와 향후 플랫폼 확장 메타의 분리
RAG Assessment	평가 운영 화면 + 대시보드 화면	Golden Set, 표준 질답, 기대 컨텍스트, 레이블링/검수 담당자	2개 지표 우선 처리와 Context Precision/Recall 리소스 확정 후 처리
LiteLLM 운영관리	WBS 1~5 밖의 별도 옵션	LiteLLM API/DB 접근 권한, 운영 권한, 보안 승인	조회 연동, 운영 제어, UI fork 중 별도 선택

타임라인 — 8주 간트

실선=기본 범위 / 점선=옵션 또는 의사결정 작업

공통

환경 접속·설계

자료·범위 확정

codebase/wireframe/RAG 리소스

현대화 화면 · Excel Agent 분석

현대화 효성 IBee 챗봇 화면

현대화 Admin

W2 – W3

Excel Agent 분석

W2 – W3

사전 정의 업무 자동화 실행

W4 – W5

Agent Admin · 기존 사내검색 RAG Assessment

Agent Registry 화면

Excel Agent 운영관리 화면

W4 – W5

RAG Assessment 평가 운영

W3 – W5

RAG Assessment 대시보드

W5 – W7

Context Precision/Recall

리소스 확정 후

Golden Set batch 비교

조건부

옵션 · LiteLLM

LiteLLM 조회 연동

L1 옵션

LiteLLM 운영 제어

L2 옵션

LiteLLM UI 포크

별도 대형 옵션

통합 · 인수

통합 테스트

QA·안정화·인수

주차별 산출물

매주 체크포인트

W1SETUP

환경 마련 + 작업 설계

환경 접속 개통 · React+Vite/Node BFF 셋업 · xui 대체표 · 현대화 효성 IBee 챗봇 화면과 현대화 Admin 소스/API 확인 · Admin IA 확정 · Excel Agent 분석 샘플/질문 확정 · RAG Assessment Golden Set/레이블링 리소스 확인 · LiteLLM 별도 옵션 여부 결정 · API 계약서

산출물 — 셋업(로그인→빈화면) · 원본 기능 대응표 · API 계약서 · Admin IA 결정표 · Excel Agent 분석 검수 샘플 · RAG Assessment 리소스 확인표

W2BUILD

현대화 효성 IBee 챗봇 화면 ∥ Excel Agent 분석 착수

DEV1 · 채팅

레이아웃·히스토리·SSE·파일·검색토글·피드백·설정·다국어 (확보된 aichat010.jsp/js 기준 포팅)

DEV2 · Excel Agent 분석

분석 UI, 일반 Excel 분석, SheetJS+DuckDB-WASM, schema_context, Text2SQL 착수. 고정/통제형 변동 기준 샘플 파일 1차 파싱

산출물 — 현대화 챗봇 화면 동작 · Excel 업로드→구조요약→질의 데모 · 파서 실패/성공 기준표

W3BUILD

현대화 Admin ∥ Excel Agent 분석 1차 완료 + RAG Assessment 착수 M1

DEV1 · Admin

Admin 공통·대시보드·사용자/게시판권한/임베딩/단어 관리. aichat020 소스 수령 시 포팅, 미수령 시 FR-069~120/OpenAPI 기준 신규 화면화

DEV2 · Excel Agent 분석 / RAG Assessment

시트 구조·컬럼 요약·통계·조건 집계와 분석 UI 1차 완료. 기존 사내검색 RAG 대상 평가 운영 화면과 비동기 평가 큐 착수

M1 — 현대화 챗봇/Admin 1차 + Excel Agent 분석 동작 · RAG Assessment 평가 큐/worker 골격

W4BUILD

Agent Admin ∥ RAG Assessment 평가 운영 M2

DEV1 · Agent Admin

Agent Registry 화면 + Excel Agent 운영관리 화면. 실행 이력, 오류 로그, 파일/파서 정책, 사전 정의 업무 운영·조회·활성화

DEV2 · RAG Assessment 도입

기존 사내검색 RAG 대상 Faithfulness / Answer Relevance 우선 처리 + Context Precision/Recall 리소스 확정 후 처리·Judge LLM·평가 스키마·재시도·payload 분리 저장(RAG-006~009)

M2 — Agent Registry 화면 · Excel Agent 운영관리 화면 · RAG Assessment 평가 운영 화면 1차

W5BUILD

RAG Assessment 대시보드 착수 + 사전 정의 업무 검수

DEV1 · 프론트

RAG Assessment 대시보드 화면, 평가 결과 카드, 기간 통계, 케이스 목록. Excel Agent 운영관리의 샘플/산출물 기준 테스트

DEV2 · 백엔드

샘플링·평가 결과 저장 안정화, 큐 상태/재시도, 케이스 드릴다운 API, 사전 정의 업무 실행 로그 연동

산출물 — RAG Assessment 대시보드 1차 · 사전 정의 업무 실행 검수 · LiteLLM 옵션 선택 시 API 접근 검증

W6BUILD

RAG Assessment 대시보드 확장

DEV1 · 프론트

드릴다운·필터 + Human Review UI + 데이터소스 화면 + Golden Set 관리 화면

DEV2 · 백엔드

데이터소스 출처/품질 집계, Export, 임계값 알림, 알림 채널, Golden Set import. Context Precision/Recall은 리소스 확정 후 처리

산출물 — RAG Assessment 대시보드 확장 · Human Review · 데이터소스/Export/알림 · 조건부 Golden Set batch 비교

W7QA

RAG Assessment 통합 완료 + 통합 테스트 M3

현대화 챗봇, 현대화 Admin, Excel Agent 분석, Agent Admin, RAG Assessment 전체 통합 테스트. RAG는 Faithfulness / Answer Relevance 처리와 Context Precision/Recall pending_resource 상태를 함께 검증

M3 — 통합 테스트 결과서 · RAG 지표 처리 상태 리포트 · Excel Agent 분석/운영관리 검수 결과

W8SHIP

QA + 안정화 + 인수 최종 인수

시나리오 QA·엣지케이스 · 성능(화면 2초·RAG 평가 p95 5분·대시보드 집계 응답) · 보안(payload 분리/권한조회) · 폐쇄망 배포(tar) · 최종 인수

산출물 — 최종 인수 완료 · 배포 산출물 · 운영 문서 · WBS 포함/별도 옵션 범위 합의서

착수 입력물 · 의사결정

W1 작업 완료 조건

Gateway/Front codebase, 인증/세션 흐름, build/deploy 정보 현대화 효성 IBee 챗봇 화면과 현대화 Admin 화면설계서/wireframe FINAL_효성_Admin_화면구조도_20260605.html 기준 Admin IA 대표 Excel 샘플 3-5개, 실제 질문, 기대 답변, 사전 정의 업무 대상 Agent endpoint, 인증방식, 로그 보관 정책, 담당자/권한 기준 RAG Assessment 최소 담당자, Golden Set, 기대 컨텍스트, 레이블링/검수 담당자 FINAL_효성_IBee_추가기능정의서_SpaceY_20260605.xlsx 기준 검수