본 문서는 효성 논의 항목과 reference 분석을 기준으로 LiteLLM 운영 Admin 적용 방안을 정리한다. LiteLLM 운영 화면은 확정 범위가 아니므로, IBee Admin 내 LLM 운영관리 후보 기능으로 제시한다. LiteLLM은 Gateway/API 계층으로 연동하고, 사용량·Key·예산·모델 정책은 서버 측 Admin BFF를 통해 중계한다.
Gateway Admin 접근권 또는 로그 조회 범위가 확정되지 않은 경우 LiteLLM 운영 메뉴를 범위에서 제외한다.
조직·사용자·Agent·모델별 호출량, 토큰, 비용, Export를 조회 기능으로 제공한다.
Admin API write 권한이 있는 경우 Virtual Key, Budget, Rate Limit, 모델 권한을 설정한다.
내장 /ui 자체 한글화가 필요한 경우, upstream 추적·보안패치·UI QA 범위를 별도 산정한다.
| 기능 ID | 대분류 | 중분류 | 기능명 | 기능 설명 / 동작 정의 | 입력 / 데이터 | 처리 규칙 / 비즈니스 로직 | 예외 / 오류 처리 | 우선순위 / 상태 |
|---|---|---|---|---|---|---|---|---|
| LLM-001 | LLM 운영 | 사용량 | LLM 사용량 현황 조회 | 관리자가 기간별 LLM 총 호출 수, 성공/실패 건수, 토큰 사용량, 비용, 응답시간을 조회한다. | 기간, 모델, 사용자, 조직, Agent, /spend/logs, 자체 LLM 호출 로그 |
조회 조건에 따라 모델/사용자/조직/Agent별 사용량을 집계하고 카드 및 추세 그래프로 표시한다. | Gateway 로그 접근 불가 시 자체 LLM 호출 로그 기준으로 축소 제공한다. | 제안 L1 |
| LLM-002 | LLM 운영 | 사용량 | 조직/사용자/Agent별 사용량 조회 | 관리자가 회사, 부서, 팀, 사용자, 서비스, Agent, 작업 유형별 사용량과 비용을 drilldown한다. | user_id, corp_code, pg_code, team_code, service, task_type, session_id |
LiteLLMAdapter가 전달하는 metadata를 기준으로 집계한다. 신규 분해 축이 필요한 경우 metadata 필드 추가 여부를 먼저 확인한다. | metadata가 spend log에 저장되지 않는 경우 해당 축은 미산출로 표시한다. | 제안 L1 |
| LLM-003 | LLM 운영 | 로그 | LLM 호출 로그 조회 | 관리자가 LLM 요청의 성공/실패, 모델, key/team, 응답시간, token, cost, error type을 조회한다. | 기간, 상태, 모델, key/team, error type, /spend/logs, success/error log |
prompt/response 원문은 기본 비노출로 처리하고, 운영 로그 중심으로 표시한다. | 민감정보 또는 원문 payload 조회가 필요한 경우 권한 및 마스킹 정책 확정 후 제공한다. | 제안 L1 |
| LLM-004 | LLM 운영 | 정산 | 사용량 기반 정산 Export | 관리자가 기간/조직/사용자/Agent/모델 기준 사용량과 비용을 CSV 또는 Excel로 다운로드한다. | 조회 조건, export 포맷, spend summary, model price table, metadata normalization | 화면 합계와 export 합계가 일치하도록 집계 기준을 동일하게 적용한다. | 모델 단가가 없는 경우 비용 미산출로 표시하고, 단가표 등록 후 재산정한다. | 제안 L1 |
| LLM-005 | LLM 운영 | 모델 | 모델/Provider 현황 조회 | 관리자가 사용 가능 모델, Provider, 모델 그룹, 표시명, 단가, 활성 상태, 최근 호출량을 조회한다. | /model/info, /model_group/info, provider metadata, Admin 모델 표시명/단가표 |
LiteLLM 모델명은 효성 운영자가 이해할 수 있는 표시명과 함께 노출한다. | 모델 정보 조회 실패 시 해당 모델은 상태 미확인으로 표시한다. | 제안 L1 |
| LLM-006 | LLM 운영 | 정산 | 비용 산정 기준 관리 | 관리자가 모델별 단가, 통화, 적용 시작일, 비용 산정 기준을 조회하거나 관리한다. | 모델 ID, Provider, 단가, 통화, 적용일, 비용 출처 | LiteLLM 비용 필드가 없는 경우 Admin 단가표 기준으로 추정 비용을 산출한다. | 단가 누락 모델은 비용 미산출로 표시하고 정산 export에서 별도 표시한다. | 제안 L1 |
| LLM-007 | LLM 운영 | Key 관리 | Virtual Key 관리 | 관리자가 LiteLLM Virtual Key를 생성/조회/비활성하고, 허용 모델, 예산, 만료일을 설정한다. | Key명, 모델 권한, 예산, 만료일, /key/generate, /key/list, /key/info |
Key 원문은 생성 시 1회만 표시하고 이후 마스킹한다. | Admin API write 권한이 없는 경우 읽기 전용 또는 범위 제외로 처리한다. | 선택 L2 |
| LLM-008 | LLM 운영 | 사용 제한 | 예산/Rate Limit 설정 | 관리자가 user/team/key/Agent 단위 budget, budget duration, TPM/RPM, max parallel requests를 설정한다. | 대상 유형, budget, duration, tpm_limit, rpm_limit, /budget/new |
예산 또는 rate limit 초과 시 차단 상태와 차단 사유를 표시한다. | LiteLLM 권한 또는 정책 API가 없는 경우 조회 기능으로 축소한다. | 선택 L2 |
| LLM-009 | LLM 운영 | 모델 정책 | 모델 권한/정책 관리 | 관리자가 조직/Agent/서비스별 허용 모델, 표시명, fallback 모델, 고비용 모델 승인 여부를 설정한다. | 조직, Agent, 서비스, 모델 ID, 권한 그룹, 승인 상태, policy store | 정책 변경 시 변경자, 변경 사유, before/after를 저장한다. | 정책 저장소가 확정되지 않은 경우 모델 조회 및 표시명 관리만 제공한다. | 선택 L2 |
| LLM-010 | LLM 운영 | 감사 | 운영 변경 감사 로그 | 관리자가 Key, 예산, 모델 정책 변경 이력과 변경 사유를 조회한다. | actor, action, reason, before/after, request id, approval status | write 기능이 제공되는 항목은 감사 로그 저장을 기본 처리한다. | 감사 로그 저장 실패 시 운영 변경을 실패 처리하거나 승인 대기 상태로 남긴다. | 선택 L2 |
| LLM-011 | LLM 운영 | 연계 분석 | Excel/RAGAS 연계 비용 조회 | 관리자가 Excel Agent, 사내검색 RAGAS Judge, Deep Research 등 업무 메뉴별 LLM 사용량과 비용을 조회한다. | Excel Agent 실행 로그, RAGAS 평가 로그, LiteLLM spend metadata, service, task_type |
업무 메뉴별 서비스 코드를 정의하고 동일 기준으로 비용을 집계한다. | 서비스 코드가 없는 로그는 미분류 항목으로 표시한다. | 선택 후속 |
| LLM-012 | LLM 운영 | 내장 UI | LiteLLM 내장 UI 접근 | 운영자가 LiteLLM 내장 /ui에 접근할 수 있는 링크와 접근 정책을 별도로 관리한다. |
/ui, enabled_ui_pages, UI_USERNAME, UI_PASSWORD, 접근 허용 IP/계정 |
내장 UI는 효성 고객-facing 화면이 아니라 운영자 fallback 화면으로 분리한다. | 한글화 또는 신규 메뉴 추가가 필요한 경우 LLM-013 범위로 별도 협의한다. | 별도 선택 |
| LLM-013 | LLM 운영 | 내장 UI | LiteLLM UI Fork/한글화 | LiteLLM 내장 UI의 텍스트 한글화, 메뉴 구조 변경, 효성 메뉴 삽입을 별도 범위로 검토한다. | LiteLLM ui/litellm-dashboard, 번역 대상 화면, 신규 메뉴 범위, QA 대상 브라우저 |
upstream 변경 반영, 보안 패치, 빌드/배포 절차를 별도 운영 정책으로 정의한다. | i18n/plugin 구조가 확정되지 않은 경우 일정과 유지보수 범위를 별도 산정한다. | 별도 선택 |
Virtual Key, Spend, Budget을 서비스 API Key, 사용량/비용, 예산/사용 한도 등 운영 용어로 표시한다.
LiteLLM master/admin token은 브라우저에 노출하지 않고, IBee Admin BFF에서 권한 검증 후 API를 중계한다.
Excel Agent, RAGAS, Admin Metrics 등 신규 운영 메뉴와 동일한 Admin 체계에서 탐색할 수 있도록 구성한다.
LiteLLM Admin API token, spend log schema, metadata 조회 가능 여부를 확인한다.
사용량 대시보드, 로그, 조직/Agent 필터, CSV/XLSX Export를 만든다.
Key 생성/비활성, 예산, 모델 권한, Rate Limit을 감사 로그와 함께 제공한다.
LiteLLM 사용량을 Excel Agent, RAGAS 평가, Admin Metrics와 연결한다.
| 레퍼런스 | 가져올 점 | 효성 적용 판단 |
|---|---|---|
| LiteLLM Admin | Virtual Key, Spend, Model, Budget API primitive | API는 사용하되 고객-facing UI 포크는 피한다. |
| Red Hat LiteMaaS | 별도 Portal + LiteLLM 연동 + RBAC + i18n | 효성 제안 구조와 가장 가깝다. |
| Langfuse | 조직/프로젝트/환경/RBAC, 평가/관측 운영 | RAGAS Assessment와 비용 분석 UX에 참고한다. |
| Portkey | Gateway control plane, routing, budget, fallback | L2 Key/모델/예산 정책 설명 방식에 참고한다. |
| Open WebUI | 사용자 설정과 관리자 설정 분리 | 채팅 UX는 제외하고 admin/user 설정 분리만 참고한다. |
Wrtn/LiteLLM Gateway의 read/write 권한 범위가 L1/L2를 결정한다.
user_id, team_code, task_type, service가 남아야 조직/Agent별 리포트가 가능하다.
효성이 LiteLLM 내장 화면 자체를 요구하면 L3 포크를 별도 견적으로 분리해야 한다.