알트타운 사용자 신용도 평가 모델 개발기

블록체인 기반 버추얼 셀럽 플랫폼을 넘어 사용자 중심의 생태계로 진화하기 위한 알트타운의 여정

프로젝트의 시작: 과감한 피봇

메인 프로젝트인 K-Y 서비스를 기획하던 중, 우리는 과감한 결정을 내렸다. 버추얼 산업을 대상으로 먼저 서비스를 개발하는 것으로 방향을 틀기로 한 것이다. 이 일종의 피봇을 통해 알트타운 서비스가 탄생했다.

알트타운은 단순히 버추얼 셀럽들을 글로벌 무대에 알리고 안정적인 수입을 지원해주는 플랫폼에 그치지 않는다. 우리의 비전은 더 크다. 향후 토큰 이코노미를 통해 사용자들을 위한 NFT 제작, 다양한 게이미피케이션 요소, 그리고 커뮤니티 중심의 거버넌스를 제공하며 Web3 생태계의 핵심 플랫폼으로 진화할 예정이다.

그렇다면 사용자들에게 정확히 어떤 방식으로 이러한 혜택을 제공할 수 있을까? 모든 사용자에게 동일한 혜택을 제공하는 것이 공정할까? 아니면 플랫폼에 더 많이 기여하는 사용자에게 더 많은 혜택을 제공하는 것이 맞을까? 이 질문에 답하기 위해 우리는 ‘알트타운 사용자 신용도 평가 모델’을 개발하기로 결정했다.

알트타운

1. 초안 잡기: 온체인 데이터로 사용자 가치 측정하기

사용자에게 차별화된 혜택을 제공하기에 앞서, 각 사용자의 플랫폼 활성도와 기여도를 객관적으로 측정할 필요가 있었다. 다양한 방법을 검토한 결과, 가장 공정하고 투명한 방법은 알트타운 내 온체인 데이터를 기반으로 자체 평가 모델을 구축하는 것이었다. 블록체인의 투명성과 불변성이라는 특성이 신뢰성 있는 평가 시스템 구축에 완벽한 기반이 될 것이라 판단했다.

K-S 통계량은 우량집단과 불량집단의 누적분포 차이를 나타내는 지표로, 이 값이 높을수록 모델의 변별력이 우수하다는 의미다. 다만, 과도하게 높은 점수는 모델이 특정 데이터 패턴에 과적합(overfitting)되었을 가능성을 시사한다. 현실에서는 우량 집단과 불량 집단이 완전히 분리되기 어렵기 때문이다.

자체 모델 개발에 앞서 기존 금융권의 신용평가모형을 벤치마킹한 결과, 일반적으로 K-S 통계 성능 40점 이상이 신뢰할 수 있는 모델의 기준선이라는 것을 확인했다. 이에 우리는 모델의 신뢰성을 확보하면서도 과적합을 방지하기 위해 40점 이상의 K-S 통계량을 목표로 설정했다.

우리의 목표는 명확했다:

1. 사용자의 온체인 활동을 점수화하여 우수 사용자와 불량 사용자를 구분할 수 있는 모델 개발
2. 이 점수체계가 K-S 통계량 40점 이상의 높은 신뢰도를 가질 것
3. 누구나 이해하기 쉬운 점수 체계로 설계할 것

점수 체계는 금융권의 신용점수와 유사하게 999점 만점으로 결정했다. 100점 만점도 고려했지만, 더 세분화된 등급 부여가 가능하고 사용자들에게 익숙한 신용점수 형태를 차용하는 것이 효과적이라고 판단했다.

사용자 가치 평가 모델 개발을 위한 핵심 원칙:

• 데이터 독립성: 알트타운 내 사용자 데이터만 활용하여 외부 요인에 영향받지 않는 모델 구축
• 객관적 점수화: 각 사용자에게 객관적인 기준으로 개별 점수 부여
• 검증 가능성: K-S 통계량으로 모델의 변별력 검증
• 투명성: 평가 항목은 알트타운 내에서 추출 가능한 데이터로 한정

CMS를 분석하고 사용자 행동 패턴을 연구한 결과, 다음 6가지 핵심 지표를 기반으로 사용자 신용도를 산출하기로 결정했다:

평가 지표 설명

“모델에 넣는 사용자 수가 몇 명이든 상관없이 안정적인 모델을 도출해내는 것”

이것이 우리의 출발점이었다. 하지만 곧 예상치 못한 도전과 마주하게 되었다.

사용자 점수

2. 시행착오: 불안정한 모델과의 싸움

고정된 랜덤시드의 함정

가장 초기에는 초기 데이터 대상으로 랜덤 시드를 42에 고정하고 평가 모델을 제작했다. 42를 선택한 이유는 단순했다 — 데이터 과학에서 통상적으로 가장 많이 사용되는 랜덤시드였기 때문이다.

그러나 초기 데이터 이후 확장 데이터에서는 더 좋은 결과값을 도출해내기 위해 랜덤 시드를 None으로 지정했고, 이게 문제의 시작이었다. 모델을 실행할 때마다 각기 다른 결과값이 도출되는 문제가 발생했다. 더 좋은 점수를 얻고자 None으로 지정했지만, 오히려 매번 일정하지 않은 값을 내는 문제가 발생한 것이다.

어떤 데이터를 넣어도 결과가 변함없이 일관되어야 하는 사용자 신용도 평가 모델에 빨간불이 켜졌다.

데이터 확장 방식의 역설

다시 처음으로 돌아가 최소한의 데이터에서 점차 데이터를 확장시키는 방법으로 모델을 재구성했다. 하지만 또 다른 문제에 직면했다. 이 모델은 사용자 수를 적게 설정했을 때는 적절한 통계량이 나왔지만, 사용자 수가 점점 많아질 경우 안정적이지 않고 높고 낮게 급변동하는 통계량을 도출했다.

이 문제를 해결하기 위해 랜덤시드를 기존 42에서 1000, 1, 9876, 1115 등으로 변경해보았으나, 통계량의 불안정한 변동은 지속되었다. 노이즈 파라미터를 다양하게 변경해봐도 같은 문제가 발생했다. 이는 아마도 모델 자체의 본질적인 특성이었던 것으로 추측된다.

역발상의 성공

마지막으로, 우리는 접근 방식을 완전히 바꿔보기로 했다. 적은 수의 사용자부터 시작하는 것이 아니라, 높은 사용자 수에 맞춰 통계량을 안정화시키는 방법을 선택한 것이다.

애초에 우리는 과적합 현상을 방지하고자 적은 사용자 수부터 모델을 구축했었다. 그러나 놀랍게도 더 많은 사용자 수를 기반으로 모델을 구축했을 때, 예상보다 훨씬 안정적인 통계량을 얻을 수 있었다.

비개발자 출신으로 모델을 구축하고 수정하다 보니, 체계적인 접근보다는 하나하나 파라미터를 직접 수정하며 최적값을 찾아가는 방식으로 진행했다. 수많은 시행착오 끝에, 마침내 알맞은 랜덤시드와 노이즈 값을 찾아 모델에 적용했고, 결과는 안정적으로 나왔다.

검증 결과: 목표 달성

우리는 초기 가입자 일부를 대상으로 모델을 구축했으며, 모델 개발을 위해 최대 50,000명까지 다양한 인원 수별로 합성 데이터를 생성하여 활용했다. 이후, 이 모델을 기반으로 진행한 테스트 결과, K-S 통계량이 사용자 수에 따라 변동을 보였지만, 전반적으로 목표치인 40점을 초과하는 수준을 유지하는 경향을 보였다.

사용자 수 및 K-S 통계량

결과적으로 평균 K-S 통계량 0.4465 라는 우수한 성과를 달성했으며, 이는 우리가 설정한 목표치인 0.4를 충분히 상회하는 수치였다.

점수 분포 도트 그래프

점수 분포 히스토그램

3. 성공: 안정적인 신용평가 모델의 완성

이렇게 개발된 통계량 40점 이상의 사용자 신용도 평가 모델은 알트타운의 핵심 인프라로 자리 잡을 예정이다. 프로젝트의 사용자 참여도와 기여도를 0~999점 범위의 객관적인 점수로 지표화하고, 이를 다양한 등급으로 구분하여 차별화된 혜택을 제공할 것이다.

등급 시스템의 구성 요소:

• 점수 구간: 900~999(최상위), 800~899(상위), 700~799(중상위) 등으로 세분화
• 등급별 특징과 사용자 프로필: 각 등급에 맞는 사용자 페르소나와 행동 패턴 정의
• 등급별 제공 혜택: 거래 수수료 할인, 에어드롭 우선권, DAO 투표권 가중치 등 차등 혜택
• 등급 유지 조건: 일정 기간 동안의 활동 요구사항과 하락 시 적용되는 패널티

미래를 위한 청사진: 게이미피케이션과 NFT 통합

높은 등급을 유지하는 사용자는 더 많은 혜택을 받고, 낮은 등급의 사용자는 등급 상승을 위한 동기부여를 제공받는다. 이를 위해 알트타운은 사용자의 활동·인지도·영향력을 한눈에 파악할 수 있는 등급화 시스템을 구축했다.

더 나아가 등급에 따른 차별화된 혜택, 거버넌스 참여 권한, 토큰 분배 우선순위 등을 연계함으로써 생태계 전반의 활성화를 유도하는 선순환 구조를 만들어내고자 기획 및 개발중에 있다. 각 사용자의 등급은 dNFT(Dynamic NFT)로 발급되어 시각적으로 확인 가능하며, 블록체인에서 검증 가능한 신뢰도 증명으로 활용될 예정이다.

이러한 역동적 NFT는 사용자의 활동과 기여에 따라 시각적으로 진화하며, 등급 상승의 여정을 시각적으로 보여주는 디지털 아이덴티티의 역할을 하게 될 것이다.

나아갈 길: Web3 경제 생태계의 중심으로

알트타운은 단순한 콘텐츠 플랫폼을 넘어, 사용자 중심의 Web3 경제 생태계로 진화해 나갈 것이다. 우리가 개발한 사용자 신용도 평가 모델은 이러한 진화의 핵심 기반이 될 것이다.

이 모델을 통해 우리는:

1. 사용자들에게 투명하고 공정한 보상 시스템을 제공할 수 있게 되었다
2. 플랫폼 내에서 신뢰할 수 있는 평판 체계를 구축할 수 있게 되었다
3. 커뮤니티 주도의 Web3 거버넌스를 위한 기반을 마련하게 되었다
4. 온체인 데이터의 실질적 활용 사례를 만들어 냈다

우리의 여정은 이제 막 시작되었다. 알트타운과 함께 Web3의 새로운 지평을 열어갈 당신을 기다린다.