딜리버스의 MLOps 도입기 — 1장 배경과 목표

해당 글에서는 딜리버스의 MLOps 도입기에 대한 설명입니다. 1장 배경에서는 도입을 하게된 배경과 목표에 대해 설명합니다. 용어 설명은 참조 링크로 대체합니다.

MLOps란?

도입 배경

2022년 12월부터 2023년 7월까지 꾸준히 늘어나는 일일 배송 물량

배송을 시작한 2021년 12월부터 2023년 7월까지 일일 배송물량은 꾸준히 늘어나고 있습니다.

이렇게 꾸준히 일일 배송물량이 증가한 이유는 서비스 초기에는 서울 지역만 배송했는데 지금은 부천, 수원, 김포, 파주, 의정부, 성남, 동탄 등 많은 지역에 배송을 진행하고 있습니다. 앞으로는 수도권 전역까지 확대할 예정입니다.

2023.07 배송 지역 포인트맵

딜리버스의 메인 분류센터가 성수였는데 늘어나는 일일 배송 물량을 감당하지 못해 넓은 작업공간이 필요했고 많은 물량의 빠른 분류를 위해 새롭게 도입한 분류기가 있는 경기로 광주로 2023년 7월에 이사를 가게되었습니다. 점점 늘어나는 일일 배송물량의 당일 배송을 위해 허브에서 땀 흘리며 일하고 있는 스태프들이 해야할 일이 더 많아진 상황이 되었습니다.

광주 딜리버스 물류센터 분류기

기존 허브 스태프들이 배송 아이템 분류 전 1시간 이내에 끝내던 작업을 증가하는 배송 물량으로 인해 작업 시간이 점점 증가하고 있는 추세입니다. 이렇게 되면 분류 시작 시간이 늦어지고 배송 시작 시간과 인과관계가 있기 때문에 배송 아이템이 고객에게 가기까지 더 오래 걸릴 수 있다는 문제점이 있습니다. 또한, 고객과의 당일 배송을 위해 화주사는 더 많은 배송 물량을 주고 싶어도 받을 수 없는 상황이 됩니다.

문제점

현재 지역 클러스터링(배송 박스 생성) 프로세스

지역 클러스터링 작업의 소요시간이 점점 길어짐

배송 아이템의 배송 박스 배정은 주소 기반으로 시스템 내에서 자동적으로 1차 분류가 진행되고 이후에 시스템 내부의 지역 클러스터링으로 진행됩니다. 하지만 당일 총 배송 물량 기준 임의의 배송 아이템 수로 배송 박스를 생성하다보니 내부적인 클러스터링 기준에 부합하지 않는 배송박스가 생성될 수 있습니다.

내부적으로 클러스터링 기준에 부합하지 않는 배송 박스가 생성되기 때문에 허브의 스태프가 다시 한번 배송 아이템의 위치와 배송 박스를 확인할 수 밖에 없는 문제가 있습니다. 내부적으로 클러스터링 기준에 부합하지 않는 배송박스가 확인되면 이후에 다른 박스로 새로운 박스를 만드는 방향으로 진행을 하고 있습니다.

배송 박스가 넣을 수 있는 최대 물품 수와 직접적인 거리 기반으로 배송 박스 생성

현재의 지역 클러스터링은 최대 물품 수를 지정하고 생성됩니다. 이로 인해 버니 타입 별 배송 아이템 수가 다르기때문에 허브 스태프가 배송 박스의 배송 아이템 수를 다시 조정을 하고 있는 상황입니다. 또한, 도로의 길이가 아닌 물품과 물품 사이의 거리를 직선으로만 생각하고 계산을 하고 있기 때문에 정확한 배송 시간을 예측 할 수 없으며, 효율적인 배송 경로를 짜는데 어려움이 있습니다.

버니 타입 별로 배송 박스 생성 불가

딜리버스 버니의 타입은 총 4가지(화이트, 레인보우, 옐로우, 블루)가 있습니다. 버니의 타입마다 배송된 배송 물량이 다르며, 기대 수익에 맞춰 수량을 배정하고 있습니다. 버니 타입마다 배송 물량에 맞춰 배송 박스를 만들 수 있어야 허브 스태프가 추가 작업을 진행하지 않을 수 있습니다.

배송 예측 시간 예측 불가

당일 배송을 위해 24시 이내 배송을 완료하는 것도 중요합니다. 현재는 직접적인 거리(직선 거리)로만 배송 박스를 생성하고 있기 때문에 예측이 어려운 상황입니다. 현재 당일 배송 성공률이 최소 95%이상이지만 99%를 계속 유지하기위해서는 배송 예측 시간을 계산해서 배송 박스를 만드는게 필요합니다.

해결 방안

MLOps 구축

개선된 지역 클러스터링(배송 박스 생성) 프로세스

배송 물량에 관계없이 10분 이내로 머신러닝 기반 지역 클러스터링을 진행해서 문제를 해결할 계획입니다. 지역 클러스터링 머신러닝에는 오픈스트리트맵(OSM, OpenStreetMap)을 이용한 경로 계산을 기반으로 기존 배송 데이터, 날씨, 교통 상황, 버니 타입 등 다양한 데이터를 활용해서 배송 시간 예측, 배송 경로 최적화, 효율적인 배송 박스 구성을 할 수 있게 진행할 예정입니다.

일일 단위로 지역클러스터링 머신러닝 모델은 재학습할 예정이며, 지속적으로 모델 예측에 도움이되는 외부 데이터를 분석하고 수집해서 모델의 성능을 꾸준히 올릴 계획입니다. 2023년 12월 이내 구축을 진행할 예정이며, MLOps의 아키텍처는 아래그림과 같습니다.

딜리버스 MLOps 아키텍처

AWS를 기반으로 구축을 진행할 예정이며, 머신러닝 관련된 인프라는 Sagemaker를 활용할 예정입니다. 자세한 내용은 앞으로 작성할 2장에서 확인하실 수 있습니다.

목표

딜리버스가 MLOps를 도입하는 목표는 다음과 같습니다.

• 머신러닝 기반으로 지역 클러스터링 작업 10분 이내 완료
• 기존 네비게이션들에서 쓰는 노드링크(오픈스트리트맵 경로 등) 기반 및 그래프 기반의 계산에서 머신러닝으로 라스트마일 특화된 클러스터링 알고리즘 개발
• 배송 완료 예측 시간 오차범위 10분 이내

긴글을 읽어주셔서 감사합니다. 딜리버스 MLOps는 2023.12월에 구축될 예정이며, 관련 글은 프로젝트가 진행되는대로 정리해서 올리겠습니다.