규격 교체를 고려하여 로트의 크기와 순서를 결정하는 문제는 잘 알려진 NP-난해 문제이다. 수학적 모델링은 간단하고 직관적이지만, 규격과 설비의 수가 늘어남에 따라 요구되는 연산시간이 기하급수적으로 증가한다. 따라서 동적인 환경에서 공정의 처리 가능 용량을 산출하고, 계획을 확정하는데 많은 어려움이 있다. 이를 해결하기 위해 강화학습을 이용한 알고리즘을 제안한다. 마코프 의사결정 프로세스를 이용하여 문제를 모델링한다. 특히 여러 병렬설비를 고려해야 하는 경우 점진적인 마코프 의사결정 프로세스를 제안하고 모델링하고 있다. 모델링된 문제의 해를 구하기 위해 깊은 신경망을 사용하였으며, 정확도를 향상시키기 위하여 근사 동적계획법과 앙상블 기법을 활용한다. 본 연구는 실험을 통해 동적인 환경에서도 로트의 크기와 순서를 결정하는 문제의 해를 빠르고 정확하게 구할 수 있음을 증명하고자 한다. 또한 실제 타이어 공장의 데이터를 활용하여 실험을 진행함으로써 실용적으로 산업계에 적용할 수 있음을 증명할 예정이다.
Lot sizing and scheduling considering setup carryover and backorders for a parallel-machine workstation
I propose a scheduling method for the discrete lot-sizing problem(DLSP) of multiple products on identical parallel machines. DLSP is well-known NP-hard problem. Mathematical modeling of DLSP is simple and intuitive but the time period and the number of machine should be set sufficiently small to obtain an exact solution to the DLSP. I propose a framework for solving the DLSP using reinforcement learning. I formalize the scheduling process as a sequential decision-making problem with the Markov Decision Process(MDP). I suggest an incremental MDP in the case of parallel machine problem. In solving the formalized problem, we propose the structure of a deep neural network for reinforcement learning. Additionally, we adopt an ensemble to guarantee stability and approximated dynamic programming to get an accurate solution. Numerical experiments show that the proposed method performs well compared with integer programming model and other heuristic models. Experiments are carried out based on the data of tire factory. So I expect the proposed method can be applied on the real world.
