A Deep Q-learning Approach for Bin Relocation in Robotic Compact Storage and Retrieval Systems

Abstract

Robotische kompakte Lager- und Kommissioniersysteme (RCS/RS) ermöglichen eine hochgradig platzsparende Lagerung, indem Behälter dicht gestapelt und von Robotern über ein gitterbasiertes System entnommen werden. Während bestehende Steuerungsstrategien feste Regeln zur Lagerung und Umlagerung blockierender Behälter vorgeben, fehlen in der Literatur bislang lernbasierte Ansätze. Diese Arbeit schließt diese Lücke, indem Deep Reinforcement Learning eingesetzt wird, um die Behälterentnahme und -umlagerung im Hinblick auf die Spielzeit zu optimieren. Ein Deep-Q-Learning-Agent, trainiert mit Double-DQN und Prioritized Experience Replay in einer simulierten RCS/RS-Umgebung, wird in unterschiedlichen Szenarien evaluiert. Die Ergebnisse zeigen Leistungssteigerungen von bis zu 36,98 % gegenüber bestehenden Steuerungsstrategien. Damit verdeutlichen die Erkenntnisse das Potenzial von Reinforcement Learning für Umlagerungsentscheidungen und deuten auf eine vielversprechende Übertragbarkeit in reale Systeme hin.