کاروانسرای عباسی واقع در مرکز شهر سمنان در اختیار سازمان زندانها بود و تا چند ماه پیش به عنوان زندان سمنان استفاده میشد.
با انتقال زندان به خارج از سمنان و با دستور رئیس قوه قضائیه، این بنا در اختیار شهرداری قرار گرفت تا به مکانی فرهنگی برای بهره مندی مردم سمنان تبدیل شود.