باغ ارم شیراز به طور مسلم از دوره سلجوقیان و در تمام دوره آل اینجو و آل مظفر و گوركانیان وجود داشته و با توجه به اینكه سیستم فئودالی به طور كامل بر جامعه آن دوره حاكم بوده  بدون تردید بانیان و صاحبان باغ ارم كه باغی ارزشمند بوده، در آن زمان حكام وقت بوده‌اند. ‌احتمال می‌رود اتابك قراچه كه از طرف سنجر سلجوقی به حكومت فارس منصوب بوده  دستور احداث این باغ را داده باشد. بعد از وی تا جلوس شاه شیخ ابواسحاق اینجو كه احتمالاً باغ ارم را در تصدی داشت، اطلاعی از نحوه مالكیت این باغ در دست نیست. شاه شیخ ابواسحاق اینجو در سال ۷۴۲ ه.ق  جلوس نموده و در سال ۷۵۷ ه.ق كشته شد. پس از انقراض سلسله آل اینجو به وسیله آل مظفر، احتمالاً باغ ارم به مالكیت سلاطین آل مظفر در آمده  و در عهد شاه منصور آخرین پادشاه این خاندان كه به دست گوركانیان كشته شد، باغ در نهایت آبادانی و شكوه بوده است. از عصر صفویه به بعد،  باغ ارم در نوشته‌های جهانگردان، آباد و باشكوه توصیف شده است. در عهد كریم خان زند احتمالاً باغ ارم در مالكیت سران سلسله زندیه بوده و مانند سایر ابنیه و باغ های شیراز مرمت گردیده است. از اواخر دوره زندیه تقریباً بیش از هفتاد و پنج سال باغ ارم در تصاحب سران ایل قشقایی بود. خاندان جانی خان قشقایی كه از دوره فتحعلی شاه قاجار با سمت ایلخانی و ایل بیگی بر ایل قشقایی فرمانروایی می‌كردند، مدت مدیدی این باغ را در اختیار داشته و از آنجا به عنوان مقر فرمانفرمایی خود در شهر شیراز استفاده می‌كرده‌اند. نخستین ایلخان این خاندان یعنی جانی خان و پسرش محمد قلی خان عمارتی باشكوه در این باغ بنا نهادند. در اوایل دوره قاجاریه بعضی از سران ایل قشقایی كه مالكین سابق باغ ارم بوده‌اند در گوشه‌ای از این باغ به خاك سپرده شده‌اند كه در حال حاضر نشانی از این قبور در دست نیست. ساختمان عمارت این باغ در دوره ناصرالدین شاه قاجار هنوز مرغوب و قابل توجه بوده است. در دوره سلطنت ناصرالدین شاه، حاج نصیرالملك شیرازی باغ را از خاندان ایلخانی خریداری نموده و ساختمان فعلی موجود در باغ را به جای عمارت ایلخانی بنا نمود ولی احتمالاً اساس ساختمان قبلی را حفظ كرده است. پس از درگذشت حاج نصیرالملك در سال ۱۳۱۱ ه.ق تزئینات بنا و بعضی قسمت های ناتمام به وسیله ابوالقاسم خان نصیرالملك، مالك این باغ اتمام یافته است. در آن زمان توصیفی توسط فرصت‌الدوله شیرازی راجع به این باغ داده شده كه به شرح زیر می‌باشد: “… بستانی است بی مثال و گلشنی است بهشت تمثال …، سروهایش سر به افلاك كشیده، عماراتی دارد شاهانه مشتمل بر تالاری كه به واسطه دو ستون قوی پیكر برپاست و ارسی‌ها، گوشواره‌ها و اتاق ها و رواق های دیگر را از فوقانی و تحتانی داراست. آبشارهای متعدده از هر جانب آن روان است و سبزه‌های اطراف جویش چون خط بر گرد عارض نوش لبان. بنای اول آن را محمد قلی خان ایلخانی نهاده  سپس مرحوم حاجی نصیرالملك خریده و حكم به بنیاد عمارات مذكور داده. حاجی محمد حسن معمار… آن بنا را برآورده باغی دیگر برآن افزوده‌اند. آن نیز هوایش معطر است…، خلوتی دیگر دارد كه نارنجستانش نام نهاده‌اند. باربند و كوشكی هم برای آن قرار داده‌اند.”

دونالد ویلبر درباره باغ ارم شیراز چنین نگاشته است: “… برای مدت لااقل ۷۵ سال این عمارت در تصاحب خان‌ها و یا سران قبیله قشقایی بود. همین ساختمان هسته مركزی باغ به شمار می‌رود. در این موقع دیواری در وسط باغ احداث كردند و بدین ترتیب باغ به دو قسمت تقسیم گردید. باغ ارم محبوبیت فراوان خود را مدیون درختان مركبات و خیابان طویلی است كه در دو طرف آن سروهای باشكوه غرس گردیده و ساختمان جالب توجهی كه شاهد مهمان ‌نوازی بی دریغ ایل قشقایی بوده است. هرچند سال یك بار مقداری از درختان مركبات بر اثر سرمای سخت از بین می‌روند درحالی كه سروها در عرض پنجاه سال اخیر همچنان جذابیت خود را حفظ كرده‌اند … .” در تهیه طرح باغ، محور طولانی آن مشخص گردیده است. امروز كوشك اصلی، هسته مركزی این باغ  و جالب‌توجه ‌ترین جنبه آن را تشكیل می‌دهد. اطاق های طبقه زیرین تقریباً زیرزمین است و تالار مركزی آن را برای استراحت در روزهای گرم تابستان در نظر گرفته‌اند. نهر آب مستقیماً از این تالار می ‌گذرد و در سر راه خود قبل از اینكه به حوض بزرگی فرو ریزد استخر را پر می‌كند. دیوارها و كف این تالار از كاشی‌های رنگین پوشیده شده است. پلكانی این طبقه را به طبقه بالاتر و به راهروهایی كه به تالار بزرگ منتهی می‌گردد متصل می‌سازد. منظره جنوبی آن همان ادامه محور اصلی است و از طرف شمال چشم انداز آن را تپه‌هایی تشكیل می‌دهد كه در حاشیه رودخانه قرار گرفته است. در این محل نیز مانند بسیاری دیگر از ساختمان های شیراز كاشی های براق و سنگ های تراش میراث قدیم را از نو رواج می‌دهد. این قسمت سه گوش (سنتوری) منظره‌ای را متعلق به دوره ساسانیان كه با كاشی های رنگی زینت ‌شده نشان می ‌دهد درحالی كه در طبقه‌ای كه هم‌سطح زمین ساخته شده تخته سنگ های آهكی نسخه‌های تحریف شده‌ای است از نقوش برجسته دوره هخامنشیان كه در تخت جمشید دیده می‌شود. در سراسر این ناحیه وسیع بوته گل سرخ كمتر دیده می‌شود و به جای آن در گلخانه كه داخل آن را با چوب به طرز پلكانی ترتیب داده‌اند انواع گلها را در گلدان نگاهداری می‌كنند تا آنها را در نقاط اصلی در داخل كوشك و خارج آن قرار دهند.” باغ ارم پس از فوت ابوالقاسم خان نصیرالملك به فرزندش رسید و پس از چندی به یكی از سران ایل قشقایی فروخته شد. سپس به تصرف دولت درآمد و به دانشگاه شیراز واگذار شد.  دانشگاه شیراز مدتها به عنوان كاخ پذیرایی از آنجا استفاده می ‌نمود. در سال های ۱۳۵۰_۱۳۴۵ه.ش این باغ  با اعتبار واگذاری از طرف سازمان برنامه و بودجه و زیر نظر مسئولین وقت دانشگاه، تعمیر اساسی شده و زمین وسیعی نیز در حاشیه بلوار ارم و بلوار آسیاب سه‌ تایی به آن افزوده شده است. امروزه باغ ارم همچنان در اختیار دانشگاه شیراز می‌باشد و در حقیقت به تمام مردم تعلق دارد.