تاریخ ساخت و بنیان‌گذار اولیه باغ ارم شیراز، به‌درستی مشخص نیست؛ ولی توصیف‌هایی از آن در سفرنامه‌های متعلق به قرن دهم و یازدهم هجری آمده‌است. این باغ در روزگار سلجوقیان و آل اینجو پابرجا بوده‌است. در زمان زندیه هم کریم‌خان زند در سازندگی و بهسازی این باغ کوشید. در زمان قاجاریه این باغ به مدت ۷۵ سال مقر سران ایل قشقایی بود. در این زمان عمارتی در این باغ ساخته شد. اما در زمان سلطنت ناصر الدین شاه قاجار عمارتی دیگر توسط حسین علی خان نصیر الملک پی ریزی شد که با مرگ وی خواهر زاده او ابولقاسم خان نصیر الملک امور باغ ارم را به دست گرفت و عمارت نیمه کاره را تکمیل کرد. این باغ از املاک خاندان قوامی شیراز بود. این عمارت تاکنون پابرجاست. این باغ تنوع گیاهی بسیار بالایی دارد و گیاهان بسیاری از اقصا نقاط جهان در این باغ کاشته شده است؛ به شکلی که باغ در قالب یک نمایشگاه از انواع گل‌ها و گیاهان درآمده‌است. در حال حاضر این باغ در اختیار دانشگاه شیراز است؛ باغ گیاه‌شناسی آن در اختیار دانشکده کشاورزی و ساختمان باغ در اختیار دانشکده حقوق قرار دارد. در تاریخ ۶ تیرماه ۱۳۹۰ در سی‌وپنجمین اجلاس کمیتهٔ میراث جهانی یونسکو باغ ارم شیراز به همراه هشت باغ دیگر ایرانی در فهرست میراث جهانی ثبت گردید.
عمارت وسط، هسته مرکزی این باغ محسوب می‌شود. این ساختمان در زمان قاجاریه و باتقلید از سبک معماری زندیه ساخته شده‌است. این عمارت از نظر معماری، نقاشی، کاشی کاری و گچ بری از شاهکارهای معماری زمان قاجار است. این عمارت، از سه طبقه، با تزئینات فراوان تشکیل شده‌است. اتاق‌های طبقه زیرین که تقریباً زیرزمین هستند، محلی است برای استراحت در روزهای گرم تابستان. تزئینات این اتاق‌ها، کاشی‌کاری‌های رنگین است. دو طبقه بالایی دارای ستون‌هایی است که از تخت جمشیدالهام گرفته شده‌اند.
در پیشانی بنا، دو نیم‌دایره در دو طرف، و یک تابلو بزرگ در وسط قرار گرفته که از ۳ هلال روی هم تشکیل شده‌است. این تابلو، تصاویری از شاهنامهٔ فردوسی و نبرد شاهان قاجار را نشان می‌دهد.
این بنا بیش از هفتاد سال به خوانین قشقایی تعلق داشته که در دوران پهلوی مصادره شده‌است.
