مهم‌ترین قلعهٔ کوهستانى شهر یزد، قلعهٔ رفیع، محکم و با عظمت شواز است. این قلعهٔ مسکونى با مساحت پنج هزار متر مربع، در ارتفاع صد متری، بر فراز صخره‌هاى سنگى از نوع سنگ‌هاى سفت رسوبى بنا شده و در اطراف آن پرتگاه‌ها و خاکریزهایى با شیب تند وجود دارد. دیوارهاى اصلى بنا از بیرون سنگ و از داخل، خشت خام و درگاه ورودى آن از آجر است. قلعه در طرف شرق گاوپهلوى مرتفعى دارد که از آجر بنا شده و از آن براى کشیدن آب استفاده مى‌کردند. از زیبایى‌هاى دیگر این قلعه، درِ سنگى آن است. علاوه بر این، در داخل قلعه چند مغازه در دل سنگ کنده‌اند که شباهت بسیار به مغازه‌هاى میمند کرمان و لاریجان مازندران دارد.