Kentin merkezi bir noktasında, Belen Camii'nin hemen yakınındadır. Abdülaziz Ağa tarafından Ağa Camisi'nin yakınında 1737-1738 yıllarında yapılan medreseye vakfiye olarak 1719-1920 tarihleri arasında inşa ettirilmiştir. Geçmişte özel mülkiyete ait olan ve büyük ölçüde yıkılmış durumda kalan Çöllüoğlu Hanı, Milas Belediyesi tarafından restore edilmiştir. Kuzeyde ve güneyde olmak üzere iki girişi vardır. Güneydeki giriş tam bir eksende yer alırken, kuzeydeki sağ köşededir. Bugünkü otellerle benzer bir işlevi olan han, genel olarak taş döşeli bir avlu etrafında yer alan çift katlı odalardan oluşur. Alt kat binek hayvanları için, üst kat ise insanların konaklaması için tasarlanmıştır. Üst kat odalarının hepsinde ocak ve eşyaların konulması için duvarın içine açılmış dörtgen nişler bulunur. Üst kat odaları, önlük şeklinde düzenlenmiş ahşap direkli sundurmalarla açılır. Sundurma, alttan ayak ve devşirme sütunlarla desteklenir. Kapıların ve çift çanaklı pencerelerin üst tarafları sağır sivri kemerlidir. Alt kat pencereleri soğuk ve güvenlik nedeniyle küçük tutulmuşken, kapılar hayvanların rahat giriş çıkış yapabilmeleri için yüksek yapılmıştır. Kuzeydoğu cephenin dış tarafında, girişleri kötü bir şekilde değiştirilmiş esnaf dükkanları bulunmaktadır. Yapı malzemesi olarak taş ve bazıları süslemeli antik devşirme mimari blokları kullanılmıştır. Kırma çatısı alaturka (oluklu) kiremitlerle kaplıdır.

2010 yılında Milas Belediyesi ve Muğla Valiliği işbirliğiyle gerçekleştirilen Çöllüoğlu Hanı Restorasyon Projesi, tamamlanarak hizmete açıldı. Milas'ın tarihini özetleyen önemli bir yapı olan Çöllüoğlu Hanı'nın restorasyon işi, Milas Belediyesi tarafından 11 Şubat 2010 tarihinde ihale edildi. Yasal süreçler tamamlandıktan sonra, 5 Nisan 2010'da yüklenici firmaya yer teslimi yapılarak Çöllüoğlu Hanı'nın restorasyon çalışmalarına başlandı. İşin teslim edilmesinin ardından, işi üstlenen firma tarafından şantiye kurularak gerekli çalışmalar gerçekleştirildi. 

Çöllüoğlu Hanı, 1719 yılında Abdullah Efendi'nin oğlu Hacı Abdülaziz Ağa tarafından yaptırılmış olup ismini bu mekanı satın alan Tavaslı Hacı Mehmet Çöllüoğlu'ndan almaktadır. 1050 m2'lik bir alanı kaplayan Çöllüoğlu Hanı, tarihi boyunca Milas ilçesinin dini, ticari ve idari merkezi olarak hizmet vermiştir.