این مسجد ابتدا در زمان سلسله تانگ ساخته و در زمان سلسله مینگ زمانی که مؤلفه های معماری چینی با معماری این مسجد ترکیب شد مورد بازسازی قرار گرفت. این مسجد برخلاف مساجد سنتی اسلامی به جز یک حکاکی عربی آن، بیشتر به یک معبد قرن پانزدهمی بودایی شباهت دارد.
این مسجد در قرن چهاردهم در بیست و پنجمین سال حکومت سلسله مینگ ساخته شد. از قرن چهاردهم تا کنون این مسجد چندین بار بازسازی شده است. قسمت اعظم ساختمانی که امروز وجود دارد از زمان سلسله مینگ و کوئینگ از قرن هفدهم و هجدهم باقی مانده است.
این مسجد روی زمینی به ابعاد 48 در 248 متر ساخته شده و محدوده دیوارهای آن فضای 12 هزار متر مربعی را احاطه کرده است. برخلاف بسیاری از مساجد چین این مسجد نمایی شبیه یک معبد چینی دارد: حیاطهای تو در تو در یک محور طولی با عمارت معبد مانند آن که برای کاربرد اسلامی تطابق یافته است.
برخلاف یک معبد بودایی محور بزرگ مسجد جامع شیان از شرق به سمت غرب رو به مکه ساخته شده است. پنج حیاط تو در توی آن هریک دارای یک عمارت درگاه است که نمازگزاران را به شبستان اصلی در طرف غربی ساختمان اصلی هدایت می کند.
این مسجد به خاطر معماری و قدمتی که دارد به یکی از جاذبه های گردشگری چین تبدیل شده است.
حیاط اول این مسجد دربرگیرنده یک طاق چوبی 9 متری است که با کاشیکاریهای خیره کننده قرن هفدهمی پوشانده شده است.
در مرکز حیاط دوم یک طاق سنگی با دو ستون اطراف آن قرار دارد. در یکی از ستون های آن خوشنویسی از یک خطاط مشهور از سلسله دانگ قرار دارد و در ستون دیگر خطاطی از سلسله مینگ هنرنمای کرده است. این خطاطی ها به علت ویژگیهای بسیار قدرتمند خود به عنوان یکی از بزرگترین گنجینه های هنر خوشنویسی چین درنظر گرفته می شود.
در محوطه ورود و سومین حیاط سالنی قرار دارد که در آن ستونهای بسیاری از دوران باستان قرار گرفته است.
در چهارمین حیاط مجسمه یک ققنوس قرار داشته و عمارت اصلی مسجد که دربرگیرنده شبستان اصلی قرار دارد. این شبستان ظرفیت یک هزار نفری دارد.