ويقع المسجد غرب المسجد النبوي الشريف على بُعد نحو 200 متر، في الموضع الذي كان يُعرف قديمًا باسم “المُصلى”، إذ كان النبي، صلّى الله عليه وسلّم، يؤدي فيه صلاة العيد خارج المسجد النبوي.
وسُمِّي المسجد بالغمامة لما يُروى أن غمامة ظللت النبي، صلّى الله عليه وسلّم، حين صلى في ذلك الموضع، وقد بُني المسجد في عهد الخليفة عمر بن عبدالعزيز – رحمه الله – أثناء ولايته على المدينة المنورة، وأُعيد ترميمه وتطويره في مراحل لاحقة ليحافظ على طابعه التاريخي والمعماري الأصيل.
