主管很愛約大家假日聚餐，可以拒絕嗎？

詢問如題。
前陣子換了一份新工作，是公司的業務單位，工作內容與福利都滿意，但唯獨主管的問題讓我有點頭痛。
主管是一個熱情的人，喜歡熱鬧，非常喜歡吆喝大家一起吃飯唱歌，說大家要常聚會才能增進同事情誼。

如果是跟客戶吃飯還比較可以理解，但主管好像是一個不甘寂寞的人，他總是說因為他妻小都在國外，他回家很無聊。所以常常禮拜五快要到下班時間，主管就會對大家說他已經訂好xx餐廳了，要大家一起吃個飯；雖然他嘴上說大家有事的可以不用到沒關係，但就我觀察組內至少8成的人都會到場。
再來是有時候假日加班，下班後他還要約大家一起逛街，一輪下來都已經晚上了，常常這樣下來我珍貴的假日就沒了。

我們同組有8個同事，目前大家算是很有默契的輪流陪主管吃飯逛街。但說實在話，我有點受不了主管不斷約大家吃飯的行為。
我是傾向希望公私分明的人，長期這樣下來真的覺得很煩也很佔時間，等於我的假日只剩下星期日可以使用。

其實有試著拒絕過幾次，但我目前單身，也不像有家庭的同事有比較合理的理由，再來是我也很俗辣，怕自己拒絕就會邊緣掉了，加上年終分紅考核也是握在主管手上，總不好一直拒絕主管邀約，真的覺得很兩難。
想請問各位前輩若是遇到這種情況，真的只能等到我受不了離職嗎？或是有什麼比較好的方式應對呢？謝謝！