前老闆邀請我回去吃尾牙，該答應嗎？

十月份時我離開了前公司，目前在新公司任職中。
上禮拜前老闆line我問我要不要回去前公司吃尾牙，但我還沒給前老闆明確答覆。

我在前公司待了三年多，前公司不是大公司，所以同事間感情還不錯，而我當初會離職的原因跟人也沒有關係，純粹是我個人的生涯規劃，所以與前東家是和平分手的。

雖然當初是和平離職，但內心覺得出席前公司的公開活動(尾牙)好像哪裡怪怪的？前公司的同事們聽到消息也很積極地邀請我回去聚一聚，剛離職不久的我確實也有點懷念某些同事，但想到到時吃飯一定又會被問一堆新公司的事情，頓時又覺得有點煩。

詢問朋友後，有些人是說反正我現在也沒在那間公司上班，委婉拒絕就好，但直接拒絕會不會太不留情面？如果被現在的公司發現我回去吃前東家的尾牙會讓人覺得奇怪嗎？不知道各位前輩有沒有類似經驗？大家碰到這種事情會怎麼處理呢？謝謝。