主管認為我不積極參與公司活動，對公司很沒向心力

我在現職公司工作滿兩年了，昨天下班前收到主管給的今年考評，大意是認為我在工作上的表現中規中矩，沒什麼大過錯但也沒好到足以晉升位階；除此之外，主管也特別提及希望我明年能更注重職場人際這一塊，希望我可以更積極參與公司活動，多與其他部門同事互動，對公司更有向心力。

我們公司算是很愛強調各部門感情很好的那種公司，不僅在中秋節、聖誕節這種節日很愛安排各式各樣的team building之外，就連平常也很愛安排烤肉或是聚餐活動，平均一個月部門聚餐至少三次跑不掉。因為我本身個性偏向上班的時候把事情做好，與其他同事維持禮貌關係即可，不是很注重人際經營的那種，所以當部門有聚餐安排時，我通常都以自己的事情為主，都會告知主管因為我已有其他安排所以無法參與，久而久之也就越來越邊緣，不隸屬於任何小團體。

看到主管的評語我其實有點難過，覺得自己明明很認真上班，只是因為不常參加部門活動就被認為對公司沒有心，實在有點委屈。
想請問大家難道不符合公司文化真的只有離職一途可解了嗎？想請教各位前輩的意見，謝謝。