沒加班費的工作該換嗎?

44歲女生，剛到一家公司任職採購助理一個多月，公司人數在50-100人，傳統產業，我目前是有加班費，而且可以準時下班。但我們部門裡的人都狂加班常8-9點才回家，而且沒有加班費。教我的人說我最好準時回去，因為老闆覺得我的工作不需要加班，而且如果我留在那裡太晚，老闆可能會覺得他們給我太多事情做，反而造成前輩的困擾。
（好像是做久一點的人都沒有加班費，有的不是主管，薪水也在4萬以下，前輩說以前有加班費，現在沒有）。我們公司的狀況是作業員都有加班費，但辦公室不是每個人都有，很怪。
看到他們這樣，我很怕我之後會變的和他們一樣。所以想再找工作。但我發現很多公司好像都找人找的很急，需要你馬上上班，在職身份好像比較難找工作。很多人都跟我說邊做邊找，但我又擔心45歲以後更難找，而且我剛去也不方便一直請假。
這周二個面試機會，就因為在職身份沒有了面試機會。一家本來約我去面試，我才問了能不能晚上去面試，就馬上被發了遺珠函，一家不能晚上面試。讓我覺得心情很低落。我真的有點懷疑是不是有很多公司不能下班後面試，我找的都是行政助理或業務助理的工作。面試機會是還算多。
經濟是還不成問題，也有些許被動收入。我也沒有想要高薪，但至少要符合勞基法。
想請問各位大大的建議。感謝各位專家前輩。