換工作不久被資深同事到處謠言攻擊

(抱怨文長，望各位老師前輩見諒🙏)
因上一份工作體力負荷不了加上本該休假的時間被強迫加班，所以去年年中離職改至工廠當作業員。
會來目前這間公司主要是因為不強制加班，工作也算好上手，同事主管各個親切好相處。當然新人剛進來一定會被同事問一些問題，像是為什麼不加班呀、有沒有結婚等等，一開始我會乖乖回答但沒有解釋很多，如不加班是要上課進修、沒結婚是沒興趣～
通常得到答案大家是不會再多問，我也不是很喜歡別人探究私事，但就有一名資深同事問了之後隔天又問，我耐心的回答，他又繼續問，時常問說為什麼不結婚？沒興趣？為什麼沒興趣？討厭男人？妳是gay嗎？啊妳一定要找男人@#%$&… 就這樣連問3個月，每天的招呼語就是「妳有找男人嗎？」讓我感到不舒服。
後來某一天受不了直接當場兇回去，他也在糾纏幾天發現我沒理他就不再煩(偶爾我還是有跟他打招呼)，但不知道是不是我的態度讓他覺得身為資深員工沒有受到尊重，開始到處說我壞話，甚至某天故意在我座位附近跟另一名同事大聲抱怨(語氣充滿怨念不屑)，不過大家幾乎當耳邊風，連主管也對他說不要管別人家務事，他還是憤憤不平。
雖然在職場上這事很常見，我也習慣了，但老實講每天見到那名同事心情都會受影響，加上他常講自己跟老闆娘是親戚關係什麼的(確實他資深跟老闆相處很久)，若他真的把事情鬧到高層去，我除了離職還有什麼方法可以因應？(我是覺得老闆他們也不想管😂)