進公司前主管已知道我的主要語系，仍用跟我難溝通勸退？

我有幾次的工作經驗，在去公司前就有跟主管提過「中文」非我主要語系，但後來主管仍以較難溝通勸退我。

後來又詢問其他同事，真的跟我會不能溝通嗎？
對方也回我只是在來回上要多花些時間詢問和了解。

覺得自己好像被針對了，還是我去找一個不需要說話的工作呢？
現在這各工作我還要努力嗎？還是放棄算了？