不確定自己是否該離職或是繼續學習？

我今年21歲，目前在一間小公司上班快半年，擔任行政倉管人員，工作內容主要幫業務處理事情和整理庫存等等...其實雜事還蠻多的。
以前的我都是一直在打工當時薪工讀生，現在這份工作就比較正式在職場工作的感覺，那我目前遇到的問題是，來到這邊工作後我發現自己很粗心，工作快半年還是會被主管和老闆說做事要多注意以及敏銳度要出來，我自己也知道這不是一件好事，也一直時刻提醒自己，但卻還是不夠完美，總有小事被漏掉，現在工作上有時變得比較沒自信，很怕自己出錯，然後也感覺主管對我做事比較不放心，有時有問題會先懷疑我，我也知道這是自己造成的。
還有一個問題是公司有一位業務是老闆的兒子，他個性比較急躁，他幾乎都找我處理他的事情，不太能避免，有時他問事情口氣比較差，以前我還是新手的時候有弄錯過他的東西，就有被罵，後來就很小心，但因為他口氣有時比較差後來就有點不敢接他電話，有時他連下班還會打來問一些不急的事，有時候聽到line的鈴聲都覺得壓力很大，或許我真的經驗不足太菜了，才會有這些想法。
公司有蠻多事我也不知道該怎麼形容，也不知道自己該不該離職或是繼續待下去，因為我不想隨便換工作，希望大家能給我一些建議，感謝。