沒有PM的角色，案子轉出後該由誰負責追蹤?

主管要我協助某個案子，當我完成我的部分之後，某次開會時直屬主管說接下來要交給A部門協助處理，並要我追蹤後續，當時我詢問主管此案子是否由我們部門主導?直屬主管回答轉出去之後就不是了。我當時也表達這樣的話由我去追縱不恰當。
後來我和直屬主管一起去找A部門的A同事，告知A同事目前的狀況，請A同事協助處理後續的事項。
由於公司的架構不健全，沒有PM的角色，即便我在會議上已說由我去追縱並不恰當，但是直屬主管還是要我去和A同事追進度。
1.A同事的職級比我高，我不認為我有權限去要求A同事進度，
2.這是跨部門，我的想法是這應該是由A同事的主管負責，或是由我的直屬主管去提醒。
3.當初會議上已說這案子轉出後就不是由我們部門主導，後續還要我去追進度，我覺得不合理。
這件事給我的感覺是直屬主管不想擔負責任又想攬功。
以上不知道我的想法是否有錯誤?以及我該如何處理?
先謝謝各位給予建議指導。