不想跟很雷的同事一組，該怎麼反映會比較好？

大家若不想跟很雷的同事一組，通常會直接跟主管反應嗎？

事情是這樣子的，這位很雷的同事雖然跟我同一組，但基本上我們平常的業務不太有交集，只有在一些比較大的案子要做前置作業時，才有機會一起合作。
最近主管要求大家合作寫一份大報告，指名我跟另外一個組內同事各自負責一部分，其他組員由我們自己決定即可。

結果主管才剛講完，雷包同事就巴著我的手對我說：「不要丟下我喔，我要跟你一組」。我當下很尷尬沒正面回應，只委婉地跟他說你可以跟另一位同事一組阿，他經驗很豐富，而且他負責的那部分你應該比較擅長。
總之不知道為什麼，每次遇到這種大報告時，雷包同事就很積極要跟我一組，但我真的不想，這種報告已經很繁瑣了還要cover他的工作真的會很累！

之前跟這位同事的合作經驗是，開會時他總是沒拿出任何資料或想法，隨便丟出一個看就知道沒想過的主題，且實際執行時，產出東西的質量也很差，被雷到很不爽。
以主管的個性他是不會去管這些同事分組的事情的，東西有交出來就好；看目前的情況，另一位同事也沒有要接納他的意思，因為大家都知道他過去紀錄不佳。現在想順其自然跟他說組員已滿，但就怕到時候雷包同事直接去跟主管哭說要跟我一組。

有跟一些朋友討論過這個問題，有朋友是建議我不要直接反應，因為要是表達不清楚就變成我在排擠同事了。不知道大家如果遇到這種狀況會怎麼應對呢？真的只能吞下了嗎？謝謝。