Пошто је дошао у сукоб са половином свештеника у епархији милешевској, владика Атанасије Ракита сваког човека који ради у интересу цркви, сматра својим непријатељима. Тако поједине чланове Епархијског управног одбора сматра својим непријатељима, а само због тога што ти честити и добри људи нису дали сагласност да се прода црквено земљиште тзв. "Калуђерско поље" у Прибоју.

Много верујући народ епархије милешевске, а и шире, чуо је за физички напада Атанасије Ракита на владику Филарета. Тај догађај се десио у манастиру Дубница код Нове Вароши, када је Атанасије Ракита у алкохолисаном стању напао и почео да чупа владику Филарета за браду. Доста медија је пренело ову вест, а и сам др Војислав Шешељ је у јутарњем програму код Марића на телевизији "Хепи" причао о томе.