من خدمة السلطان، وقاعداً بنفسه عن مرتبة نظرائه من الأعيان، بين عفة تزهده، وهيبة من المعتضد تقعده، وذكر أن ابن زيدون نبه عليه للمعتضد آخر دولته، فتصرف فيها قليلاً إلى أن أفضى الأمر إلى المعتمد فأنهضه إلى مثنى الوزارة، وأكثر ما عول عليه في السفارة، فسفر غير ما مرة بينه وبين ملوك الطوائف بالأندلس حتى انصرفت وجوه آمالهم إلى يوسف بن تاشفين أول ظهور اللمتونيين، فسفر بينهما مراراً فكثر صوابه، واشتهر في ذات الله مجيئه وذهابه، واضطر المعتمد إليه قريباً في آخر دولته، فعظمت حاله، واتسع مجاله، واستولى على دولته استيلاءً قصر عنه أشكاله، إلى أن كان من خلعه ما كان، وذلك في رجب سنة أربع وثمانين وأربع مائة، فكان أبو بكر أحد من حرب، وفي جملة من نكب، وأقام على تلك الحال نحواً من ثلاثة أحوال، حتى تذكر ابن تاشفين ما كان من حسن خليقته، وسداد طريقته؛ ويقال إن سبب ذلك الذكر كتاب ورد عليه من صاحب مصر لم يكن بد منه في الجواب عنه، فاستدعاه من حينه، وولاه كتب دواوينه، ورفع شأنه وأعلاه، وولي بعده ابنه علي بن يوسف فأقره على ما كان يتولاه.