وكان رافع غلاماً لسعيد بن العاص فورثه ولده، فأعتق بعضهم في الإسلام وتمسك بعضٌ، فجاء رافع إلى النبي صَلَّى اللهُ عَلَيْهِ وَسَلَّمَ يستعين به على من لم يعتق حتى يعتقه. فكلمه يومئذ فيه فوهبه له فأعتقه رسول الله صَلَّى اللهُ عَلَيْهِ وَسَلَّمَ. فكان يقول: أنا مولى رسول الله صَلَّى اللهُ عَلَيْهِ وَسَلَّمَ. وهو رافع أبو البهي. قال أبو بكر بن أبي خثيمة قال: وأبو رافع ابنه البهي بن أبي رافع، وكان يقال للبهي: رافع. وكان أبو رافع لأبي أحيحة سعيد بن العاص الأكبر، فورثه بنوه. وأعتق ثلاثة منهم أنصباءهم، وقتلوا يوم بدر جميعاً. وشهد أبو رافع معهم بدراً، ثم اشترى أبو رافع أنصباء بقية بني سعيد إلا نصيب خالد بن سعيد فوهب خالد نصيبه لرسول الله صَلَّى اللهُ عَلَيْهِ وَسَلَّمَ فأعتقه رسول الله صَلَّى اللهُ عَلَيْهِ وَسَلَّمَ. فكان أبو رافع يقول: أنا مولى رسول الله صَلَّى اللهُ عَلَيْهِ وَسَلَّمَ. ويقوله ابنه البهي رافع بن أبي رافع من بعده. فلما ولي عمرو بن العاص سعيد المدينة دعا البهي فقال له: من مولاك؟ قال: رسول الله صَلَّى اللهُ عَلَيْهِ وَسَلَّمَ فضربه مئة سوط ثم سأله، قال: مولاي رسول الله صَلَّى اللهُ عَلَيْهِ وَسَلَّمَ فضربه مئة سوط، حتى ضربه خمس مئة سوط ثم قال: أنا مولاكم. فلما قتل عبد الملك عمرو بن سعيد قال رافع بن أبي رافع: الطويل
صحت ولا شلت وضرت عدوها ... يمين ٌهراقت مهجة ابن سعيد
هو ابن أبي العاصي مراراً وينتمي ... إلى أسرة طابت له وجدود
وكان عثمان بن عبيد الله بن أبي رافع بن أخي البهي شيخاً مسناً قد سبق اللحن وقد رويت عنه أيضاً.