فقال للمعلم: علمي القاسم فإنها كيسة.
ثم إن أبا عبيد طلب العلم، وسمع الحديث، ودرس الأدب، ونظر في الفقه.
وأخذ الأدب عن أبي زيد الأنصاري وعن أبي عبيدة معمر بن المثنى والأصمعي واليزيدي وغيرهم من البصريين. وأخذ عن ابن الأعرابي وأبي زياد الكلابي ويحيى الأموي وأبي عمرو الشيباني والكسائي والفراء.
وروى الناس من كتبه المصنفة نيفاً وعشرين كتاباً في القرآن والفقه. وبلغنا أنه كان إذا ألف كتاباً أهداه إلى عبد الله بن طاهر؛ فيحمل إليه مالاً خطيراً استحساناً لذلك. وكتبه مستحسنة مطلوبة في كل بلد، والرواة عنه مشهورون.
وكان أبو عبيد ديناً ورعاً جواداً. قال أبو علي النحوي: حدثنا الفسطاطي، قال: كان أبو عبيد مع ابن طاهر، فوجه إليه أبو دلف يستهديه أبا عبيد مدة شهرين، فأنفذ أبا عبيد إليه، فأقام عنده شهرين فلما أراد الانصراف وصله أبو دلف بثلاثين ألف درهم فلم يقبلها، وقال: أنا في جنبة رجل ما يحوجني إلى صلة غيره، ولا أخذ ما فيه علي نقص، فلما عاد إلى ابن طاهر وصله بثلاثين ألف دينار بدل ما وصله أبو دلف؛ فقال: أيها الأمير، إني قد قبلتها، ولكن قد أغنيتني بمعروفك وبرك وكفايتك عنها، وقد رأيت أن أشتري بها سلاحاً وخيلاً،