وسمع الحروف من طائفة.
وقد سمع: إسماعيل بن عياش، وإسماعيل بن جعفر، وهشيم بن بشير، وشَرِيك بن عبد الله، وهو أكبر شيخ له، وعبد اللَّه بْن المبارك، وأبا بَكْر بْن عَيَّاش، وجرير بْن عَبْد الحميد، وسُفْيان بْن عُيَيْنة، وعبّاد بن عبّاد، وعباد ابن العوام، وخلقًا آخرهم موتًا هشام بن عمّار.
وعنه: عبد الله بن عبد الرحمن الدارمي، وأبو بكر بن أبي الدنيا، وعباس الدوري، والحارث بن أبي أُسَامة، وأحمد بن يوسف التَّغْلبيّ، وعَليُّ بن عبد العزيز البَغَويّ، وَمحمد بن يحيى بن سليمان المَرْوَزِيّ، وأحمد بن يحيى البلاذُريّ الكاتب، وآخرون.
قال عليّ البَغَويّ: ولد أبو عبيد بهراة، وكان أبوه عبدًا لبعض أهل هَراة.
وقال أبو بكر الخطيب: كان أبوه روميًّا، خرج يومًا أبو عُبَيْد مع ابن مولاه في الكُتّاب، فقال للمؤدّب: علّم القاسم فإنّها كيّسة.
وقال محمد بن سَعْد: كان أبو عُبَيْد مؤدِّبًا، صاحب نحوٍ وعربيّة، وطلبٍ للحديث والفقه. ولي قضاء طَرَسُوس أيّام ثابت بن نصر بن مالك. ولم يزل معه ومع ولده. وقدم بغداد، ففسّر بها غريب الحديث. وصنّف كُتُبًا، وحدَّث، وحجٌ فتُوُفّي بمكّة سنة أربعٍ وعشرين ومائتين.
وقال ابن يونس: قدِم مصر مع ابن مَعِين سنة ثلاثٍ عشرة، وكتب بمصر.
وقال إبراهيم بن أبي طالب: سألت أبا قدامة السرخسي، عن الشافعي، وأحمد، وإسحاق، وأبي عُبَيْد فقال: أما أفقههم وأفهمهم فالشافعي، إلا أنّه قليل الحديث، وأما أورعهم فاحمد بن حنبل، وأما أحفظهم فإسحاق، وأما أعلمهم بلُغات العرب فأبو عُبَيْد.
وقال أحمد بن سلمة: سمعت إسحاق بن راهويه يقول: الحقُّ يحب لله، أبو عُبَيْد أفقه منّي وأعلم مني.
وقال الحَسَن بن سُفْيان: سَمِعْتُ ابن رَاهَوَيْه يقول: إنّا نحتاج إلى أبي عُبَيْد، وأبو عُبَيْد لا يحتاج إلينا.