سيبويه، غير أنه لزم الأخفش وأخذ عنه كل ما عنده. ويزعم بعض الرواة أنه هو وزميله المازني خشيا بعد وفاة سيبويه وحمل الأخفش لكتابه أن يدعيه لنفسه، وكان الجرمي موسرا، فعرض عليه شيئا من المال ليقرأ هو وصاحبه عليه الكتاب، وأجابه إلى طلبه، فأخذا الكتاب عنه وأشاعاه في الناس. ويقول المبرد: عليه قرأتْ جماعة النحاة. ويذكر أنه قدم أصبهان مع فيض بن محمد عند منصرفه من الحج، فأعطاه يوم مقدمه عشرين ألف درهم، وكان يعطيه كل سنة اثني عشر ألفا. ونزل بغداد في أوائل العقد الأول من القرن الثاني للهجرة، واختلف إليه الطلاب يحاضرهم في كتاب سيبويه ويملي عليهم بعض مصنفاته، وظل بها إلى وفاته سنة ٢٢٥ للهجرة. وله في النحو والصرف كتب مختلفة، من أهمها: كتاب المختصر في النحو وكتاب الأبنية، وصنف في العروض. وعني بكتاب سيبويه، فألف في غريبه كتابا، وألف في شواهده الشعرية كتابا آخر نسب فيه الشواهد التي فاتت سيبويه نسبتها في الكتاب إلى أصحابها ما عدا خمسين شاهدا لم يقف على قائليها. وكان علماء النحو في عصره وبعد عصره يتداولون كتبه، وشرحوا كتابه المختصر مرارا.
وكان الجرمي لَسِنا, قوي الحجة، عالي الصوت في مناظرته؛ ولذلك سمي النباج أي: شديد الصياح، ويقال: إنه تعرض للأصمعي فسأله: كيف تصغر مختارا؟ فقال الأصمعي: مُخَيْتير، فقال له الجرمي: أخطأت، إنما هو مخيِّر؛ لأن التاء فيه زائدة. وحين نزل بغداد, ناظر الفراء مناظرة دوت شهرتها في الأوساط النحوية، وكان موضوعها ما يراه سيبويه من أن العامل في المبتدأ هو الابتداء وما يراه الفراء وغيره من الكوفيين من أن العامل في المبتدأ هو الخبر، والمناظرة مروية على هذه الصورة١:
"اجتمع أبو عمر الجرمي وأبو زكريا يحيى بن زياد الفراء، فقال الفراء للجرمي: أخبرني عن قولهم: زيد منطلق لِمَ رفعوا زيدا؟ فقال له الجرمي: بالابتداء،

١ راجع في هذه المناظرة نزهة الألباء ص١٤٥, وهامش إنباه الرواة ٢/ ٨٣.