وكان يقول: ليس في قرب الولاة ولا في الدنو منهم خير. وكان أولاً يأتيهم، ثم ترك ذلك. قال ابن وضاح، كان ابن القاسم لا يجالسه إلا واحد، أو اثنان. ولم يكن فيه منفعة للناس، ولا لأبويه ولا ابنيه ولا نفسه في شيء من أمور الدنيا إلا بالعلم. وكان أشهب وابن وهب يقعدان في جماعة. وتنقضي عندهما الحوائج، وينفعان الناس. قال سحنون: كثيراً ما كنت اسمعه يقول إياك ورقّ الأحرار. فيسأل فيقول كثرة الإخوان. ولم يكن يشهد جنازة لأحد، ولا يخرج من المسجد. وذكر حديث سليمان بن القاسم لا تحمل لغيرك ما لا تحمله لنفسك على نفسك. قال، وكان سبب موت ابن القاسم أنه اغتسل بماء بارد، بمدين ولم يرد أن يسخن له منها، لأنها كانت غصباً لبعض بني أمية. قال سحنون، قمت يوماً في المسجد الحرام أشرب ماء، فقال ابن القاسم من أين تشرب؟ قلت، أليس في الفيء قدر أشرب به ماء. قال وأي فيء بمكة.
إنما هي صدقات. قال سحنون، أشترى عبد الصمد الأطرابلسي لابن القاسم جارية ثم أخرى، لم يتخذ غيرهما حتى ماتتا، لما ماتت الأولى أرسل إليه يشتري