وكان شاعراً كبيراً، لكن الهجاء احتل جانباً بارزاً في ديوانه، حتى قيل: إن القاسم بن عبيد الله وزير المعتضد سممه خوفاً من هجائه، وكان ذلك في (خشكنانجه) - وهي معجنة تشبه البسكويت - أطعمه إياها.
ويذكر د. نعيم الحمصي في كتابه «الرائد» أن ابن الرومي أكثر من الهجاء كثرة بالغة حتى ضرب به المثل فقال المعري:
لو أنصف الدهر هجا أهله
كأنه الرومي أو دعبل
ويرى بعض الباحثين أن ابن الرومي أوجد في الهجاء فناً جديداً مطبوعاً بالتهكم، يثير الضحك بما يأتي به من صور للمهجو، يكبّر فيها عيوبه أو صفاته الجسدية أو المعنوية، وكان لهجاء المغنين والمغنيات قسط وافر في هذا المجال، من ذلك مثلاً ما قاله في مغن يعلم الصبيان:
أبو سليمان لا ترضى طريقته
لا في الغناء، ولا تعليم صبيان
له إذا جاوب الطنبور منتقلاً
ضرب بمصر وصوت في خراسان
عواء كلب على أوتار مندفة
في قبح قرد وفي استكبار هامان
وتحسب العين فكيه إذا اختلفا
عند التنغم فكي بغل طحان
وقال في مغنية:
صورتها في القلوب غير رفيق
بل له في القلوب فتك وبطش
فإذا رققته بالجهد منها
خلت في حلقها شعيراً يجش
ولهذا الحديث صلة.