وقد كان يحفظ جل ما يسجله في دفاتره بفضل ذاكرته، فكان يحفظ القصيدة الطويلة عند سماعها للمرة الأولى. وكان يقول: ما قرأت كتاباً قط فأحتاج إلى أن أعود فيه، ولا دخل قلبي شيء فخرج منه، وينقل القاضي عبد الله الربعي في كتابه «المنتقى من أخبار الأصمعي» الرواية التالية عنه، فقد أسلم أعرابي أيام عمر بن الخطاب، فجعل عمر يعلمه الصلاة، فيقول: صلِّ الظهر أربعاً والعصر أربعاً، والمغرب ثلاثاً، والعشاء أربعاً، والصبح ركعتين فلا يحفظ. ويعيد عليه فلا يحفظ، بل يجعل الأربع ثلاثاً، والثلاث أربعاً، فضجر عمر فقال: إن الأعراب أحفظ شيء للشعر فقال:‏