وی حدود سال 880 قمری در صالحیه در نزدیکی دمشق بدنیا آمد . پدرش از ترکان طولونی مصر بود . ابن طولون مادر رومی تبارش را در کودکی براثر بیماری طاعون از دست داد .
ابن طولون خواندن و نوشتن را در مکتبی نزدیک منزل پدری فرا گرفت و در هفت سالگی حافظ قرآن شد . آنگاه می بایست طبق معمول اهل سنت از عهده امتحانی بر می آمد که عبارت بود از امامت نمازهای تراویج در شبهای ماه رمضان و قرائت تمام قرآن در رکعتهای آن . ابن طولون به رغم مرگ پدربزرگ و برادرش قبل از این مراسم از آن آزمایش سربلند بیرون آمد و چند تن از علمای بزرگ مذاهب اهل سنت و رجال و اعیان شهر به او اقتدا کردند .
وی از هفت تا چهارده سالگی به حفظ کردن کتابهایی با موضوع فقه، نحو، تجوید و علم لغت پرداخت و از استادانش اجازه ای گرفت که عبارت بود از گواهی کتبی استاد بر نسخه ای از کتاب موردنظر .
ابن طولون تحصیلاتش را با حفظ کردن کتابهایی در علوم بلاغت، منطق، حدیث و قرائات ده گانه و عرضه آنها به استادانش ادامه داد .
وی معتقد بود که نباید عمر را به جز در راه قرآن و حدیث صرف کرد به همین علت ضمن تکمیل مهارتهای قرائت به علم حدیث پرداخت که در آن زمان از رونق و رواج افتاده بود و تصمیم گرفت کار علمی اش را فقط به احادیث اختصاص دهد از آن زمان به بعد با جدیث به جمع آوری حدیث پرداخت .