در شرح حال پدر وی آورده اند که از ملوک خراسان بود . بنابراین ابراهیم در خانواده ای مرفه به دنیا آمد و در ابتدا زندگی شاهانه ای داشت اما پس از مدتی تارک دنیا شد و راه زهد و تجرد در پیش گرفت .
داستانهای مختلفی درباره علت و چگونگی وقوع این اتفاق در زندگی او نقل شده است . در تذکرةالاولیا آمده است: یک شب بر تخت خفته بود نیم شب سقف خانه بجنبید چنان که کسی بر بام می رود . آواز داد که کیست؟ گفت: آشناست . اشتری گم کرده ام بر این بام طلب می کنم . گفت: ای جاهل! اشتر بر بام می جویی؟ گفت: ای غافل! تو خدای را در جامه اطلس، خفته بر تخت زرین می طلبی؟". این سخن باعث تحول ابراهیم شد و راه زهد در پیش گرفت .
ابراهیم پس از خارج شدن از بلخ به عراق و از آنجا به حجاز و شام رفت و سالها به تزکیه نفس و سیر آفاق مشغول بود . وی در جنگهای مسلمانان با روم نیز شرکت کرد .
ابراهیم ادهم در جنگ با رومیان بیمار شد و درگذشت .
ادهم نه فقط زاهد و عارف، بلکه محدث هم بود و احادیثی از او نقل کرده اند . در برخی منابع شیعی ذکر شده که وی در مکه از محضر امام محمد باقر(ع) بهره برده و در کوفه نیز به همراه جمعی از علما امام صادق(ع) را برای سفر به مدینه بدرقه کرده است .