কিশোরগঞ্জ জেলার ভৈরব উপজেলায় ১৯২৯ সালের ৯ মার্চ জন্মগ্রহণ করেন জিল্লুর রহমান। ২০০৯ সালের ১২ ফেব্রুয়ারি তিনি রাষ্ট্রপতি হিসেবে দায়িত্ব গ্রহণ করেন। দায়িত্ব নেওয়ার পূর্ব পর্যন্ত তিনি নবম জাতীয় সংসদের সংসদ উপনেতা হিসেবে দায়িত্ব পালন করেছেন। তিনি ১৯৫৪ সালে ঢাকা বিশ্ববিদ্যালয় থেকে ইতিহাসে অনার্সসহ এমএ ও এলএলবি ডিগ্রি লাভ করেছেন।

ছাত্রজীবন থেকেই তিনি রাজনীতিতে সক্রিয় হয়ে ওঠেন। ১৯৪৬ সালে ঢাকা ইন্টারমিডিয়েট কলেজের ছাত্র থাকাকালীন সিলেটে গণভোটের কাজ করার সময় তিনি শেখ মুজিবুর রহমানের সান্নিধ্যে আসেন।

১৯৬২ সালের সামরিক শাসন বিরোধী আন্দোলন, ৬৬ এর ছয় দফা আন্দোলন, ৬৯ এর গণ-অভ্যুত্থানসহ প্রতিটি গণআন্দোলনে বঙ্গবন্ধু শেখ মুজিবুর রহমানের পাশে থেকে তিনি অংশগ্রহণ করেন।

জিল্লুর রহমান রহমান ছিলেন মুক্তিযুদ্ধে অন্যতম প্রধান সংগঠক। তিনি মুজিবনগর সরকার কর্তৃক পরিচালিত স্বাধীন বাংলা বেতার কেন্দ্র পরিচালনা এবং জয় বাংলা পত্রিকার প্রকাশনার সঙ্গে যুক্ত ছিলেন। সেই সময় তৎকালীন পাকিস্তান সরকার তার সংসদ সদস্য পদ বাতিল করে ২০ বছর কারাদণ্ডের সাজা দেয় ও সকল সম্পত্তি বাজেয়াপ্ত করে।

২০০৮ সালের নবম সংসদ নির্বাচনসহ ১৯৭৩, ১৯৮৬, ১৯৯৬ ও ২০০১ সালের জাতীয় সংসদ নির্বাচনে কিশোরগঞ্জ জেলার একটি আসন থেকে সংসদ সদস্য নির্বাচিত হন জিল্লুর রহমান। এর আগে ১৯৭০ সালে তিনি পাকিস্তান জাতীয় পরিষদের সদস্য নির্বাচিত হয়েছিলেন তিনি।

১৯৭৫ সালে তিনি বাকশালের সাধারণ সম্পাদকের দায়িত্ব পালন করেন। পরবর্তিতে শেখ হাসিনার নেতৃত্বে তিনি আওয়ামী লীগের সাধারণ সম্পাদকের দায়িত্ব পালন করেন।

২০০৪ সালের ২১ অগাস্ট রাজধানীর বঙ্গবন্ধু এভিনিউয়ে আওয়ামী লীগের সমাবেশে গ্রেনেড হামলায় গুরুতর আহত হওয়ার পর মারা যান জিল্লুর রহমানের স্ত্রী, মহিলা আওয়ামী লীগের তৎকালীন সভানেত্রী আইভী রহমান। তাদের এক ছেলে ও দুই মেয়ে রয়েছে।