অনেক অনেক বছর আগের কথা। তখন রাজা রামমোহন রায়ের বাবা-মা ছিলেন অত্যন্ত দরিদ্র। তারা দুজনেই উজানী রাজার বাড়িতে দাস-দাসি হিসেবে কাজ করতেন। উজানীর রাজা ছিলেন অনেক ধনী। তার সাতটি জমিদারি ছিল। রাজা রাম মোহন রায় তখন খুবই ছোট। তাকে উজানী রাজার বাড়ির বারান্দায় রেখে দুজনে কাজে যেতেন। রোদ-বৃষ্টির মধ্যে থাকতে হত রাজা রামমোহনকে। এ সময় ফনিমনসা এসে রাজারাম মোহনকে ছায়া দিয়ে রাখত। বিষয়টি কেউ দেখতে পেত না।
একাধিক দিন উজানীর রাজা দেখেন রোদের মাঝে ফনিমনসা শিশু রামমোহনকে ছায়া দিচ্ছে। বিষয়টি একদিন রানীকে দেখান। পরে রানী দেখেন রামমোহনের গায়ে রাজতিলক। যাদের গায়ে রাজতিলক থাকে তারা একদিন রাজা হয়। উজানীর রাজার এসব দেখে তার সাতটি জমিদারি থেকে একটি জমিদারি দান করেন রামমোহনকে। আর দাসত্ব থেকে মুক্তি দেন তার মা-বাবাকে।এমনই মিথ প্রচলিত আছে রাজা রাম মোহন রায়ের জমিদারি প্রাপ্তি নিয়ে।
রাজারাম রায়ের এই জমিদারির গোড়াপত্তন কবে হয় সে সস্পর্কে কোনো সুনির্দিষ্ট ধারণা কারো নেই। তবে রাজারাম রায়ের নামে সপ্তদশ শতাব্দীতে একটি মন্দির নির্মিত হয়েছে। এ থেকে ধারণা করা হয় সপ্তদশ শতাব্দীতেই এই জমিদারির গোড়া পত্তন হয়। এ ছাড়াও এ অঞ্চলের অন্যতম প্রাচীন বিদ্যাপীঠ খালিয়া রাজারাম ইনস্টিটিউশন প্রতিষ্ঠিত হয়ে ১১৭ বছর আগে।
প্রায় ২৫০ একর জমির ওপর অবস্থিত রাজারামের খালিয়া জমিদার বাড়িটি (Raja Rammohun Royer Bari)। জমিদার আমলে এখানে গড়ে তোলা হয় আকর্ষণীয় দোতলা-তিনতলা বিশিষ্ট দালান-কোঠা ও বাগানবাড়ি। এখানকার সারিবদ্ধ দালান-কোঠা, বাগানবাড়ি, পূজা মন্ডপ ও শানবাঁধানো পুকুর ঘাট আজও কালের স্বাক্ষী হয়ে টিকে আছে। এখানকার জমিদাররা ছিলেন প্রচণ্ড প্রতাপশালী। ওই সময়ে জমিদারদের বাড়ির কাছ ঘেঁষে জনসাধারণের চলা চল নিষিদ্ধ ছিল।