হেস্টিংসের বেনিয়ান রামলোচন ঘোষের মধ্যম পুত্র দেবনারায়ণের ছেলে খেলাতচন্দ্রের জন্ম ১৮২৯ সালে। ৪৭ নম্বর পাথুরিয়াঘাট স্ট্রিটের এই বাড়িটি তৈরি করা হয়েছিল চার বিঘা জমির উপর। থামওয়ালা উত্তরমুখী এই বিশাল বাড়িটির সামনেই পড়েছে টেগোর প্যালেসের পেছনদিকে অংশ। বাড়িটিতে তিনটি সিংহ দরজা ছিল। আপাতত শুধু একটি সিংহ দরজাই খোলা থাকে। বাকি দুটি বন্ধ করে রাখা হয়। বাড়িতে দুদিকে নহবতখানা। সানাই এর সুরে নাকি বাড়ির কর্তাদের ঘুম ভাঙত। এই বাড়ির নাচঘর সে সময় কলকাতার অন্যতম বিখ্যাত নাচঘর ছিল।
এই বাড়ির সবচেয়ে দর্শনীয় হল একতলার প্রায় ৮৫ ফুট লম্বা টানা মার্বেল পাথরের করিডোর। এই করিডোর দিয়েই সিঁড়ি ভেঙে দোতলায় উঠতে হয়। করিডোরের বাঁদিকে সিঁড়ি দিয়ে উঠে ঠাকুর দালান। ঠাকুরদালানের নিচেও কিছু ঘর রয়েছে। তবে সেসব ব্যবহার করা হয় না। ঠাকুরদালানে দুর্গা, জগদ্ধাত্রী, কার্তিক, সরস্বতী পুজোর প্রতিমা তৈরী করা হয়। কোজাগরী এবং দীপান্বিতা লক্ষ্মী দুটি ক্ষেত্রেই ঘট পুজো করা হয়। রাস, ঝুলন, দোল উৎসবও হয়। আগে এই উৎসব খেলাত চন্দ্রের জমিদারির আয় থেকে হতো। বর্তমানে দেবত্তোর সম্পত্তি করা হয়েছে লক্ষীনারায়ণ, গোপাল, রাধা কৃষ্ণ জিউ ট্রাস্ট। খেলাত চন্দ্রের পরিবারের গৃহদেবতা হলেন লক্ষ্মীনারায়ণ, রাধাকৃষ্ণ ও গোপাল।
এই বাড়ির সবচেয়ে উল্লেখযোগ্য বৈশিষ্ট্য হলেও বাড়িটির প্রত্যেকটি ঘরের আলাদা নাম রয়েছে। যেমন নাচ ঘর, লাল ঘর, হলঘর, গদির ঘর। একটি ঘরে বাইরের লোকের বসার জন্য বিরাট আকৃতির গদি পাতা হয়েছিল একসময়, তাই একে বলা হয় গদিঘর।
রামলোচন ঘোষ-এর মধ্যমপুত্র দেবনারায়ণের ছেলে খেলারতচন্দ্র ২৮ বছর বয়সে ৪৬ নম্বর পাথুরিয়া ঘাট স্ট্রিটের আদি বাড়ি ছেড়ে এসে এই বাড়িটি তৈরি করেছিলেন। ইংরেজ সাহেবদের সঙ্গে এদের ব্যবসা পত্রের বহর ছিল যথেষ্ট। সেই অর্থের জোরেই তিনি সৌভাগ্যের সূচনা করেন। তৈরি করেন কলকাতার বাড়ি। তাকে অনারারি ম্যাজিস্ট্রেট এবং জাস্টিস অফ পিস করা হয়েছিল। তিনি ছিলেন নিঃসন্তান। তাঁর দত্তক পুত্র রমানাথ ঘোষ বঙ্গদেশীয় কায়স্থ সভার প্রতিষ্ঠাতা। এই রমানাথ ঘোষ ছিলেন যথেষ্ট গুণী মানুষ। পেয়েছিলেন দরবার মেদুর। তবেই রমানাথের সাহেবদের সঙ্গে আত্মীয়তা খুব বেশি ছিল। ১৯০২ সালে ভিক্টোরিয়া মারা যান। কলকাতায় এক অভূতপূর্ব শোক মিছিল হয়েছিল। সাদা পোশাকে খালি পায়ে হাজার হাজার মানুষ ময়দানে সমবেত হয়ে মহারানীর আত্মার শুভ কামনা করেছিলেন। এই ব্যাপারটি তদারক করেছিলেন বাবু রমানাথ ঘোষ এবং তাঁর বন্ধু ও সহকর্মীরা। লর্ড কার্জনের পরিকল্পনা অনুযায়ী যে ভিক্টোরিয়া স্মৃতি তহবিল হয় সেখানেও ২৭ হাজার টাকা দান করেছিলেন।
এই পরিবার অত্যন্ত সৌখিন ছিলেন। শোনা যায় বিশাল তবক-তকতি সন্দেশের উপর নর্তকীদের নাচ করার ব্যবস্থা করতেন।। এমন ভাবেই তারা নাচত যাতে নরম সন্দেশ ভেঙ্গে না পড়ে। পাথুরিয়াঘাটের খেলারচন্দ্র ঘোষের বাড়িতেই এমনটা হত। তার ৪৭ নম্বর পাথুরিয়া ঘাট স্ট্রিটের নাচঘরে শুধু সন্দেশের উপর নর্তকীরাই নাচতেন না দোলের সময় নাচ ঘরের মেঝেতে ১০-১২ ইঞ্চি পুরো করে আবির ছড়িয়ে দেওয়া হত। সেখানেও নাচতেন নর্তকীরা। জ্বলত বিরাট ঝাড়বাতি।
বড়বাজার, স্ট্যান্ড রোড, বালিগঞ্জ, ল্যান্সডাউন রোড, রোল্যান্ড রোড, ধর্মতলা স্ট্রীট, ব্রিটিশ ইন্ডিয়া স্ট্রিট, বউবাজার, হাতিবাগান, মানিকতলা ইত্যাদি এলাকায় এদের অনেক ভাড়া বাড়ি রয়েছে। খিলাত চন্দ্র ঘোষ এর নামে পাথুরিয়া ঘাটে রয়েছে একটি রাস্তা।। খড়দহে রমানাথ ঘোষের নামেও রয়েছে রাস্তা। অমর কথাশিল্পী বিভূতিভূষণ বন্দ্যোপাধ্যায় খেলাত ঘোষ ইনস্টিটিউশন এর শিক্ষকতা করতেন।। পরে এই বাড়ির গার্জেন টিউটর হন তিনি। সিদ্ধেশ্বর ঘোষ এর আমলে বিভূতিভূষণকে নায়েব করে ভাগলপুরের জমিদারি ভার দেওয়া হয়েছিল। পাথুরিয়া ঘাট এর বাড়িতে ও বিভূতিভূষণের কলম থেমে থাকেনি। নানা দিক থেকে বিচার করলে এই বনেদী বাড়ি কলকাতার বুকের অন্যতম স্থাপত্য।