মরহুম আবদুল হাই শাহ নিজে অর্থায়নে পোরশা উপজেলায় অনেকগুলো শিক্ষা-প্রতিষ্ঠান স্থাপন করেছিলেন। তিনি পোরশা গ্রামে হাই মাদরাসা নামে একটি ইসলামী ধর্মীয় শিক্ষাপ্রতিষ্ঠান প্রতিষ্ঠিত করেছিলেন যা পরবর্তীতে ব্রিটিশ সরকার সরকারিভাবে আত্তীকরণ করে হাইস্কুলে পরিণত করেছিল।

১৯৪৬ সালে মৌলভি জাফর এবং তার বন্ধু হযরত একটি মাদ্রাসা প্রতিষ্ঠার উদ্যোগে নিয়েছিলেন। সেসময় আবদুল হাই শাহ, এই শিক্ষাপ্রতিষ্ঠানটির জন্য অনেক পরিনাণ জায়গা ওয়াকফ করে দিয়েছিলেন। হাটহাজারী মাদ্রাসার তৎকালীন মুহতামিম আবদুল ওয়াহহাব এই মাদ্রাসা প্রতিষ্ঠা এবং পরিচালনার জন্য সালেহ আহমদকে দায়িত্ব দিয়েছিলেন। সালেহ আহমদ, সেই ওয়াকফকৃত জমিতে জিল্লুর রহমান নামে এক ব্যক্তির অর্থায়নে একটি ভবন নির্মাণ করেছিলেন এবং তিনিই এই প্রতিষ্ঠানের প্রথম পরিচালক ছিলেন।