उसके बाद दूसरी बार 1984 में लोकसभा का चुनाव जीतकर नालंदा का प्रतिनिधित्व किया.
बता दे कि 1991 में एक बार फिर भारतीय काम्युनिस्ट पार्टी से ही लोकसभा चुनाव में जीत प्राप्ति की. वे पेशे से वकील भी थें. बताया जा रहा है कि विजय यादव के एक मात्र का पुत्र का पूर्व में ही देहांत हो चुका है. इनके दो पोता हैं. विजय यादव के देहांत पर नालंदा में शोक की लहर दौड़ गई है. विभिन्न राजनीतिक दल के राजनेता इनके आवास पर आ कर श्रद्धासुमन अर्पित कर रहें हैं.बता दे कि नालंदा के सांसद कौशलेंद्र कुमार, जेडीयू के जिलाध्यक्ष मो. अरशद, नालंदा जिला के आरजेडी के प्रधान महासचिव सुनील यादव सहित कई राजनीतिक दिग्गजों ने शोक जताया.