स्थानीय प्रचलित मान्यता के अनुसार सैकड़ों वर्ष पूर्व ब्रज क्षेत्र में काम्यवन (कामा) के निकट कदमखंडी नामक स्थान पर एक वैरागी नागा साधू चतुरशिरोमणि जी थे जो पूर्णतः भगवान श्री कृष्ण को समर्पित थे। भगवान कृष्ण उन नागा साधूओं के समर्पण एवं तपस्या से बहुत प्रसन्न हुए तथा उन्होंने स्वयं का विग्रह नागा साधू को सौंपा जिसे लेकर नागा साधू श्री चतुरशिरोमणि जयपुर जा रहे थे। मार्ग में भरतपुर से उक्त विग्रह आगे नहीं जा सका जिसे भगवत् इच्छा मानकर उक्त विग्रह वर्तमान भरतपुर दुर्ग में स्थापित किया गया तथा भरतपुर महाराजा द्वारा उक्त स्थल पर श्री बिहारी के मंदिर का निर्माण कराया गया।