當年這里曾是一個石灣，傳說大文學家、大詩人杜甫來延時曾在這里枕鞋夜息，后人便依勢鑿窟建了祠堂，以示紀念。據記載"川口有唐詩 ，杜拾遺祠，記像石室，登望杜亭，得地高爽，俯瞰河流，祠有石刊墨人騷客多賦憑吊"即此。