谷林堂是蘇東坡擔任揚州太守時為紀念恩師歐陽修而建的。 
      蘇軾與歐陽修並列唐宋八大家，師徒之誼極深。宋神宗元豐二年，蘇軾由徐州太守移守湖州，經過揚州時特別到平山堂追懷已經逝世十年的恩師，作《西湖月．平山堂》悼念恩師。 
      當時的揚州太守在平山堂設宴款待他，蘇東坡酒酣後即席賦詞。根據記載，當時“名士堵立，觀其落筆置筆，目送萬里。殆欲仙去爾”。
      蘇軾因為老師早已仙逝，而他曾受教於歐陽修門下，恩師當年寄予厚望，感慨萬端，所以詞中感情洋溢，抒發他看見歐陽修手跡睹詞思人，慨歎不已的心情。 
      宋哲宗元佑七年，蘇軾由穎州調任揚州太守，平山堂成為他閒暇經常遊憩之地。他也時常邀約好友、門生在這裏詩酒流連。為紀念恩師，蘇東坡在平山堂後面又建了一座高堂，與大明寺大雄寶殿比鄰。並從自己的詩句“深谷下窈窕，高林合扶疏”中汲取二字，命名為“谷林堂”。 
      谷林堂與平山堂一前一後，中間有走廊，兩堂間有一座小庭院，植有松、竹、梅，構成一幅《歲寒三友圖》。蘇軾在揚州只任職半年就調任他處，谷林堂是他留給揚州的紀念。 
      六一祠也就是“歐陽文忠公祠”。歐陽修號六一居士，據他自己說，曾有人問他，“六一”是什麼意思？歐陽修說：我家藏書一萬卷，集錄三代以來金石遺文一千卷，有琴一張，有棋一局，有酒一壺。這個人接問：這不過是五一啊！歐陽修回答：我一個老頭，老於這五一之間，不就是六一嗎？ 
      歐陽修出任揚州太守近一年，推行寬簡的政策，使得揚州政通人和，深得民眾愛戴。歐陽修離開揚州後，民眾感念其德政，於是在揚州舊城內建歐陽文忠公生祠。後來因為年代久遠而廢棄。 
      乾隆年間將祠移到平山堂、谷林堂後。現存的六一祠是光緒年間重建的建築。祠寬五間，氣勢宏偉。六一祠東西兩壁都有石雕，東側是歐陽修撰寫的《豐樂亭記》摩崖搨本，西側是膾炙人口的《醉翁亭記》搨本。最特別的是祠堂正中的歐陽修石刻像，石像上方還有乾隆皇帝為歐陽修畫像所題的御筆。