自宋代开始，关于张志和词中所写的西塞山位置出现争论，尤其是在明清，分歧更为明显。关于古代的这种认识分歧，后世学者都有关注。

当代学人中竟陵子（《西塞怀古温诗篇》，1989年5月19日《人民日报》海外版）、李全修（《张志和〈渔歌子〉考》，《湖北师范大学学报》2017年第5期）主张在湖北黄石；

余方德（《〈渔歌子〉和西塞山考辨》，《湖州师专学报》1999年第3期）、柯平（《张志和词中西塞山考辨》，《文史知识》1984年第1期）主张在浙江湖州市南。

有关中学语文教材的注释中也有类似观点（人教版小学语文四年级下册第23课《古诗词三首》 中最后一首收录了该诗词）；
 
如今在互联网上仍有争议，如知乎上“西塞山前白鹭飞的西塞山在哪里”，以跟帖的形式，讨论还在延续。

因此，晚唐五代时期，湖北西塞山的诗歌意象十分丰富，且偏向于秀美旷达。如王周，有《西塞山二首》。

《西塞山二首》（今謂之道士磯即興國軍大冶縣所隷也）之一
西塞名山立翠屛，濃嵐橫入半江靑。千尋鐵鏁無由問，石壁空存道者形。

因此，北宋大文豪苏轼仿写了张志和的词，在地理上对应为长江西塞山。

苏轼《东坡词》（四库全书版）
（真子漁父云：西塞山邊白鳥飛，桃花流水鱖魚肥，青蒻笠，綠簑衣，斜風細雨不須歸。此語妙絕，恨莫能歌者，故增數語，令以浣溪沙歌之，或刻黃山谷。）
西塞山邊白鷺飛，散花洲外片㠶微，桃花流水鱖魚肥，自庇一身青箬笠，相隨到處綠蓑衣，斜風細雨不須歸。
 

南宋大诗人陆游也认为张志和《渔歌子》词为长江西塞山，并在《入蜀记》中对西塞山的独特月色进行了极富深情的描写。
十六日。過新野夾，有石瀨茂林，始聞秋鶯。沙際水牛至多，徃徃數十爲群，呉中所無也。地屬興國軍大冶縣，當是土産所宜爾。晩過道士磯，石壁數百尺，色正青，了無竅穴，而竹迸根，交絡其上，蒼翠可愛。自過小孤，臨江峯嶂，無出其右。磯一名西塞山，即玄真子《漁父辞》所謂“西塞山前白鷺飛者”。······是夕，空江萬頃，月如紫金盤，自水中涌出，平生無此中秋也。

南宋道教南宗创始人白玉蟾，曾作《武昌怀古十咏》，其中一篇《西塞》亦引用张志和字句，显然也认为长江西塞为《渔歌子》之西塞。
 
西塞
落盡桃花水滿湖，西山西塞長新蒲。斜風細雨今如許，靑笠綠簑誰又無。聖主龍飛邦有道，醉仙睡到日高梧。何時堯舜無巢許，我也人呼黏壁枯。
 

由上可知，显然在唐代、宋代湖北西塞山诗歌意象包括了张志和《渔歌子》的类型，绝大多数人很自然认为张志和所言的西塞山，即为长江边之湖北黄石西塞山。

然而，异议也出现于南宋。

1、南宋祝穆《方舆胜览》卷4，安吉州条下：西塞山，卽慈湖鎮道山磯詳見張志和注。······張志和，郡人，自稱煙波釣徒，又號元眞子。有漁父詞云：西塞山邊白鷺飛桃花流水鱖魚肥靑箬笠綠簑衣斜風細雨不須歸。
蘇軾撰[宋]王十朋注[宋]傅藻撰紀年錄《集註分類東坡先生詩》；

西塞風雨
（次公此張志和事也西塞乃湖州礠湖鎮道士磯也）
斜風細雨到來時，我本無家何處歸，仰看雲天真篛笠，旋収江海入蓑衣。

这种异议的记录形式很怪异，将湖州与道士矶慈湖镇连用，可见对于湖北西塞山的否认并不理直气壮。、