高尔夫运动的确切起源已不可考，目前最广为接受的说法是起源于中世纪的苏格兰 。
起源
第一個被記錄的高爾夫球類似運動是西元1297年2月26日，在荷蘭的费赫特河畔卢嫩镇舉辦。參加者使用棍子和皮製的球，用最少擊球次數而將球打進數百公尺外的人贏得比賽。但是今日的高爾夫球運動普遍被認為是蘇格蘭人所發明，因為在中世紀時，蘇格蘭議會曾經兩次明文規定禁止玩一種名為“gowf”的比賽。但是也有學者認為這個名為gowf的比賽應該是類似於shinty、板棍球或是草地曲棍球，而不是高爾夫。他們認為這種用高爾夫球桿把球擊打進地面小洞的比賽應該最早出現於17世紀的荷蘭。而在名稱方面，該派學者也認為高爾夫”golf“可能是蘇格蘭人將荷蘭文中的”kolf“（棍棒、球桿）加以變化而成。這些證據傾向高爾夫起源於歐洲大陸。
聖安德魯斯皇家&古老高爾夫俱樂部
但是這些早期的運動充其量只能視為近代高爾夫運動的概念起源，真正完整的近代高爾夫運動是從蘇格蘭開始發展的，包括了第一個高爾夫球場與高爾夫俱樂部。一場打18洞的高爾夫運動基本規則就是在那所創立的，而史上第一個高爾夫巡迴錦標賽也是在蘇格蘭的城市間舉辦。不久後，現代化的高爾夫運動就由蘇格蘭傳往英格蘭，之後普及到全世界。雖然謠傳蘇格蘭女王瑪麗一世曾在1567年玩過正式的高爾夫，但是真正有記載最古老的正式高爾夫比賽是1672年在Musselburgh Racecourse的一個高爾夫球場舉行。1754年，皇家古老高爾夫俱樂部成立，是目前世界最古老的高爾夫俱樂部。
高爾夫球場演變
高爾夫球場不一定都有18個洞。15世紀時，蘇格蘭人在聖安德魯斯依照地形建立了一個高低起伏的球場，而球洞受制於細長的海岸地形而增加了難度。該球場有11個洞。1764年，有些洞因為被認為太短而遭到合併，球洞的數量從11個減為9個，這樣就成為一輪比賽18洞的組合。因為聖安德魯斯的球場被認為是第一個高爾夫球場，因此18洞就成為後來興建高爾夫球場的標準設計。
用具發展
高爾夫的演進史大致上就是用具的發展史，而最重要的當屬高爾夫球的進化了。早年高爾夫球的材質、外觀、大小都不一致，直到1930年代美國高爾夫球協會 (USGA) 設定了高爾夫球標準的重量跟大小。隨後USGA又提出了正式的規則，明定高爾夫球的初速不可高於每秒250英尺。
球桿是另一個重要的高爾夫用具，早期球桿皆由木製而成，因為材料容易取得。經過數年的發展，山胡桃木成為製作球桿的標準木材，而高級球桿則使用美國柿樹製作，因為它硬度佳並且耐用。
1890年代，鐵製桿身開始出現，但是很久以後政府才正式准許使用鐵來製作球桿。1970年代初期，桿身改採石墨製造，以追求輕量化和強韌度。目前最新式的球桿，桿身採碳纖製造，桿頭則採用鈦合金或鎢鋼，因其非常輕而且堅硬，所以可以做出比以往都大的桿頭。這些新式材料大幅增加了擊球時的彈簧效應（spring-like effect），能讓球飛得更遠。美國高爾夫球協會為了維持高爾夫比賽的挑戰性，規定了球桿的恢復係數 (COR) 上限為0.83，同時限制桿頭大小不可超過460cc。
名稱起源
高爾夫golf這個字第一次出現在書面資料是在1457年Scottish statute中禁止一種叫gouf的比賽，這個字可能是從蘇格蘭文的goulf（意為”打擊”）變化而來，但是這個字也有可能是從荷蘭文的kolf（意為”球棒”、”球桿”）轉變而來。但是有更早的文獻指出，1452年時蘇格蘭國王詹姆斯二世禁止了這種運動，以免他的部下沉迷而荒廢了箭術練習。
關於高爾夫的都市傳說中則指出GOLF的由來是”Gentlemen Only, Ladies Forbidden”（男人專用，女性止步）的首字母縮略字。但是這只是從GOLF這四個字去逆推而出的謬誤而已。
起源於中國的考據
2005年4月，一個新物證的發現再次引發了高爾夫起源的爭論。蘭州西北师范大学体育系的凌洪龄教授發現了新證據，並提出說法指出，中國在南唐時期（约943年）便记载有類似於高爾夫的遊戲——捶丸，比蘇格蘭中世紀的起源還要早500年。
捶丸是盛行于宋、元和明朝时期的游戏，其雏形可能在五代和北宋初年就已经形成，前身可能追溯到唐朝的“步打”。它尤其受到贵族的欢迎，明代的宮廷畫《宣宗行樂圖》中，就描繪了明宣宗與其侍從進行捶丸的情況。球杆上鑲有玉跟金作為裝飾，顯示出這個遊戲是種有錢人的娛樂。宋朝魏泰的《東軒錄》中，也提及南唐某官員要他的女兒挖洞做為玩球遊戲的目标，然后用自制的木棍将球打进洞的故事。清朝时满清入关，由于满洲贵族喜爱的大多是狩猎、滑冰与摔跤一类游戏，对捶丸不感兴趣，使捶丸失去了贵族基础，逐渐陷入衰落。
元世祖至元十九年（1282），寧志齋撰寫《丸經》一書，说明捶丸活动的规则。从该书中的描述来看，古代的捶丸在比赛场地、器具和规则上，都与现代高尔夫球有不少类似之处。捶丸的游戏者用10种不同的球棒击球，其中三种主要棒式为攛棒、撲棒與杓棒，分别为了在打地滚球、远球与高球时使用，与现代高尔夫球的1号木杆、2号木杆和3号木杆有一致之处。在比较捶丸与高尔夫球的诞生年代，《丸经》的早期公布于世，以及两者内容上的一致性后，凌洪龄認為古代的捶丸与现代高尔夫球是有着“緊密血緣關係的”。他认为高爾夫是在中世紀晚期由蒙古旅行者傳至歐洲，之後流傳到蘇格蘭。
將捶丸與高爾夫聯繫起來的觀點并不是首次出現。中國體育史研究先驅郝更生（1899－1975）在其英文論著《中國體育概論》中，就曾稱捶丸是「中國的高爾夫球」。學者唐豪（1897－1959年）在研究蒙古西征對中國發明的影響后，推論捶丸與它們一樣，在元代時候傳入歐洲。他亦透過比較捶丸與高爾夫球的特點，說明高爾球源於捶丸。
對此，蘇格蘭的皇家古老高爾夫俱樂部發表聲明“用球桿玩球的運動好幾世紀前就有了，但是今日我們所知打18洞的高爾夫運動，很明確的是起源於蘇格蘭”。