《係辭》雲 [1] ：“河出圖，洛出書，聖人則之。”《禮記‧禮運》：“河出馬圖。”因此從孔子於古籍中記載得知河圖為伏羲時代黃河出現一匹龍馬，其身上有文彩圖案，謂之龍馬負圖，伏羲將其文字記載下來，因出於黃河，謂之河圖。另外於《論語‧子罕》：“子曰，鳳鳥不至，河不出圖，吾已矣夫！”《尚書》則記述：“大玉，夷玉，天球，河圖在東序。”而洛書則傳說於黃帝時代時，在洛水浮出一隻神龜，其背甲有九宮花紋上有數字，黃帝記之謂之洛書。

近代研究中國古文化的學者，對河圖洛書有以下觀點：
來源於中國上古時代的九宮星相圖、與佔星有關；
結合於陰陽五行、風水術數的觀念理論；
河圖亦導源於《周易‧係辭傳》中的“天地生成之數”；
在宋朝之前，太極與河圖洛書的記述隻有文字，一直到道家一代宗師陳摶(紫微鬥數的創始者），才提出了太極、河圖、洛書的圖案。據近代的研究，陳摶曾在中原地區進行長久的考古工作，可能因此挖掘出伏羲、神農乃至黃帝時代的古文書，而破解了太極圖與河圖洛書的仟古之謎。
陳摶首創“龍圖易”融合了漢朝至唐朝的九宮學說以及五行生成數的理論，提出圖像，名之為龍圖，始將消失兩仟多年的“河圖洛書”及先天圖、後天圖、陰陽太極圖重現於世。
之後北宋的劉牧又將陳摶的龍圖區分為“河圖”“洛書”兩種圖式：將九宮圖稱為“河圖”，五行生成圖稱為“洛書”。南宋時蔡元定則將它改變過來，反將九宮圖稱之為“洛書”而五行生成圖稱之為“河圖”。
南宋大學者朱熹則支持蔡元定的學說，並將記於《周易本義》卷首，確立了“圖九書十”“書九圖十”之分歧，“圖十書九”成為南宋以來之通用理論。
口訣：一六共宗水，二七同道火、三八為朋木、四九為友金、五十共守土。
戰國時期的《尚書，大禹謨》曰：“水火金木土，穀惟修”。其源起於河圖、洛書之數。益圖書之一六水也，二七火也，三八木也，四九金也，五十土也。在圖則左旋而相生，在書則右轉而相克也。然土於圖書為五十中宮之數，無定位，無專體者也。
洛書
其排列為九宮圖
4　 　9　 　2
3　 　5　 　7
8　 　1　 　6
口訣：“戴九履一、左三右七、二四為肩、六八為足、五居中央。” 配合上八卦形成： 一坎、二坤、三震、四巽、五入中宮、六幹、七兌、八艮、九離。這個順序，被應用在風水學上(尤其是玄空派風水學），稱為洛書軌跡。 在奇門遁甲中，則成為：一白坎水休門、二黑坤土死門、三碧震木傷門、四綠巽木杜門、五黃寄中宮、六白幹金開門、七赤兌金驚門、八白艮土生門、九紫離火景門。
河圖洛書的應用
在中醫、易經、佔蔔、八字學、紫微鬥數、風水學、擇日學、奇門遁甲等中國傳統五術中都有結合陰陽五行和應用到河圖與洛書的哲學理論。