自劉牧黑白點《河圖》《洛書》、邵雍《先天圖》和周敦頤《太極圖》問世以后，宋元明三朝皆有各種反對意見產生。如反對所謂圣人則黑白點圖書畫卦說者，有歐陽修(見《易童子問》)、胡瑗（見《周易口義》）、李衡(見《〈周易義海撮要〉》、薛季宣(見《艮齋浪語集》)、張栻（見《南軒易說》）、項安世(見《周易玩辭》)、葉適(見《習學記言》)、趙汝榤(見《易稚》)、林至（見《易裨傳》）、俞談(見《讀易舉要》)、宋濂(見《文憲集》)、歸有光(見《易圖淪》)等；反對“先后天圖”者，有袁樞(見朱熹《答袁樞》)、林栗(見《周易經傳集解》和朱熹《記林栗辨易》)、趙汝榤(見《易雅》)、陳應潤(見《周易爻變義蘊》)、歸有光(見《易圖淪》)、王廷相（見《雅述》）等；反對周敦頤“太極圖”者，有陸九韶、陸九淵(見《朱子語類》)、或謂“太極圖源于壽涯”說(見度正《周敦頤年譜》)等。至清初，則以王夫之、黃宗羲、黃宗炎、毛奇齡、李塨、惠棟、張惠言等為代表的一些學者，提出了一些對宋代以來易圖的反對意見。其中有人則以專著形式系統地辯證宋代易圖學。此可謂對宋代易圖學的一次全面辯證與總結。下面將分別敘述之。

　　王夫之的反對意見

　　王夫之〈1619一1692〉，字而農，號姜齋。明崇禎舉人。晚隱居衡陽石船山，世稱船山先生。《清史稿》有傳。，易學著作今存《周易稗疏》四卷、《周易內傳》十二卷、《周易內傳發例》一卷、《周易外傳》七卷、《周易大象解》一卷、《周易考異》一卷。

　　《四庫全書總目》之《周易稗疏》提要曰：“大旨不信陳摶之學，亦不信京房之術，于先天諸圖、緯書雜說，皆排之甚力，而亦不空談元妙附合老莊之旨。故言必徵實，義必且理。于近時說易之家，為最有根據。”

　　其疏解“八月有兇”曰：“舊說或以八月為遁卦值位者，以康節所傳陳摶之圓圖，遁居正西也，或以八月為值觀卦者，以魏伯陽參同契之卦氣，觀居酉位也。二說皆出自緯書。京房宗讖緯，始以卦配月，而黃冠假之為丹術，為君子術者，所不屑道。”

　　疏解“七日來復”曰：“舊說謂自姤而來，歷遁否觀剝坤至復為七日，此以卦變徇卦氣而言之也……若卦變，則因已成之卦一爻變動，如噬嗑之于頤是也，一爻移易動。如損益之于泰否是也。未有相反之甚，如姤與復，而可云自彼而來？復卦自二一上本坤之體，唯初爻得陽，則來復者自坤而言也。坤一變而即得復，故四‘不遠復’，不遠則非歷七卦，明矣。

　　疏解“兩儀生四象”曰：“生者，非所生者為子，生之者為父之謂。使然，則是有太極無兩儀、有兩儀無四象、有四象無八卦之日矣。生者于上，發生也。如人面生耳目口鼻，自然駭具，分而言之，謂之生耳。邵子執加一倍之小數，立一二象之象，一純陽、一純陰、一陽上陰下、一陰上陽下，謂之四象，更加一畫，而其數倍為八卦。遂畫四畫之象十六、五畫之象三十二，無名無義。但以八生十六，十六生三十二，三十二生六十四，教童椎相乘之法則可，而于天人之理數，毫無所取。使以加一畫，即加一倍言之，則又何不可加為七畫，以倍之為一百二十八？漸加漸倍，億萬無窮，無所底止，又何不可哉！不知易但言四象生八卦、定吉兇、生大業，初不可損而為二爻，益為四爻、五爻，此乃天地法象之自然，事物變通之定理，不可以算博士銖積寸累有放無收之小術，以亂天地之紀也。”

　　疏解“數往者順，知來者逆，是故易逆數也”曰：“《本義》以乾兌離震為已生之卦，巽坎艮坤為未生之卦，兩端相迎為次序，謂之曰逆，云‘此伏羲之易也’。勿論遙指，一無從授受之……乾南左旋、坤北右轉，乃陰陽交媾之說，其坤起正北，歷艮坎巽乾兌離震，左旋之方位.則六壬家正用亥將之次第，蓋合黃冠日者之小術，為還丹火候之定局。為君子儒者用，以釋先圣之正教，不亦過乎？……卦畫之生因乎數，數由下積，卦既成而后成乎象，則象自上垂，故但云逆數，不云逆象。如康節之言，則象亦逆矣。且其以兌次乾者，陰自上生，而自巽而坎而艮，又自下生，兩端交湊于中，震巽交媾于內，則又半順半逆，而非但云逆數矣。康節之說，求之一部全易，無可證據，不獲已而曲引此段經文，以文其辭。”

　　疏解“雷以動之”一章曰：“因此可見周易之廣大不測，因時以大明終始，而無一成之典要。特無乾兌離震巽坎艮坤之序耳，陳撲之傳為方士之木，蓋明矣。”

　　《周易外傳》中，亦表達了對“先后天圖”的意見。如，“道者，天地精萃之用，與天地并行而未有先后者也。使先天地以生，則有有道而無天地之日矣。彼何寓哉？而誰得字之曰道？”（《乾》）；“抑邵子之圖易，謂自伏羲來者，亦有異焉。太極立而漸分，因漸變而成乾坤，則疑夫乾坤之先有太極矣。如實言之，則太極者乾坤之合撰，健者極健，順者極順，無不極而無專極者也。無極，則太極未有位矣。未有位，而孰者為乾坤之所資以生乎？且其為說也，有背馳而無合理。夫乾坤之大用，詢乎其必分，以為清寧之極，知能之量也。然方分而方合，方合而方分，背馳焉則不可得而合矣。其為說也，抑有漸生而無變化。夫人事之漸而后成，勢也，非理也。天理之足，無其漸也。理盛而勢亦莫之御也。易參天人而盡其理，變化不測，而固有本矣。奚待于漸以為本未也？如其漸，則澤漸變為火，山漸變為水乎？其曰乾坤為大父母者，不能不然之說也。其曰復姤為小父母，則其間立說之本也。不然，則父母而二之，瞧不能解二本之邪說，而彼豈其云然？自復而左，左生乎頤，明夷左升乎賁，臨左生乎損，泰左生乎大畜；自姤而右，右生乎大過，訟右生乎困，遁右生乎咸，否右生乎萃。而無妄無以生明夷，升無以生訟，則復姤又不任為小父母。乾右生夬，履右生兌，同人右生革，無妄右生隨；坤左生剝，謙左生艮，師左生蒙，升左生蠱。而泰無以生履，否無以生謙，則乾坤又不任為大父母。”（《系辭上傳第一章》）；“多歧既已亡羊，后來彌多標指，故且曰有文王后天之易，有庖犧先天易。天且剖先后以異道，而況于圣人？則羲、文自為門戶，周、孔各為朋黨，亦奚恤哉！”(《系辭下傳第九章》；“天下有截然分析而必相對待之物乎？求之于天地，無有此也；求之于萬物，無有此也。反而求之于心，抑未念其必然也。故以此深疑邵子之言易也。”(《說赴傳》)；“惟然，故先天后天之說不可立也。以固然者為先天，則以次而有者其后矣；以所以從變化者為先天，則己成者為矣。兩者皆不可據也，以實言之，徹乎古今，通乎生死，貫乎有無，亦惡有所謂先后哉？無先后者，天也，先后者，人之識力所據也。……‘天地定位’至‘八卦相錯’為一章，‘數往者順’三句為一章。〈《本義》拘邵子之說，合為一章。其說牽強支離，出于陳摶仙家者流，本不足道，而邵子曰‘此伏羲八卦之位’。伏羲至陳摶，時將近萬年，中間并無授受，其誕可見。”(《說卦傳》)。

　　值得一提的是，王夫之并不全盤否定宋代易圖。對于“河圖”，有“若易之本于河圖也”、“五十有五，河圖之畫也”、“此圣人所以因河圖而畫八卦，八卦既成又從而兩之，以極其所合之變化”、“易因數以得象”、“有數而后有象”、“故言易者，先數而后象，先下而逆上，萬世不易之道也”之說。對于“太極”，亦屢謂“無極而太極”，宗周敦頤《太極圖易說》而曰：“無極而必太極矣。太極動而生陽，靜而生陰。動靜各有其時，一動一靜各有其紀，如是者乃謂之道”、“夫太極○之生元氣”、“陰陽之生，一太極之動靜也”、“動因道以動，靜因道以靜”、“太極之在兩間，無初無終而不可間也，無彼無此而不可破也。自大至細而象皆其象，自一至萬而數皆其數，故空不流而實不窒，靈不私而頑不遺，亦靜不先而動不后矣。夫惟從無至有者，先靜后動而靜非其靜，從有益有，則無有先后，動要以先”、“太極一○也，所以冒天下之數也”、“從太極測之而固有之也，太極○之實有也”、“易有太極，固有之也，同有之也”“太極之于河圖，未有象也，于易未有數也，于筮未有策也，于卦未有占也”、“是太極有于易以有易，易一太極也’’。王夫之亦不排斥“象學”、并且謂王弼為“老莊之間支子，而假易以文之者也’’。曰‘‘天學無象外之道”、“道逝而象留，然則象外無道，欲詳道而略象，奚可哉”、“象不勝多，而一之于易’’、“舍簽蹄而別有得魚得兔之理，舍象而別有得易之途邪”、“因像求象，因象成易”、“若夫言以明象，相得以彰，以擬簽蹄，有相似者。而象所由得，言固未可忘也。魚自游于水，兔自窟于山，簽不設而魚非其魚，蹄不設而兔非其兔，非其魚兔，則道在天下而不即人心，于己為長物，而何以云得象得意哉？故言未可忘，而奚于象”。

　　總之，王夫之主要是反對邵雍的“先后天圖”，其謂不可有先天、后天之分，自有道理。然而，其中不免有朱冠邵戴之誤。對邵雍易學的理解(譬如以《乾》、《坤》生卦等說)，亦有未到處。其將邵雍易學之本源歸入“緯家”、“黃冠”、“日者”，未兔有些武斷。其仍然以黑白點“圖書”為圣人作《易》之本，則亦有誤。

　　邵雍易學得朱熹之發揚而多為后人所知，然而朱熹并沒得其其易學真諦。《先天圖》實為卦變所得，并非“半順半逆”，邵雍的“加一倍法”是六十四卦數之加一倍，并非是自太極到六十四卦的爻畫加一倍。邵雍本老子“道生一，一生二，二生三，三生萬物”，而視八卦為“天之四象”與“地之四象”，并且本《說卦》而主“八卦相錯”說。至朱熹則以二爻畫之組合為“四象”，以大橫圖中分“拗轉”而成“先天圖”，因而就成“半順半逆”之圖。后人批評邵雍易學，多以朱熹之說誤作邵雍之說，王夫之亦不例外。

　　王夫之信河洛圖書，從周敦頤“無極而太極”之說，又誤批邵雍“先天圖”，則其對宋代易圖之批評，只是一般水平而已。