懷玉舉家上太行
次日文廣升廳坐定，四子一齊跪下稟曰：「告爹爹得知，可恨張茂排陷吾家，今夜兒等要把他家滿門老幼盡行誅之。」文廣喝曰：「方受皇恩，榮耀滿朝莫敵。若干此等事，王法無情，豈相饒乎。那時莫說恩榮，免死亦難，決不可為。」公正等諾諾而退。
懷玉曰：「三位哥哥在上，此事只宜暗暗行之，莫使爹爹知道。」於是商議已定，直至元豐二年，端陽之夜，懷玉等將黑搽臉，扮作強人，打入張茂府去，將家屬盡皆殺之，止走了范夫人。范夫人次日進奏神宗，神宗大驚，命殿前檢點卞之勇滿城搜拿，捕捉十日，不見些兒形跡。范夫人復奏神宗，神宗問群臣：「今捕拿了賊人否？」群臣奏曰：「不見下落。」神宗曰：「國之大臣被人殺死，訪拿不出，豈可置之不問而遂已乎！如此，即是沒了王法，安用朕為！」乃大怒，命欽天監官，夜觀天象，看凶星落於何處。又命武士四門嚴捕。
是夜，欽天監官劉江上司天台，仰觀天象，看後大驚，星夜逕到楊府叫門。守門者問曰：「汝是誰？」劉江曰：「代稟國公，欽天監官有機密事來稟。」
卻說懷玉幹了此事，亦提防朝廷捕緝，乃出宿於府門廊下，聽見外面叩門，遂起來看之，正撞遇守門人進稟。懷玉曰：「稟甚麼事？」守門者曰：「欽天監官劉江，來稟甚麼機密事。」懷玉曰：「汝去看，只一人放他入來。如人多，回復明日來稟。」守門者出到門邊，從門縫裡一睄，只見是劉江一人，遂開門延入。劉江與懷玉相見，言曰：「小官領聖旨，夜觀天象，殺死張丞相的凶星，正照老爺府上，為此先來通報。」懷玉曰：「我家沒有是事，動勞大人愛厚，容日叩謝。」劉江辭別去了。
是夜，懷玉聚集兄弟姊妹商議，言曰：「適聞欽天監劉江到府來說，殺張茂凶星，正照我家。彼未奏君，先來通聞。我想明早他奏知聖上，聖上定行拿問。朝廷聽信讒言，我屢屢被害，輔之何益！且佞臣何代無之，他們恃是文臣，欺凌我等，武夫受幾多嘔氣！依我之見，趁今聖上未曾下令拿問，鳩集家兵，悉行走上太行山，卻不斬斷愁根乎！只有一件，爹爹病重，驚動了他，必竟悶死，怎生區處？」宣娘曰：「那倒無妨，我將安雲車一輛載之，猶如平地安穩，萬無一失。但汝父忠勇，聞知此事，必執汝等入朝待罪。」公正曰：「吩咐眾人，莫將此事告之。乞姑娘進去問病，誑爹爹入了安雲車內，我等即便起行。」言罷，宣娘入文廣臥房問曰：「賢弟病勢何如？」文廣曰：「料不濟事。」宣娘曰：「賢弟起來，另遷於淨室居臥，付大小事務於不聞，屏絕雞犬人言聲息，自可避無恒矣。」文廣不知是計，爬起來，扶著宣娘入於安雲車內訖。是夜，懷玉命家人眾護衛軍士，收拾寶物輜重，車載馬馱，整備停當，竟望太行山進發。
次早，范夫人又進奏曰：「妾訪得強賊，乃無佞府楊懷玉等，搽黑其面，搶進妾府，殺了全家。乞陛下敕旨拿之。」蔡京曰：「若論仇隙，亦有可疑。但難拘定是他家殺了，必待欽天監官來奏便知端的。」言未罷，劉江進奏說道：「凶星照著楊府。」神宗大怒，下命孫立傾羽林軍三千，圍住楊府，把楊門全家拿來，戮棄於市。旨意才下，巡守外邊城御史汪萬頃奏曰：「楊府舉家五鼓時候，城門一開，盡皆湧出，竟望太行山去了。」周王大驚曰：「國有佞臣，忠良難立。曩者張茂有書，冒奏欺君陷害忠良，罪亦當斬。陛下寵嬖，不行究問。那時已不服楊府眾人之心矣。今日茂死，罪人未獲，楊府知陛下畢竟不肯干休，恐禍及於彼，是以高蹈遠舉，全身遠害，飄然不戀爵祿，走上太行。但將來四夷叛亂，再遣何人討之？」神宗曰：「此事何以處之？」周王曰：「依臣之言，發下詔書，召回楊懷玉等，仍居無佞府中。敕賜重修天波樓，張茂之死等情俱罷不究，庶幾可以挽回其心。」神宗允奏，郎修詔與周王賚往太行，召回楊懷玉等，赦除前罪。
周王得旨，竟齎往太行山而去。不日到了，懷玉等接見。周王曰：「聖上有詔，跪聽宣讀。」懷玉等忙排香案，整朝服接旨。周王讀罷，懷玉等接見詔，叩頭謝恩畢，於是整酒陪周王。周王席上問曰：「國公何在？」懷玉曰：「老父患病甚重，只在旦夕謝塵。」周王曰：「待我進去一看何如？」懷玉曰：「不敢勞動。」周王曰：「內家親眷，豈有此說。」懷玉曰：「殿下切莫言上太行山一事，倘若言之，老父必悶死矣。」周王曰：「又說鬼話，他今日身居太行，猶不知之，尚待我以告之乎？他既不知，當日怎生得他上來？」懷玉遂將安雲車一事告之。周王允諾。及見文廣，言曰：「老丞相病體何如？」文廣曰：「動勞殿下垂念，料不久歸泉下矣。只是報答殿下之恩，耿耿在懷。」言罷，兩淚交頰。周王見其情詞真切，勢甚危篤，亦揮淚言曰：「老國公忍耐些兒。」其心亦恐驚傷文廣，遂將上太行山等事隱而不言。乃辭出，謂懷玉曰：「聖旨來召回汴，汝等可作急起行。」懷玉曰：「臣寧死於此而不回矣。」周王曰：「汝不回去，甘為背逆之臣，以負朝廷乎？」懷玉曰：「恕臣誑言之罪，略有苦情，一一啟殿下聽之。若以理論，非臣等負朝廷，乃朝廷負臣家也。始祖繼業，王侁排陷狼牙，撞李陵之碑而死。七郎遭逢仁美，萬箭攢身而亡。六郎被王謝之害，充軍充徒。迨及狄青、張茂，吾祖父貶職削官。聖主不明，詞章之臣密邇親信，枕戈之士遼隔情疏，不得自達。讒言一入，臣等性命須臾懸於刀頭。此時聖主何曾少思臣等交兵爭鬥之苦而加矜恤？此豈臣造為虛謬之談，以欺殿下乎！」有詩為證：
餐風宿露統軍時，萬種愁懷只自知。
剪髮接韁牽戰馬，折衣抽線補旌旗。
爭雄授命耽饑會，角力傷刀負痛歸。
聖主那憐征戰苦，讒言一入即分屍。
周王聽罷，聞曰：「汝既不肯回朝，敢怕要去輔佐番邦？」懷玉曰：「直道而事人，焉往而不三黜；枉道而事人，何必去父母之邦。此古人之明訓也。臣家世代性俱剛介，不肯阿附權臣，故落落不合於朝臣。又想國國一轍，處處同風。大宋如此，彼番亦如此。臣既隱身遠禍，不輔大宋堂堂天朝，而肯輔腥臊之番乎？且盡心竭力，輔助國家，少中奸鋒，九族廟絕，嗚呼哀哉，痛哉！輔人立朝，實閒且淡，若浮雲過太虛，竟歸無用矣。」有詩為證：
兔走鳥飛疾若馳，人生何事苦謀為。
屢朝宰相三更夢，歷代君臣一局棋。
禹並九州湯得業，秦吞六國漢登基。
人人欲作千年計，爭奈天公不應機。
懷玉讀罷，又曰：「一賊滅，一賊興，誰能輔佐人國而使萬世之永安乎！」有詩為證：
世事若龍舟，古今爭不了。
勝負兩亡羊，天地一芻狗。
周王懇懇千回，百遍強之，懷玉不聽。周王不得已，辭別而回。
周王既至於汴，即入奏神宗，將懷玉所論之言，並懷玉吟詠之詩，一一敷陳。神宗聽罷有間，曰：「噫，寡人之過也。」慨歎不已。復謂周王曰：「勞卿再齎敕旨前往召之。朕想古之帝王夢卜求賢，以理天下。朕今有此等賢良之士，不能用之，聽其肥遁林泉，不得與古明王媲美，使天下萬世謂朕為無道昏庸之君也。卿速行焉，善為設辭可也。」
周王領旨，星夜復到太行山，見了懷玉等，剖盡衷曲，勸諭抵極。懷玉等只付之一笑，亦不辯論短長。及見周王勸之不已，懷玉曰：「勞殿下情意殷殷，另有一深長之論，轉達天聽。且見殿下此來亦不徒然。」周王曰：「有何論焉？」懷玉曰：「聖朝調遣，拜命而行。倘或來宣入朝受職，將臣碎屍萬段，決不遵依。」言罷，周王亦無奈，只得辭別而回。懷玉引領全家送至山下，再拜周王。周王含淚，怏怏不忍離別。懷玉曰：「殿下勿憂微臣，不死後會可期。」周王遂搵淚相別。
懷玉回到山上，命手下伐木作室，耕種田地，自食其力。又出一告示，曉諭家兵，不許下山擄掠民財，為一清白百姓，遺留芳聲於後代。使人皆稱我家是個忠臣，退隱巖穴而非叛亂賊臣，不歸王化者也。有詩為證：
塵視侯封上太行，只緣社鼠暗中傷。
繁華過卻三春景，衰朽催人兩鬢霜。
宦海無端鄉變態，萊羹有味飽諳嘗。
浮生得樂隨時樂，何必擔憂駐汴梁。
後人覽罷此書，有詩贊懷玉知機云：
峻秩崇階孰肯丟，知機平遠早回頭。
預期十事九如願，定不三平兩滿休。
知自足時還自足，得無憂處便無憂。
太行風月歸閒後，一任人間春復秋。
又詩贊云：
卸卻朝衣棄卻簪，浮雲富貴不關心。
連城玉韞太行潤，照乘珠藏合浦深。
明月花前宵酌酒，熏風竹下晝鳴琴。
此身不復隨宣召，只恐西風短劍臨。