唐朝天宝十四年八月，长安教坊司的乐师潘云松，到昭应县（今临潼）办事，办完事看天色已晚，就找了家旅店住下。他一个人闲得无聊，晚饭后站在店门口看夜景。
这时，有一个服饰古怪的人经过店门口时，紧盯着潘云松看。潘云松被看得不自在，转身想回店里去，那人却赶过来拉住潘云松说：“你真是长安教坊司的潘云松吗？”潘云松看看那人，却想不起是谁。那人只管拉着潘云松高兴地说：“你不认识我了？”潘云松不好意思说不认识，随口说：“认识，认识。”那人就更高兴了：“你来得太巧了，今晚天魔楼有精彩演出，你一定要跟我去看看。”潘云松问：“天魔楼是什么地方？”那人拉了潘云松边走边说：“去了你就知道了，我还要把你引荐给一个人。”潘云松身不由己随了他去。
天色越来越暗。不知走了多远，两人来到一座豪宅前。那衣饰古怪的人向门子报了姓名，潘云松这才知道他叫谢大年。门子恭敬地让两人进去。
谢大年领着潘云松熟门熟路地向里走。大宅尽处，有座三层高的大楼，楼上四面八方挂满了灯笼，那景象说不出的富贵奢华。二楼有笙管丝弦声，大纱窗上剪影出摇曳的舞姿。
谢大年领着潘云松上到二楼。二楼华屋深广，满堂铺着一张厚氍毹，一班乐师席地而坐，吹管拨弦地奏着乐器。正堂上方，竟然还摆着一张床，隔着床帏，隐约可见里面有一人躺着。
谢大年让潘云松先待在画屏后。潘云松好奇地问：“这是什么地方？”谢大年说：“天魔楼。”
这时，一队穿白衣的舞伎进来，个个脸上蒙着白纸，只露出两眼。在低缓陰郁的音乐中，他们手脚线提似的节节折动，跳起诡异而又悲伤的舞蹈。潘云松从未见过这么邪门的舞蹈，只看得毛骨悚然。
这时，床帏撩起，里面坐起的竟是一个贴黄花描斗眉的美人儿。谢大年忙跟潘云松说：“机会来了。”说完，紧走几步，到美人面前施礼禀报，又用手指了指潘云松藏身的画屏。潘云松知道是说他了。
美人让潘云松站到近前，问他：“你就是那个被皇上称为快手的潘云松？”潘云松说：“正是小人。”美人挥手让那队鬼魅似的白衣舞伎下去，吩咐侍从抬上一架大羯鼓，笑着对潘云松说：“听说你鼓技精湛，我这儿也有几个会打羯鼓的，你们可同时打起，看他们能不能跟上你。”原来，潘云松是教坊司里最擅长打羯鼓的，当今皇上李隆基，又对羯鼓情有独钟。一次，他见潘云松把面羯鼓打得如同急雨骤落，没有人能快过他的鼓点，大加赞赏，连呼快手。因此，潘云松有了快手的美名。
潘云松不敢推辞，拿起鼓槌，和对面四个鼓师一起打起鼓来。随着鼓声，上来一队穿大红衣服的人，戴着暴睛獠牙的狰狞面具，举手踊跃地舞蹈着。潘云松的羯鼓，打得流畅激烈，花样繁多，而那四个鼓师的鼓点，却渐落下风。潘云松心想，再加把劲，就把那四个鼓师比下去了。于是潘云松的鼓点越打越快，鼓点之间都听不到停顿了。打着打着，潘云松忽然发现对面多出一个奇怪的鼓师来。那鼓师留着短髭，面相憨厚，身材魁梧，头上歪梳着椎髻，服饰古朴。潘云松弄不明白他是怎么坐到对面的。没人注意多出一个奇怪的鼓师，这楼上奇怪的人多的是。
鼓师因为跟不上潘云松的节奏，一个个知趣地歇了手，只有那个留着短髭的鼓师，丝毫不落下风地紧跟着。潘云松暗觉吃惊，想不到在小小的昭应县，竟有这样技艺高超的鼓师。更让潘云松吃惊的是，短髭人已经不再亦步亦趋地跟着他了，而是不易觉察地快那么一点点，把潘云松诱引向更激扬大气却简约的节奏。
在澎湃人心的鼓声中，轻衣窄袖的美人，光脚下到猩红的氍毹上，回风舞雪地跳起了《胡腾》舞。潘云松见过的舞伎多了，跟长安城内一流的舞蹈家也多有相识，可能把《胡腾》跳得这么清劲飞旋的，还真是少见。
《胡腾》跳完，鼓声停歇，美人香汗微浸地对潘云松说：“我很久没有跳舞了，因为他们的鼓声，不能像你的这样振奋人心。你打鼓的技艺，堪称天下无双，我要赏你珊瑚一支，黄金百两。”潘云松连忙说：“惭愧，还有比我打得更好的。”他刚想说出短髭人，却四下看不见短髭人的踪影了，短髭人消失得像出现时那么突然。
接下来，又是一些奇异的舞蹈，直到午夜才结束。所有乐师、舞伎，吃过丰盛的夜饭后，一拨儿一拨儿地走出了豪宅。潘云松一直留心着，再没有发现短髭人在这些人中间。出来时，谢大年跟潘云松同路，潘云松实在忍不住了，问道：“谢兄，我真的想不起以前在哪儿见过你。”谢大年笑笑说：“三年前在歧王府里见过的。那时你就是各王府的座上客了，而我只是一个坐在下面打板儿的。那年腊月，你见我手指冻得通红，特意给我端了一壶热酒，让我暖身子。”潘云松仔细想想，还真给一个打板儿的同行端过一壶酒。他点点头说：“你一说我想起来了，还真是老相识。我们刚出来的又是哪家宅邸？”谢大年说：“那是长信公主的私宅。她府上虽然蓄有舞伎、乐师，可我们这些外面的乐师，时不时要被她召去应差，数我在她府上走动最多。”
潘云松在长安见过不少王子公主，可从没有见过长信公主，却听过她不少传闻。长信公主精于舞蹈，曾是健舞大家公孙大娘的徒弟。本来她很受父皇李隆基的喜爱，因为在选驸马时违逆了李隆基的意思，硬是下嫁给了骠骑将军，惹得李隆基很不高兴。偏这骠骑将军还屡屡犯颜直谏，到处搜集安禄山要反的消息，忧国忧民地一再上奏。李隆基根本不相信安禄山会反，一怒之下杀了驸马。长信公主遂带着丧夫之痛，搬出了长安城，郁愤幽怨地居住到了昭应，常用怪异的歌舞，来表达她心中的愤恨与不平。
谢大年跟潘云松在旅店门口分了手，潘云松刚要进旅店，身后忽然有人说：“请潘先生再赐教。”潘云松惊异回头，见身后站着一个高大的汉子，背上扛着一个大鼓，细看竟是那个鼓艺高超的短髭人。
“今夜月明星稀，我想请先生到郊外击鼓。”短髭人话音洪亮，态度诚恳。潘云松高兴地说：“半夜站在郊外，是最适宜击鼓的。鼓声能远传十里之外的，才是一个好鼓手。我们试试，看谁的鼓声传得更远。可都半夜了，去郊外的城门关着啊。”短髭人说：“这个不妨事，我跟守城门的兵士认识，城门现在为我们开着。”
两人到了城门那儿，城门果然开着，却不见开城门的兵。潘云松心里闪过一丝疑惑，也没有多想。出城后，他们来到一片空旷地。短髭人找了一块地形稍高的地儿，放下大鼓，对潘云松一揖道：“潘先生先请。”
潘云松使出全身力气擂了一槌，鼓声清烈透远，一下子传出去不止十里。一通鼓后，潘云松把鼓槌交给短髭人。短髭人一言不发地接过鼓槌，双臂沉稳地起落交替，擂出的鼓声雄浑恢宏，震慑人心。潘云松突然感到脚下震动起来，地下隐隐像有雷声滚动，他正惊疑着，短髭人住了鼓声，地面瞬时不浮动了。
潘云松惊奇极了：“我从来没有听过这么雄壮的鼓声。”短髭人憨厚地说：“这是行伍中简单的调子，哪能跟先生的相比？不再叨扰先生了，我送您回去吧。”潘云松说：“我又不是怕走夜路的女人，只要城门还开着，我自己走回去。”短髭人说：“城门还在为先生开着，先生走好。我们还有再见一面的缘分。”
两人拱手作别。潘云松走了几步，回头看，短髭人已经不见了，不由叹道：“真是个奇人。”
潘云松回到旅店，只睡了一小会儿，天就亮了。吃早饭时，潘云松问店小二，昭应有没有长信公主的私邸。店小二说有，而且这长信公主生性乖张，近来行事尤其怪异。听店小二这么说，潘云松也就不再惊疑昨晚上的经历了。
回到长安后，潘云松向人说起给长信公主打鼓的事，教坊司内有嫉妒他才能的，借此诬告他在长安城内进出豪门，实际上是长信公主的耳目。
不久，潘云松被逐出教坊司，不许在长安城内王公大臣家走动。
潘云松正走投无路，谢大年找到了他，说：“既然给你捏造了罪名，干脆坐实它好了。长信公主很欣赏你，让我特意来请你。”潘云松只好投靠了长信公主，在她的府上当了一名乐师。
这年十一月，三镇节度使安禄山在范陽造反，十五万精锐人马所向披靡地直扑长安。李隆基带着杨贵妃仓促逃出长安，往四川避难去了。长安城内许多皇子王孙被他遗弃不顾，更不要说住在昭应的长信公主了。
叛军包围了昭应城，守城的兵力远远不够，整个昭应城陷入绝望和恐惶中……
这时，长信公主穿戴起驸马的盔甲，亲自带着府中所有成年男子来支援守城的将士，潘云松也在其中。长信公主的支援小队登上城头时，守城兵将的士气，一下子被鼓舞起来了。长信公主看着城外叛军密密麻麻，不计其数，不由心凉了一半，暗想：“与其坐等城破，受辱而死，不如战死沙场痛快，也不枉了这一身的武艺。”主意拿定，她在守城的将士中挑选出二百精骑随她出城迎战，并要潘云松在城头擂鼓助阵。
以长信公主为首的二百精骑，一驰出城门，潘云松就在城头上擂起了战鼓。叛军先是被唐军冲乱了阵脚，但很快就稳住了局面，把长信公主他们分割包围起来，不一会儿就把长信公主的人马斩杀过半。潘云松从未打过仗，眼下血腥的杀戮场面，吓得他手脚发软，连鼓槌也拿不起来了。
“潘先生，让我来。”一双有力的大手拿过鼓槌。潘云松转身细看，却是面相憨厚的短髭人。只见他穿着古朴的军衣，和唐军装束很不相同，看起来怪怪的。“你也当了兵？”潘云松惊喜地问。“我一直是当兵的，在军队中做鼓手。”短髭人说完，狠力击鼓，通通的鼓声，差点儿把潘云松的耳朵震聋。应着鼓声，远处仿佛有地雷滚动。这奇怪的声响很快传延到了城头，以致城头都晃了起来。突然，战场上地陷沙溅，无数高大强悍的骑兵，穿着和短髭人一样的服饰，举着金钩铜戈和旗帜，从地下腾跃出来。叛军被这诡异的劲旅践踏得人仰马翻，死伤惨重，瞬时溃退百余里。
叛军败退，战鼓停息，那神威的骑兵，顷刻没入地下，连同刚才擂鼓的短髭人也不见了。城头上的唐军看得目瞪口呆，都不知道是哪方神圣。
长信公主率残部死里逃生，担心叛军再来报复，于是大开城门，让昭应的军民倾城出逃。
平定安史之乱后，继任皇帝肃宗召集旧人，潘云松依然回到了教坊司，长信公主也因战功受到了新帝的礼遇。
昭应（今临潼）紧依骊山，而秦始皇的陵墓，就在骊山脚下。潘云松遍查史籍，虽然没有发现有关秦始皇兵马俑的记载，但那支神秘队伍打着的旗帜上，却分明写着秦字。所以潘云松相信，那突然冒出来的诡异骑兵，是秦始皇的地下军队，而短髭人就是地下军队中的鼓手。