最近听到一些朋友言论认为Q Quant正在走下坡路,研究risk neutral pricing和随机建模越来越少,相反,在physical measure下,不管是监管方面要求的credit modeling还是买房越来越多研究大数据,machine learning导向的算法交易变得越来越普遍。放眼望去,job posting也可以看出,传统pricing quant少之又少,只有几家金融科技公司在招人,而各大行往往走validation和strategist方向。
在这里问问各位大牛看法,希望大家各抒己见。
-
P Quant 和 Q Quant 到底哪个是未来?
-
一个转嫁风险(Q),一个承担风险§。
一个卖东西(Q),一个买东西§。
你想吧,少了那一个,买卖都不能成。
同生共死
-
两个需要不同高阶量化技术的独立分支:对衍生品定价的“Q Quant”,其目标是“推断现在(extrapolate the present)”对风险和组合进行量化管理的“P Quant”,其核心是“对未来建模(model the future)”。第一部分:各自所面临的目标和挑战。第二部分:两者交叉的部分:风险溢价的概念、所使用的随机过程(虽然在“Q Quant”和“P Quant”中有着不同的名称和假设条件)、模拟这些过程用到的数值方法、对冲以及统计套利。一、Q Quant——衍生品定价1下表是对Q Quant——衍生品定价的一个简要总结。衍生品定价的目标:确定一个给定证券的公允价值,就如同那些流动性充足的证券,其价格是由供求关系决定的一样。典型的例子包括,奇异期权(exoticoptions)、抵押贷款证券(mortgage backedsecurities, MBS)、可转债、结构化产品,等等。衍生品定价为的是获得某个证券当下的市场价值,也是卖方的主要工作。量化衍生品定价Bachelier:1900年提出,布朗运动,应用于期权的定价。Merton(1969)以及Black和Scholes(1973):几何布朗运动,引入期权定价。Harrison和Pliska:1981年提出,资产定价的基础理论。他们认为,如果证券当前的价格P0是无套利空间的,也就是真正完全公允的,当且仅当描述该证券价格未来变化的随机过程Pt的数学期望等于P0。即,P0=E{Pt},t≥0。满足上式的过程称为“鞅”。鞅并不对风险给予回报。因此,证券价格所服从的随机过程的概率测度被称为是“风险中性”的,通常用字母Q表示,这也是“Q Quant”这一名称的由来。此外,由于上式对任意时刻t都成立,所以用于衍生品定价的随机过程自然也都是建立在连续时间的框架之上的。那些从事Q Quant——衍生品定价的金融工程师,对其建模的特定产品都有着极其深入的了解。每一个证券都是被单独定价的,因此本质上QQuant中的问题都是低维的。校准(calibration)是Q Quant所面临的一个主要挑战。因为,一旦一个连续时间的随机过程模型被校准后用于一系列已经流通的证券,那么它也应当被用于对类似的新上市衍生品进行定价。 处理连续时间Q-过程的主要量化工具:随机微积分和偏微分方程。二、P Quant——风险与组合管理2下表是对P Quant——风险与组合管理的一个简要总结。风险与组合管理定位于在某一给定的投资范围内,对市场价格建立概率分布模型。买方的主要工作:基于真实的分布,决定证券的仓位以改善组合的收益-风险特征。Markowitz(1952):均值-方差体系。Treynor(1962)、Mossin(1966)、Sharpe(1964)、Lintner(1965)和Ross(1976):资本资产定价模型(CAPM)和套利定价模型(ATP)。它们都假设概率分布P是已知的。但在实际操作中,P必须从可获得的市场信息中估计得到。而信息的一个主要来源便是历史价格的变化以及其他一些金融变量,这些都是在离散的时间点上采集并记录的。估计(estimation)是P Quant所面临的主要挑战。对离散时间序列的分析需要高阶的多元统计和计量经济的技术。值得注意的是,在风险和组合管理中,估计市场上所有证券的联合分布函数非常重要,每个证券不可能像在QQuant中那样被单独考虑。因此,降维技术,如,线性因子模型,在PQuant中扮演着核心角色。为了解决上述问题,近年来,PQuant也成为了金融行业中的一个重要岗位。而那些原本用以训练QQuant金融工程师的硕士项目也越来越多地加入了PQuant的课程,以满足市场的需要。三:P vs Q:金融工程两大分支的异同一文展示了P Quant和Q Quant在理论上的诸多差异。但在实际中,两者的共同点多不胜数,在多个领域都有着频繁的交叉。1风险溢价 从数学意义上来说,风险中性测度Q和真实概率测度P只是对同一个金融变量的同一个可能的结果赋予了不同的权重。从一种概率权重到另一个的转移就是所谓的风险溢价,而反过来说,也正是人们对风险溢价的认知在原则上允许了这两种测度的转换。但遗憾的是,正确估计风险溢价至今仍然是一个极具挑战性的工作。2 随机过程 随机过程不论在P Quant还是Q Quant中,都是量化模型的支柱。虽然Q Quant关注的是连续时间的风险中性过程,而P Quant以离散时间的过程为主,但相同的数学模型在这两个领域都有广泛的应用,只不过假设条件和名称可能有所区别。下表总结了这些随机过程的主要特征。(1)基础假设:最基本的离散时间随机过程是随机游走,它是一系列独立同分布的随机变量在时间上的和。随机游走是风险和组合管理中,对利率和股票的对数价格建模的基准假设。在连续时间的情况下,随机游走变成了Levy过程。布朗运动是最著名的一类Levy过程,也是期权定价的基础。类似地,泊松过程作为另外一类最简单的Levy过程,广泛地应用于信用产品的定价中。(2)自相关性。当金融序列不是一系列独立变量的和时,就会存在自相关。在离散时间的情形中,标准的建模工具是自回归移动平均模型(auto-regressive-moving-average,ARMA),它深受买方计量经济学家的推崇和喜爱。而ARMA过程的连续时间形式就是Ornstein-Uhlenbeck及其相关的过程。其中,由Vasicek(1977)以及Cox、Ingersoll和Ross(1985)命名的两类特殊的Ornstein-Uhlenbeck过程,是卖方债券定价业务的核心工具。(3)波动率的聚集性:高波动或低波动倾向于聚集在一起出现。在离散时间的情形中,买方的P Quant金融工程师用GARCH及其变型捕捉这一特征。而在卖方的Q Quant业务中,对波动率的聚集性建模的最主要方法则是随机波动率模型。3数值方法上述讨论的这些理论上的随机过程在实际应用中都必须通过数据形式呈现出来,而实现这一目标的两类最流行的数值方法就是“分类树(trees)”和蒙特卡洛模拟。“分类树”本质上是一个可能的结果不断膨胀的随机过程。今天的状态将导致明天多种可能的结果,其中的每一种又会引发后天的多种可能,并以此类推。由此可见,使用“分类树”方法,结果的数量会随着时间的推移而增长。对蒙特卡洛模拟而言,每一个随机过程可能产生的结果的数量,也称为路径,在模拟过程中是保持不变的。计算效率更加低下的分类树:面临重要决策时使用蒙特卡洛模拟:需要获得随机过程分布的时候应用因此,在P Quant——风险与组合管理中,分类树被用来设计动态策略,而蒙特卡洛模拟则被用作管理风险,例如计算在险价值(VaR)。在Q Quant——衍生品定价中,分类树可被用来对美式期权定价,因为它可以在到期日之前行权。而蒙特卡洛模拟常被用来对亚式期权定价,因为该类型期权的行权价为到期日前某一特定时间段内标的资产的平均价格。4 对冲对冲是P Quant和Q Quant直接交叉的又一个典型案例。对冲的目:保护某一给定头寸的收益免受一系列风险因子的影响。因此,对冲是一个P Quant的概念。但是,为了确定买入或卖出对冲工具的数量,投资者必须计算给定头寸和对冲工具对风险因子的敏感性。而这些敏感性就是众所周知的“希腊字母(Greeks)”。最基础的“希腊字母”就是写在给定证券上的期权的“delta”,它也是期权对标的证券的敏感性。期权的delta告诉投资者需要卖空多少标的以保护所写的期权价值免受标的波动的影响。希腊字母是从Q Quant的定价模型中计算得到的,随后在P Quant中被用来进行对冲。有趣的是,Q Quant中的定价模型同样也可以基于P Quant中对冲的概念来获得。5 统计套利在统计套利的领域,Q Quant也已渗透到了P Quant之中。两者相互交叉应用的具体步骤如下。首先,Q Quant中的模型被用来寻找当前证券价格中的定价误差。其次,被错误定价的证券价格最终会收敛于Q Quant模型的预测值(见下图)。因此,P Quant中的预期收益,或者称为“alpha”,就可以通过比较当前的错误定价和Q模型的预测价格来确定。第三,如果alpha是正的,则建立多头头寸,即买入定价错误的证券;反之,则建立空头头寸,即卖空定价错误的证券。其实现阶段的很多量化平台,比如优矿、聚宽、掘金、果仁等还是P Quant为主,毕竟建立在历史数据上的策略更加靠谱。
-
P是近战英雄,Q是法力英雄,前期Q很厉害,后期全靠P撑场面。
不过,我这水平肯定是Q了,希望P派们手下留情。 -
首先确认下问题:P quant和Q quant哪个是未来是指行业发展规模?升值空间?就业难度还是别的什么东西?实在抓不住问题是什么,又有机会在两边短暂的带过,那么就简单说下我对这两块的理解。首先两便所需要的专业技能重合度有一些,但是挺不同的。Q那块使用的大量的随机过程,借助蒙特卡洛模拟和偏微分方程定价和计算希腊值,编程的话也有要求,但是大的投行还是会招收数学专业的学生去写相应的程序。问过老大为什么不招IT的直接培训下数学,老大说相比较而言IT容易培养一些,使用的编程语言在非系统学习的情况下也是可以维护的。但是相比较而言数学这边基础不到位想补上的话需要的时间成本会很大很大。P这边使用的技能就是个万花筒,即使是量化,也很不相同,比如说有统计套利的,信号分析的,趋势追踪的,中值回归的,还有结合基本面的量化分析,不需要什么Q那块的知识,因为交易的品种都是流通非常好的衍生品,所以形式简单,多为delta one的产品。有一些期权的,但是还局限于交易所里边的产品,而且期权交易员不会使用新的或者复杂的模型,也即是说有个black sholes,在加个波动率的模型就可以啦。为什么要波动率?因为期权这个很多时候交易员交易的是volatility,所以需要自己的模型来判断市场的vol偏高还是偏低。所以不怎么涉及概率,蒙特卡洛和偏微分的东西。碰到过的exotic trader,貌似大部分都在大投行里边。量化对冲基金使用exotic option?见识有限,还没碰到过。P这块所使用的IT技能分两块,因为不像是投行里边的Q quant需要去维护pricer,所以分为专业的IT和搞策略的所需要掌握的IT。做策略的需要的IT技能要求是在Q之下的,因为什么语言都可以自己选,哪怕是R,matlab这样的工具也可以(虽然R,Matlab是计算机技能,但是不敢认可其是编程语言,个人觉得他们是以excel一样的工具形式存在的,相比较C++等还是有很大的区别的)。专业的P IT更加注重速度,所以要求还是很高很高的,也有很多这样的IT说自己是P quant或者 quant dev的,但是实际上专注的东西很不一样,更加偏向developer,量化方面的涉及多少因为不了解所以不做评论。职业发展的话两个也挺不同的。但是一般从投行入门还是一个常规线路。也有很多PHD直接去了量化对冲基金的,条条大路通罗马。Q 这块因为业务主要在投行里边,所以门槛还是有的,目标院校和专业肯定是存在的。比如伦敦金融街上的quant一半都是法国人,简历上贴个NB的专业名字一般都会换来一个面试。当然这个是道听途说。有幸在巴黎一投行的quant组工作过,整个组40多个人,一半左右都是法国排名第一的那个量化专业的出来的,当然PHD的比例也很高,接近50%,很多博士做了一段时间助教过来的。当然组里每个小组的专注业务还是区别很大的,其中近一半都是处理市场数据偏IT的。后期发展的话因为这个行业已经很成熟,所以晋级机会比较受限,不过如果仅仅只是关注钱的话报酬还是可以的,其次工作压力小,因为不直接面对交易,不承担太多风险。问我老大为什么做quant在巴黎不去伦敦?他说巴黎压力小,节奏适度,可以更好的平衡生活和工作。另外我发现去quant组做free lines的consulting貌似报酬很高(投行付的钱应该是自己员工的4-5倍,但是没有奖金和福利,工作压力稍微大一些,但是时间也自由,说走就的旅行是可以有的,自己就是自己的老板),相应的不稳定,投行可以随时停合同,但是内部员工的话投行想结束合同这个问题就非常的麻烦,这也是为什么投行即使愿意找consulting也不愿意招人。P 这块能聊的可能只有research这块,带头的一般都是在大基金公司或者投行自营部出来的,带着一些新手research搞策略。门槛的话不好说,现在机器学习很火很火,再加上挣钱这个东西市场会给最直接的反馈,挣不挣钱一眼就可以看到,所以不管黑猫白猫,能抓到老鼠就是NB。所以来说大的hedge fund要求还是很高很高的,能进一个业界响当当的hedge fund,比如citadel,jump trading,难度比进世界top 10或者本国top 3的投行要难。当然另外还有很多小的hedge fund是比较open的,愿意给更多的机会。可能会有一些抱团的现象,比如喜欢招校友,自己不了解所以不多说。发展而言的话,research在有了自己的策略之后是可以拿策略提成,所以有种一般不开张,开张吃几年的情况。压力不小,因为没有策略的时候还是很焦灼的,在加上政策,和现在策略更新迭代,有效盈利期也越来愈短。后期发展有可能一直做策略,也可能成为基金经理。IT那块的话自己不了解,所以不多说。两者的市场规模趋势?这个问题其实回答了相当于没有回答,08年的经济危机使得Q的需求没有之前那么高,但是之前的那些衍生品还是存在的,所以需要这样的人才去维护之前的定价系统,导致Q成了一个概率,数值分析和编程相结合的岗位。再次爆发性的增长不知道,国内现在去年开放50etf 期权,称为期权元年,后边发展怎么样看不透,所以不乱说话。现状是市场不大,同时竞争非常激烈。市场上毕业1,2年还在找工作的也大有人在。P的需求相比较Q应该更强,缺人才,不缺大部队。一般量化私募十几个人,有一半做research已经很多很多啦,再加上量化私募在中国还是很小众的存在,所以真正做这些的真的不多。而且做这个的一般不会说自己做这个,说自己做这个的一般不做这个。另外还有很多公募,券商做research的,不过他们不叫自己的quant,他们说自己的是金融工程的。券商的靠出报告,排名什么的。收入很高,很高。自己了解的理想的职业线路是毕业先进公募或者券商,因为是大机构,压力小,有时间静下心做研究,报告的话出点边缘的东西就可以啦,核心的话应该不会报告出来吧,毕竟是自己将来吃饭的家伙。相应的大机构门槛很高,碰过过一个国内金工新财富第一的团队中的一个人,聊过之后觉得自己还是too young too simple, always navif。进门的时候看了下前面来访的登记,清一色清华,一个北大。之外真的没有别的院校啦。PS:其实这两个方向都很有趣,争个谁强谁弱没有什么意义,因为不同所以没有办法比较。选择方向的话就按照自己的兴趣来定好啦。被选择的话就别想那么多,有人要就很不错,因为市场真的竞争很残酷。个人建议有机会还是先在自己简历上印几个大机构的名字,这样子职业线路会稳妥很多。钱途而言,真的想挣钱还是不要入行,因为能挣钱的机会太多了。最最后建议,做自己喜欢的事情。多少人因为钱入了这个行是因为真的喜欢?我记得面试的时候说自己喜欢和(shi)最(ji)聪(shi)明(gang)的(bi)人(ye)一(wu)起(xing)工(que)作(jin)。就像是某度CEO喊着不忘初心,做的却看(zhuan)不(zhu)到(yu)初(li)心(yi)。我想他也有苦衷,和我类似,诚实点就会活地很艰难。
-
简单说,Q派的主要工作是为新设计的衍生产品提供一个交易双方都可以接受的risk-neutral的”公平“(non-arbitrage)价格。由于衍生产品是新生事物,大部分没有历史数据可以借鉴,而且产品细节条款不同,所以更多依赖模型来解决问题。为了模型的方便和解模型的便利,Q派所有模型都要对市场环境和资产价格分布做一系列的假设。P派则从数据出发,找寻数据中的统计关联,预测(占卜)未来价格走势,设计交易策略。金融危机以后,大家认识到衍生品的复杂度和风险远超过模型的衡量,再加上衍生产品市场的监管加强,这一切使得新产品的需求大大减少,从而也降低对Q派的需求。
-
@疯狂的猫
我个人把金融草率地分为三类,一类是金融服务(包括了IPO上市,并购,银行,金融咨询等等服务)这一类比较注重一个人的“综合能力”也就是软实力(包括了搞定客户啊,基本的财务分析,说服客户,写报告的水平,加班和喝酒的能力等等哈哈)。第二类是金融实体投资能力,或者说基本面分析(包括了PE/VC,还有这种直投部门等,直接投资于各类公司,而非股票市场),这类看中的是对于特定行业的理解,财务、市场未来趋势的分析能力以及“识别人的能力”。最后一类就是金融市场量化研究(包括了交易策略,资产配置,投资组合策略,风险管理,高频交易等等)这类需要扎实的数学、统计、计算机算法的功底,以及对经济和金融的“直觉”。。。我在这里重点就说说我对于最后一类的看法。。。 学金融的人,甭管是不是金融工程,必须学过Black-Scholes,和最简单的Binomial tree二叉树期权定价,我把这类方法称为 the risk neutral measures的代表,尊重文献简称Q measure的代表,意思是这类金融工程定价方法是基于风险中性世界(risk neutral)这一假设的,利用risk-free rate而非真实的risky rate来求得一个“极其理论”的价格,这一派使用的技术主要是:随机积分和偏微分技术;当然了,学金融的人也必须学过计量经济学和时间序列回归,我把这类基于统计的方法称为real-world measure的代表,简称为P measure的代表,意思是这类方法是基于真实世界所发生过的数据sample data/training data来建立/训练模型,试图最小化test Mean Squared Error(test MSE,注意不是sample MSE)来拟合整个population data的情况。(事实上经济学家对于计量经济学的贡献仅有instrumental variables regression(翻译为:工具变量)这一项“小技巧”,其他都是照搬线性回归统计学家的功劳,将线性回归称为计量经济学实在有失偏颇 LOL) 这一派的技术主要为:计量、时间序列、更加复杂的统计学习/机器学习(machine/statistical learning)。 在2000年以前Q measure方法占据了绝对统治地位。因为P measure是基于统计的方法,或者称为机器学习machine learning/统计学习statistical learning,需要大量的数据去“训练”模型得到模型的参数或者分类的标准(例如我们的计量经济多元回归,或者利用logit、probit、Fisher线性判别等来进行分类)。。。而且越“先进”的模型因为自由度增加,对于数据量的要求就越高,否则效果还比不上最原始的计量经济学线性回归或者GARCH ARCH这些玩意。特别是1980年之前,金融市场不如当今发达,数据量也不足,导致这类基于statistical learning的方法举步维艰。而Q measure不需要大量数据,仅仅利用假设以及随机积分、偏微分方程等技术就可以为新产品定价,因此至今卖方都在利用Q measure来为新产品定价,因为新产品木有任何市场价格数据。(本人绝对没有任何亵渎B-S公式伟大发明的意思。。。)。 着重使用随机积分的 Q measure其问题也显而易见:risk-neutral太过于理论化,算出来的价格基本不会等于市场上的真实价格,仅仅只能拿来当做一个“参照物”而已。而且B-S假设波动率不变,为了解决这个问题又引入了隐含波动率以及volatility smile(微笑曲线?)(这是Derman教授研究的范畴,此人是南非出生的犹太人,李政道派系的弟子,哥大量子物理+金融工程双教授,高盛全球量化的老大,B-S发明者Black最得意的徒弟,著名的BLACK-DERMAN-TOY的发明者,以及《宽客人生》的作者,80来岁了每周依然上2-3门不同的课,而且坚持全程站立写黑板不用ppt,想想国内的某些“大牛”教授的作风我就呵呵了。。)。但对于买方来说,粗略的“价格参照”显得毫无意义,几十个bps的差价就会导致上千万美金的利润差额,所以对于hedge fund,PE/VC,HFT等买方定价技术有更高的要求。这个情况就相当于“八仙过海各显神通”了。买方发明了各种赚钱的技术,比如历史场景法(寻找相似的历史场景来预测价格的变化),事件驱动法,直觉与主观判断法(这个中国的基金公司大量人在使用,但是并不是贬义,金融工程最重要的不是数学,而是“直觉”!当然前提是你的直觉要够准。。。。),宏观模型驱动(例如美林投资时钟,这个大陆和台湾超级喜欢用,我也不知道why)等等。。。而其中最重要最主流的,便是P measure(statistical/machine learning)。 最早系统地采用机器学习,打破Q measure垄断的对冲基金是DE.Shaw,由哥大计算机系机器学习方面的大牛David Shaw教授于1980年左右创办。该基金创立至今一直是世界最顶级的几家对冲基金之一,另一家最顶级的对冲基金Two Sigma的创始人则是Shaw教授的徒弟。Prof. Shaw也因为下海炒基金在上世纪就早早上了福布斯全球富豪榜(年轻人更牛,去年对冲基金个人收入排行榜里面前几的人个个都有十几、二十多亿美金的年收入)。不过该公司招人只喜欢全球信息技术竞赛和全球数学奥赛的金牌得主(现在公司大概有40-60个金牌。。)。我一个朋友是NOI的银牌,哥大计算机phd,申请暑期实习直接被鄙视,面试都没有给。。。。类似的Two sigma,DE.shaw还有搞trading的Jane street这类公司如果在核心部门,运气好第一年年薪就可以达到30-40万美金。我一个中国人朋友是MIT的理论数学全奖本科,本科毕业直接去Jane street,第一年就弄了45万美金。。。base虽然只有10多万刀一年,但是bonus超级高。。。。 P measures现在正被大量运用于买方,甚至部分卖方以及风险分析上面,而且趋势越来越明显,可以说未来10-15年必定大有发展,这也是金融工程技术发展的一个新阶段吧。 另外 我认为这些机器学习/统计学习(P measure)的方法用于金融领域遇到的最大麻烦主要有两个:第一,金融数据有极大的noise(例如在Blackrock的师兄目前就在参与搭建Blackrock的机器学习的大框架,发现即便是房利美房地美提供的数据也有极大的缺失与失真),这导致更加复杂(或者更加flexible)的非线性模型的预测效果在某些情况下甚至比不上最简单的线性回归模型。因为更加复杂的模型的degree of freedom自由度上升,有可能导致过度拟合,对于noise更加敏感。如果不懂得如何很好地处理这些noise,或者无法获得充足的数据量,亦或对于复杂模型缺乏深入理解,那么还是使用最简单计量经济学以及金融计量为好。第二,复杂的模型缺乏“金融理论解释能力”。比如最常用的PCA主成分分析法,我们可以非常容易地得到一个“principal market portfolio”也即是市场组合。但是这个市场组合却很难被“解释”。相反,因素模型(factor model)的求解过程可能会劣于PCA,但解释能力更强。 如果想往Q measure发展,那么要学习随机积分以及偏微分方程这类传统的数量技术;如果对P感兴趣,则重点学习时间序列,线性回归,机器学习技术。其他相关的课程有:运筹学、动态规划、模特卡洛模模拟、随机过程等等。。。 这篇东西可能主要是为国外党们服务的,当然对于国内的金融工程发展方向我觉得也有一定启发吧。。。毕竟中国的金融市场也是要逐步放开发展的。。。 -
我个人把金融草率地分为三类,一类是金融服务(包括了IPO上市,并购,银行,金融咨询等等服务)这一类比较注重一个人的“综合能力”也就是软实力(包括了搞定客户啊,基本的财务分析,说服客户,写报告的水平,加班和喝酒的能力等等哈哈)。第二类是金融实体投资能力,或者说基本面分析(包括了PE/VC,还有这种直投部门等,直接投资于各类公司,而非股票市场),这类看中的是对于特定行业的理解,财务、市场未来趋势的分析能力以及“识别人的能力”。最后一类就是金融市场量化研究(包括了交易策略,资产配置,投资组合策略,风险管理,高频交易等等)这类需要扎实的数学、统计、计算机算法的功底,以及对经济和金融的“直觉”。。。我在这里重点就说说我对于最后一类的看法。。。 学金融的人,甭管是不是金融工程,必须学过Black-Scholes,和最简单的Binomial tree二叉树期权定价,我把这类方法称为 the risk neutral measures的代表,尊重文献简称Q measure的代表,意思是这类金融工程定价方法是基于风险中性世界(risk neutral)这一假设的,利用risk-free rate而非真实的risky rate来求得一个“极其理论”的价格,这一派使用的技术主要是:随机积分和偏微分技术;当然了,学金融的人也必须学过计量经济学和时间序列回归,我把这类基于统计的方法称为real-world measure的代表,简称为P measure的代表,意思是这类方法是基于真实世界所发生过的数据sample data/training data来建立/训练模型,试图最小化test Mean Squared Error(test MSE,注意不是sample MSE)来拟合整个population data的情况。(事实上经济学家对于计量经济学的贡献仅有instrumental variables regression(翻译为:工具变量)这一项“小技巧”,其他都是照搬线性回归统计学家的功劳,将线性回归称为计量经济学实在有失偏颇 LOL) 这一派的技术主要为:计量、时间序列、更加复杂的统计学习/机器学习(machine/statistical learning)。 在2000年以前Q measure方法占据了绝对统治地位。因为P measure是基于统计的方法,或者称为机器学习machine learning/统计学习statistical learning,需要大量的数据去“训练”模型得到模型的参数或者分类的标准(例如我们的计量经济多元回归,或者利用logit、probit、Fisher线性判别等来进行分类)。。。而且越“先进”的模型因为自由度增加,对于数据量的要求就越高,否则效果还比不上最原始的计量经济学线性回归或者GARCH ARCH这些玩意。特别是1980年之前,金融市场不如当今发达,数据量也不足,导致这类基于statistical learning的方法举步维艰。而Q measure不需要大量数据,仅仅利用假设以及随机积分、偏微分方程等技术就可以为新产品定价,因此至今卖方都在利用Q measure来为新产品定价,因为新产品木有任何市场价格数据。(本人绝对没有任何亵渎B-S公式伟大发明的意思。。。)。 着重使用随机积分的 Q measure其问题也显而易见:risk-neutral太过于理论化,算出来的价格基本不会等于市场上的真实价格,仅仅只能拿来当做一个“参照物”而已。而且B-S假设波动率不变,为了解决这个问题又引入了隐含波动率以及volatility smile(微笑曲线?)(这是Derman教授研究的范畴,此人是南非出生的犹太人,李政道派系的弟子,哥大量子物理+金融工程双教授,高盛全球量化的老大,B-S发明者Black最得意的徒弟,著名的BLACK-DERMAN-TOY的发明者,以及《宽客人生》的作者,80来岁了每周依然上2-3门不同的课,而且坚持全程站立写黑板不用ppt,想想国内的某些“大牛”教授的作风我就呵呵了。。)。但对于买方来说,粗略的“价格参照”显得毫无意义,几十个bps的差价就会导致上千万美金的利润差额,所以对于hedge fund,PE/VC,HFT等买方定价技术有更高的要求。这个情况就相当于“八仙过海各显神通”了。买方发明了各种赚钱的技术,比如历史场景法(寻找相似的历史场景来预测价格的变化),事件驱动法,直觉与主观判断法(这个中国的基金公司大量人在使用,但是并不是贬义,金融工程最重要的不是数学,而是“直觉”!当然前提是你的直觉要够准。。。。),宏观模型驱动(例如美林投资时钟,这个大陆和台湾超级喜欢用,我也不知道why)等等。。。而其中最重要最主流的,便是P measure(statistical/machine learning)。 最早系统地采用机器学习,打破Q measure垄断的对冲基金是DE.Shaw,由哥大计算机系机器学习方面的大牛David Shaw教授于1980年左右创办。该基金创立至今一直是世界最顶级的几家对冲基金之一,另一家最顶级的对冲基金Two Sigma的创始人则是Shaw教授的徒弟。Prof. Shaw也因为下海炒基金在上世纪就早早上了福布斯全球富豪榜(年轻人更牛,去年对冲基金个人收入排行榜里面前几的人个个都有十几、二十多亿美金的年收入)。不过该公司招人只喜欢全球信息技术竞赛和全球数学奥赛的金牌得主(现在公司大概有40-60个金牌。。)。我一个朋友是NOI的银牌,哥大计算机phd,申请暑期实习直接被鄙视,面试都没有给。。。。类似的Two sigma,DE.shaw还有搞trading的Jane street这类公司如果在核心部门,运气好第一年年薪就可以达到30-40万美金。我一个中国人朋友是MIT的理论数学全奖本科,本科毕业直接去Jane street,第一年就弄了45万美金。。。base虽然只有10多万刀一年,但是bonus超级高。。。。 P measures现在正被大量运用于买方,甚至部分卖方以及风险分析上面,而且趋势越来越明显,可以说未来10-15年必定大有发展,这也是金融工程技术发展的一个新阶段吧。 另外 我认为这些机器学习/统计学习(P measure)的方法用于金融领域遇到的最大麻烦主要有两个:第一,金融数据有极大的noise(例如在Blackrock的师兄目前就在参与搭建Blackrock的机器学习的大框架,发现即便是房利美房地美提供的数据也有极大的缺失与失真),这导致更加复杂(或者更加flexible)的非线性模型的预测效果在某些情况下甚至比不上最简单的线性回归模型。因为更加复杂的模型的degree of freedom自由度上升,有可能导致过度拟合,对于noise更加敏感。如果不懂得如何很好地处理这些noise,或者无法获得充足的数据量,亦或对于复杂模型缺乏深入理解,那么还是使用最简单计量经济学以及金融计量为好。第二,复杂的模型缺乏“金融理论解释能力”。比如最常用的PCA主成分分析法,我们可以非常容易地得到一个“principal market portfolio”也即是市场组合。但是这个市场组合却很难被“解释”。相反,因素模型(factor model)的求解过程可能会劣于PCA,但解释能力更强。 如果想往Q measure发展,那么要学习随机积分以及偏微分方程这类传统的数量技术;如果对P感兴趣,则重点学习时间序列,线性回归,机器学习技术。其他相关的课程有:运筹学、动态规划、模特卡洛模模拟、随机过程等等。。。 这篇东西可能主要是为国外党们服务的,当然对于国内的金融工程发展方向我觉得也有一定启发吧。。。毕竟中国的金融市场也是要逐步放开发展的。。。
-
关于P和Q,各位答主已经回答的很精彩全面了。说一些额外的想法,对Q需求的减少,08危机的后遗症影响是一方面,此外越来越收紧的监管,不管是要加强OTC市场衍生品交易的监管,还是要限制银行的自营业务,对卖方的影响是大于买方的。而卖方是Q主要的就业市场,这样的大形势下自然Q就显得颓势。但是对买方来说,也确实有需要更Q打交道的地方。比如上面有答案中有提到如果想对波动率进行投机;此外风险管理上,如果你投资组合中包含了这类衍生品交易,不管是出于对冲方向性风险的目的,还是投机类目的(上面说的波动率),或者追求杠杠性,那么度量这些组合中衍生品风险的时候,是不得不进入Q里面。一个不太恰当的比方,Q世界以风险中性测度为基准建立了一个不完全符合实际的“沙箱”,作用是将P世界中的价格变动,投影到这个“沙箱”中够建出衍生品来,并能给出其价格。那么要交易“沙箱”里面的东西,就不得不对其有所了解。最简单的,卖方漫天要价时,买方需要落地还钱吧?这个要价还钱过程就需要在“沙箱”里完成的。当然对买方来说对Q的需求要比P小。其实P世界内部,也划分很多种类,高频交易的,量化策略的等等,差别也比较大。知乎上相关的问答也不少,细读很有收获。@袁浩瀚 好像有篇文章提到过Q的传统主场定价领域,也有被P的侵蚀的迹象。但我自己所了解的,这块地方还是Q的铁桶江山,不见P的踪影。可能与我了解的范围不太宽有关,不知道是否有了解的知友。不管Q还是P,都是试图从不同的角度对真实的复杂世界进行衡量,无法尽善尽美是自然的了,各自都用缺陷的地方。这个不奇怪,因为就纯数理自然类的角度来说,依然不是尽善尽美受限制的,何况金融市场是有人参与其中。比如P世界机器学习中的SVM方法,只从纯数理的角度说,感觉其最大的特点是“巧妙”的将低维度数据空间中,不可线性解决的问题,转化到高维度空间进行线性解决。怎么做到“巧妙”的呢?因为其计算过程只依赖样本数据内积的运算,而恰好数学上发现过几个叫“核函数”的好东东,可以做到将低维空间的内积运算,变换为高维空间的内积运算,最关键是不需要关心高低维变换的具体内容,这一下子就让问题简化了很多。详细的资料可以搜到很多,这里想说如果不是“碰巧”发现过那几个核函数,可能就不会有这个方法的兴盛了。对核函数的使用,比如哪些情形下哪个核函数能达到更好的效果,是还没有严密的理论作为支撑的,更多凭经验,出于“黑盒”状态吧。这就是种种限制与不足中得一个例子。但是一来这个领域现在还没有尽善尽美的方法出来,二来即使有限制的条件下也能很好的解决有些问题。所以不管哪种缺陷下的方法,照样不影响大家使用,一来“没的选择”,二来“用着还行”。:)
-
结论就是差别根本没有人们想的那么大,但是因为一些历史和行业的局限导致了现在人们看上去P/Q分得那么开的局面。(其中间接导致了有大量乱来的现象)要讨论这个问题,我们需要分清三样事情:理论源头,市场需求,方法工具理论源头:现代quant的理论源头是现代资产定价理论和现代金融计量现代金融计量和资产定价可以认为是以效市场假说,CAPM和效用论这几个点为萌芽发展起来的。有效市场假说虽然一直被人吐槽说不存在,但是为了证明这个观点的一系列实证统计方法一路下来竟衍生了一系列如何发现市场无效和错误定价的理论,也为今天一系列挖alpha众提供了理论基础。CAPM则是金融的历史上首次把风险从收益里剥离了出来,同时对风险进行了分类,提出了risk premium,system risk等重要的概念。其剥离风险的理念引导了后来定价理论的突破——无套利定价(和后来的BS),其分离风险因子的做法也促成了后来几十年多因子收益模型的发展。同时风险的剥离也开始让人们逐渐关注风险本身的属性,促成了对风险专门量化的研究效用论则是引出了资产组合优化的基础概念:最大化效用。这里根据人们不同的目标,设立不同的手法,也衍生出了一系列现代资产管理理论。我们可以认为,quant是一个使用数理统计和计算机方法,以不同方法不同目标从各个角度上在各个领域实现和完善上面三个方面的职业。因此P/Q应该是同源的,尽管观点不一,但是都需要遵循共同的“基本法”,都有内在的金融逻辑,这一点上无所谓谁是“未来”。市场需求:接下来说市场需求,这也是传统意义上所谓P/Q的不同金融市场上有很多类人,我们可以很粗浅的把他们分为两类:投资者和代理人。两者目标的不同造成了最原始意义上所谓P/Q的分别(wiki可查)。所谓投资者视角,基于一般意义上的希望赚取超额收益的那一批人,我们可以狭义称之为“赌徒”或者“买方”。由于这批人希望获得超额收益,所以他们要求更高质量的资产,更好的资金管理,或者更高的收益。而另一类所谓代理人视角,可以理解为一批为金融市场里参与者提供服务,创造环境的人,我们可以狭义的称之为“赌场老版”或者“卖方”。由于这批人希望他们的业务稳定,减少风险,所以他们需求更稳定的环境,更少的风险和更安全的市场。这两者的差别也是一般传统意义上的P/Q差别。但是,上面这种分法其实非常武断。因为没有人规定大到一个机构,甚至小到一个参与者必须是投资者和代理人两者之一。所以一个机构,甚至一个小小的建模者不是所有业务都必须只有一个视角,因而我们都不能非常武断的说他是所谓的P还是Q。只不过某一些非常特殊的业务中,一个人确实只能在两者中饰演其一,比较典型的投机者和衍生品制定者,这两者是比较典型的play in a unique role 的场景。那么比较容易明白的是,之所以通常上认为买方就是P的原因是就因为存在大量的投机者,他们明确要预测(先不管能不能预测这个问题,这是个很大的问题),明确要alpha,身份比较单一,久而久之就形成这样角色上的错觉。当然如果非要狭隘的回答这个问题,按照现在就业机会来说,显然“P"是比”Q“更有未来的。那么是什么问题导致的现在大家看到的所谓P/Q分得这么开,这么不能沟通,甚至导致要问出这汇总到底哪个是未来的狭隘问题呢?其历史原因就是我们要讲的第三点——方法工具方法工具:首先必须指出,这个回答下很多问题就是因为上述和下面要讲的很多历史和市场原因,已经把彻底的把这种本来就有点狭隘的分法干脆的认为成两者就是方法工具上的区别传统数理统计学方法和机器学习都只是方法,没有说在投资领域就必须不能随机过程,也没有说在卖方业务里只能用传统统计手段。反例太多不一一举例,下面只讨论传统统计理论和机器学习这些的区别。(实际上,买方用传统统计的大有人在,而有些人直接把买方,P和机器学习画上了等号)这个问题要从传统数理统计方法的“原罪”(局限)说起,传统概率论,数理统计方法(就是大家普遍认为的所谓“Q系那一套”)的局限其实是非常大的。市场的分布远比我们想象的复杂,而复杂的分布不能用简单的模型去拟合,所以传统统计学方法中人们用了越来越复杂的假设和越来越细的模型去应对复杂的市场,比较典型的就是Levy Process。这种复杂模型哪怕没有逻辑问题, 能真实描述市场,也有一个不可避免的弊端,也就是众人所说:复杂模型难以拟合。一个复杂的模型,首先拟合方法就其复杂;而就算找到了拟合度方法,拟合过程中的复杂优化的不鲁棒又成了新的问题;同时,尽管现计算机技术和算法一直在进步,但是还是架不住复杂模型带来的构造,维护,拟合,模型审查的成本(至少不是所有人都架的住)鉴于这种原罪,机器学习带来了一些解决途径和思路。机器学习里有非常好的降维,非参和分类手段。一旦我们明确了问题,限定了场景,完全可以某些特殊算法来解决固定问题。比如债券利率期限结构高度相关时的对冲问题,可以很好的被机器学习一个简单的降维方法PCA实现。又比如统计套利里回归均值不稳定的问题,也可以被HMM设置多个状态来实现(虽然这个做法本身有问题)。风险管理里,一些算法的应用也是数不甚数(比如logit regression,k-mean classifier)这么说来,方法工具都是用来结局具体问题的具体手段,越来越多的交叉应用也出现了。那么随机过程,机器学习,就像@抽象猴所说,用什么方法不应该分的如此之开,如此之狭隘啊但是为什么会变成这样呢?为什么现在这个甚至都没有明确界限的所谓P/Q,竟然差别已经大到很难沟通了呢,甚至要分哪个是未来了呢?接下来的话真的不能再往下说了……上面的一些黑体地方透露了黑猫自己一点小小的想法,很多业内读者应该已经知道是为什么了,这里既有历史和观念的局限,也有圈子的竞争和分离,还有市场的环境的变迁。懂的人心知肚明,不懂的人云里雾里。黑猫写这个答案的目的也仅仅是为了宣扬一下这样的观点(顺便鞭策一下自己)所谓P/Q本是同源,无所谓谁是未来方法工具没有界限,用到再学自然好模型要遵从基本法,要有自己的逻辑更重要是,要随时更新自己的理念,不要用着先进的技术模型,做着落后的事情
-
trading界基本都是p quant,因为很少用stochastic这种东西。q quant主要在sell side,之前被裁的都是这帮人,唔,现在街上找不到工作的还是他们。这也不是说q quant就没需求,一般做research还有exotic比较多(当然他们是不是在扯淡你就自己判断了)。当然quant整体的就业也是处于下滑的情况。至于哪个有未来,这真不好说从理论上说q和p的区别在于q重要的是reasoning,你必须弄一个可以自洽的体系,不能搞出自我矛盾的东西。比如说在实际经验中,做treasury futures的trader都喜欢用yield,但是在数学上你不能这么搞,你必须calibrate一条interest rate曲线出来,或者说弄一个fwd rate曲线出来,然后严格的根据hjm框架进行建模。这是因为quantitative的一切理论基础基于non-arbitrage,否则你搞出来的东西就不满足理论框架——例如余项的独立随机性和高幂下的稳定性会受影响(很多模型的余项在高幂下是发散的,这和正态分布的理论相违背)。但在实际经验中,如果你有交易所的数据,你就会发现真实数据是很难满足理论要求的,比如说garch吧,你很难发现余项会满足模型的基本要求。再比如说options的定价,就算你把levy process用上搞很多fancy的model也很难弄出稳定的参数——所以大家还是用BS,弄一堆vol surface出来。所以对交易员来讲,从头开始用理论推导定价(q quant)就和用cash flow来对股票定价一样不靠谱,因为这是个事倍功半的事情。所以p quant给人的感觉就是“简单粗暴”,我搞出的model就算不稳定不要紧,只要差不多正确,能赚钱就可以,错了的话直接stop loss就行了,反正没有model是永远正确的。
-
先来介绍一下本篇主角,Q宗与P宗。Q是指风险中性测度。风险中性的意思主要是说历史数据不能帮助你预测未来的走势,所以你的决策是没有风险补偿的。这当然是一个非常虚幻的假设,但是由此而得的模型可以给出漂亮的数学性质,而且可以在缺乏数据的情况下得到一些结论,所以有一定的实际意义。涉及的数学技术主要是随机过程,偏微分方程之类。在数学派系里,这些显得相对高端,一般人概念里都是那些脑袋不太正常的人类捣鼓的玩意。
P是指真实概率测度。所谓真实,主要是说模型依赖的概率分布是从历史数据上估算出来的。严格来讲我个人不认为这种东西叫做“真实”,最多只能说是从真实数据上估算出来的,显然没有什么东西保证历史一定会重演(比如黑天鹅)。但是这个是目前大家公认的说法,所以咱们不较真。从定义可以看出这套方法主要依赖数据,数据量越大估算的效果越好。涉及的技术主要是时间序列(ARIMA,GARCH之类),Bayesian,以及现在流行的机器学习等方法。不难看出,为了倒腾数据,这套方法练到上层就要开始刷装备。在电子化时代这最终演化为拼机房的军备竞赛。
两者对比可以看出,Q重模型而轻数据,P则重数据而轻模型。当然两者也都要即有模型也有数据,但从应用上来讲,Q者是模型固定,用数据来精化模型的参数(calibration);而P者则可以有若干备选模型,由数据的计算结果来选择最佳的模型(estimation)。这个区别也造成在业界的划分。Q可以让你在缺少数据的情况得出一些结论,从而可以凭空制造一些东西出来,所以卖方(投行)用来做衍生品定价,业务模式是开发新的衍生品出来卖出去。P则喜欢大数据量,这天然就是买方(Hedge Fund类)所需要的技术,因为他们本来就需要针对大量证券做出筛选和投资决策,业务是数据驱动的。理清两者的区别后,就可以看出发展方向上的不同。本质上说,Q宗是一种制造业,大家比的就是造出更多更好的衍生品来卖,但如果生产出来的东西没人买,显然生意就做不下去。而P宗其实属于服务业,那些数据技术不会给你创造出什么新产品,而是通过对本来就存在的业务(比如投资决策)进行精细加工,来达到优化的目的(特别值得强调的是,量化的核心价值始终在于优化,绝非单纯追求所谓alpha者之超额收益。事实上,若你真能堪破此间真谛,牢牢把握住优化求精的思想,即使不关心alpha也足以让你在乱世中安身立命)。但如果大家都在既定条件下优化到了极限,显然也就不会再继续投入。分析到这里可以看出,这两者的思路都有可取之处,从逻辑上讲都有继续发展的空间。以长远的眼光来看,很难分出高下。但回顾历史,P宗一度因为走的是统计一派处于数学鄙视链底端的屌丝路线,手里的数据也实在不够看,很长时间里挺不受人待见的。
在那段非主流的日子里,生活挺心酸的。大家经常嘲笑他们搅来搅去就会弄点回归,算个均值,太没出息。手里的数(kou)据(liang)有限,没事只能发呆。
在那个洪荒的时代,也实在没什么好装备,练功只能靠山寨。
同一时段,Q派则充分发挥人脑优势,逼格逆天。华尔街上,精通此道的数学物理博士们一时风头无两,是各大行纷纷争抢的宠儿。主流金融机构都在热衷于开发各种复杂的衍生品,发挥到极致后可以把能卖的不能卖的都打包到一块,盘子越做越大,一派不尽长江滚滚来的势头。(丧心病狂的)他们甚至连诺奖都不放过。另外当年衍生品大行其道的时候,Q宗的定价能力甚至还可以用来寻找市面产品的错误定价,从而发现能直接盈利的套利机会。这一切给Q宗带来爆发式的增长。
但时来运转,进入新世纪,开始出现Q弱P强的趋势。这里面主要有两点原因。第一是08年金融危机一来,已(zou)臻(huo)化(ru)境(mo)的Q宗搞出来的那些已经无人能看懂的衍生品贱贱地一把烧掉了大家的钱,让人们意识到这条路线的危险性。
08年在Q宗的心底留下一个挥之不去的烙印,华尔街上Q宗子弟尸横遍野,自此之后风光不再。更甚者,在当年辉煌的废墟之下,大量遗留下来的已经定型的Q类工作不再需要太多的数学分析,反而蜕变成相当机械性的体力活。而伴随着竞争者的涌入,定价错误的机会也一减再减。这一切成为了今日Q宗的梦魇。但若透过现象看本质,你会发现人家的心法根基仍在,说不定哪一天就会上演绝地反攻。永远不要低估一个文艺青年追求理想的决心。
第二点,随着IT业接二连三的产业升级,个人电脑,互联网,到现在的智能手机,催生出能极其方便的处理海量数据的计算技术,美其名曰“大数(xing)据(zuo)技(suan)术(ming)”。这直接带来P宗迫切需要的装备升级。
同时金融业也开始推行电子化。交易所的电子化,以及自动化交易直至最近的高频交易,带来交易数据的极速增长。技(zhuang)术(bi)和数(mei)据(zi)二者兼具,P宗心中梦幻的舞台开始浮现,一举成为时代选择的新星。而在这个拼爹的新世纪,假人力者似乎注定只能在其背后叹息。
但不要忘了,天下武学本是一家。若执着于派系之分,终不免落入下乘。要想达至Quant最高境界,就必须要了解宇宙苍生。事实上,Q宗一派已然深谙此道。君不见各大藤校Q宗培训班早已明修暗渡引入P宗修习课程,正所谓蓦然回首,那人已在痴痴地等。此道亦应为P宗所用。武学正宗是为Q中有P,P中有Q,道法自然。
由是者,古老的数学家们用纸与笔推演的疯狂,在数字化时代化身为集成电路中奔驰的0与1。我相信时至今日,人们仍未能完全明了此间图景的全部可能。在新的时代,程序代码已经开始成为继数学之后的新生一代科学普适语言。硅基装备给碳基人类带来的,绝不仅仅是逼格与基情,更是希望之翼。
随着人们生产,收集,分析数据的能力大规模提升,我们眼前展开的是一个前所未有的数据时代。也许,在浪潮之后我们会发现这场数据盛宴并不一定能带来对世界本源的更深层认识,但是在这时代开端,无人知晓山的另一边是什么风景。好奇心的驱使已经足以使世人疯狂。问谁又能抵挡住名为可能性者的诱惑呢?混沌已开,英雄将至。世纪新篇的主题词,是为梦想。
And then a hero comes alongWith the strength to carry onAnd you cast your fears asideAnd you know you can survive(完)
-
q quant来自于q measure,也就是风险中性测度。资产定价理论中最基本的原理,就是风险中性测度对应着无套利,无套利对应着可以完美对冲各种风险。所以q quant主要是协助structuring desk和exotic trading desk来做衍生品定价。银行卖那些复杂的衍生品是为了赚手续费(1%左右),并不是与客户对赌。在q quant的协助下,银行把衍生品卖出去,对冲掉所有风险,收客户一笔手续费,这才是sell-side最本职的工作。而p quant来自于physical prob measure,也就是“预测未来走势”,常见于买方和卖方的自营交易部。所谓预测未来走势,无非就是寻找under-priced risks/over-priced risks(不好意思不会翻译),也就是所谓的“找alpha”,因此p quant也叫alpha quant。所以,q quant做的是“如何不承担风险”。p quant做的是“承担哪些风险”。这两类quant的界限其实可以很不明显。举个例子,volatility trading做的就是对冲掉股票价格风险(q measure),预测未来波动率走势(p measure)。哪类quant更有前途,要的是经济周期。所谓“乱世买黄金,盛世兴收藏”。那些奇奇怪怪的衍生品,由于收益率高,在市场流动性过剩的时候会很受欢迎,所以前段时间银行们招了不少structured product pricing quant。而p quant的表现,通过量化投资的对冲基金的收益率就可以看出来(去年不太好)。不过,q quant是cost centre,p quant是profit centre,这也就意味着两者的待遇必然不同。当然,发财得有前瞻性。。。。