华尔街玩转社交网络大数据：利用恐惧和贪婪赚大钱

本篇文章2271字，读完约6分钟

5月28日，当上证综合指数以6.5%的大幅下跌结束一天的时候，恐慌和混乱充斥了互联网。就在投资者难以在坚持还是退出之间做出选择的时候，一个软件会在后台收集这些情绪数据，并进行量化分析，形成具体的投资意见。这是华尔街投资银行、对冲基金甚至纽约证券交易所使用的社交网络股票市场情绪的定量分析方法。

随着股票雷达、投资脉搏和百度股票连接的出现，中国股市情绪的定量分析进入了初级阶段。目前，当市场变得越来越不稳定时，将情绪量化为理性数据可以作为投资者观察整体情况的参考指标。

2015年4月，总部位于波士顿的对冲基金tashtego宣布，它将依靠数据算法和社交网络来分析交易中的客户情绪和投资者行为。这条新闻揭开了华尔街使用的情绪定量分析方法的神秘面纱。

事实上，自2013年美国证券及期货委员会(sec)允许上市公司在社交网络上披露公司信息以来，情绪分析应用在美国股市如雨后春笋般涌现，华尔街投资银行和对冲基金也加入了这一互联网金融浪潮。

社会数据分析公司受到追捧

2013年3月8日，纽约一家数据分析公司Data Miner(Data Miner)的客户接到一个紧急消息，称一艘皇家加勒比游轮抵达佛罗里达州的埃弗格莱兹港，船上所有105名乘客和3名船员都感染了诺如病毒(常见的伴随症状是食物中毒和腹泻)。消息一经发布，皇家加勒比游轮公司的股价就下跌了2.9%。Dataminr的客户在新闻发布前48分钟得知了这一事件。

南佛罗里达新闻广播电台当天下午1点发布的一条推文让数据收集人员感到震惊。dataminr公司的创始人彼得·贝利说:“我们的心被警钟敲响了。”背景语义算法系统发现这条推文与曾经产生相似价值的信息相似。当天下午1点02分，也就是推特发布后两分钟，数据公司的相关客户收到了一封警告邮件。

上面提到的dataminr提供的服务只是近年来美国社交网络股票市场情绪分析浪潮的一个例子。

社交市场分析(sma)和对冲聊天(hedge chatter)等公司基于twitter和facebook等社交网络大数据，收集和分析关于上市公司或事件的在线评论，并进行与股价相关的预测分析。

全球最大的社交数据提供商Gnip发布了《2014年gnip》白皮书，指出社交网络股票市场情绪分析最早始于2010年，其用途仅限于企业分析客户感受。2013年，在美国证券交易委员会(sec)允许上市公司在社交网络上披露公司信息后，包括汤森路透(Thomson Reuters)和彭博(Bloomberg)在内的全球知名数据提供商也开始提供社交网络数据分析服务。

机构和个人的相关申请如雨后春笋般涌现。Dataminr创始人彼得贝利(Peter Bailey)透露，他们的客户包括华尔街五大超级投资银行中的三家，以及一家估值为150亿美元的股票对冲基金公司。

Sma与全球领先的数据分析师markit合作，向3000多家机构投资者提供信息，包括中央银行、华尔街投资银行、对冲基金、政府机构和保险公司。值得注意的是，sma甚至闯入交易所，向纽约证券交易所的用户订阅部分提供实时数据分析结果。

理论基础和数据池更加成熟

市场情绪的分析有理论基础。2002年，心理学家丹尼尔·卡纳曼(Daniel Canaman)和经济学家弗农·史密斯(Vernon Smith)分享了今年的诺贝尔经济学奖，因为他们对行为经济学的研究将心理学和经济分析结合起来，使这个分支学科在沉寂了几十年后真正进入了公众的视野。

2010年，美国印第安纳大学和英国曼彻斯特大学的三位学者联合发表了一篇名为《推特情感预测股市》的论文，指出基于大量推文分析的公众情绪与道琼斯工业平均指数相关，甚至具有可预测性。

他们选取了2008年2月28日至12月19日的近1000万条推特作为样本，并用两种情绪跟踪工具对它们进行分类。一个是开源工具固执己见者，它将推特分为积极和消极情绪；另一个是基于临床医学中使用的情绪状态量表(poms)新开发的情绪测试工具Gpoms，它可以将公众情绪分为六类:平静、警觉、自信、精力充沛、友好和快乐。

研究人员发现，将“酷”情绪指数向后移动三天与道琼斯工业平均指数惊人地一致，这意味着推特反映的情绪可以预测三到四天内的股市变化。此外，研究人员还测试了一个名为sofnn的股市预测模型。当只输入股市数据时，模型的准确率为73.3%；添加“酷”的情感信息后，准确率上升到86.7%。

如何通过分析软件过滤每天数百亿条微博中的有效信息，已经成为量化市场情绪的关键，而专业算法已经成为过滤有效信息的利器。

对于相对成熟的美国公司，他们可以使用广泛的数据池。《国家商报》的记者注意到，该行业三个主要参与者的信息来源，即dataminr、sma和hedge chatter，分为两种类型。

一个是依靠英国的数据银行和美国的gnip，世界上最大的专业数据提供商。datasift数据池中有21个以上的网站，具有强大的信息过滤算法，每秒可以挖掘12万条推文。除了twitter、facebook、wordpress和tumblr，这个数据池还包括照片社交网站instagram、视频分享网站youtube和dailymotion，其中datasift已经获得了新浪微博和腾讯微博的资源授权。

其次，公司使用自己的语义分析方法来细分数据。例如，sma已经锁定了30多万专业投资者，他们密切关注资本市场趋势，并定期发布股市推文。因此，它成为形状记忆合金数据库的基本来源，并每月自动过滤和替换它。