异常建模
2008年5月21日 | 作者： 瓦尔卓普（Mitchell Waldrop） | 栏目： 信息科技, 最新文章
预测在我们的现代生活中扮演了一个重要的角色：下次飓风会在何处登陆？股市如何对房价的下跌做出反应？谁能赢得下次大选？现有的计算机模型已能相当准确地预测许多事件，但异常事件仍会出现，我们也无法消除它们。但微软研究所适应系统和交互小组组长霍尔维兹认为，使用一种他称为“异常建模”的技术，我们至少能将这些异常事件减少到最低限度。
霍尔维兹强调，异常建模并非要造出一个技术水晶球来预测股市明天的走势或基地组织下个月要采取的行动。但他说：“我们可以利用这些方法来研究我们过去曾遭遇过的异常事件，然后建立起未来可能发生该类异常事件的模型。”其结果可能会给卫生保健、军事战略、政治和金融市场等诸多领域的决策者们提供帮助。
霍尔维兹表示，当然，这只是一个远景，但它在现实世界的应用已开始了，这就是SmartPhlow系统。自2003年起，霍尔维兹和他的科研小组一直在微软公司开发和测试这个交通预测服务软件。
SmartPhlow既可在台式电脑上工作，也能在微软的袖珍电脑设备上运行。它利用一张城市地图来描述西雅图的交通，车流量大的高速公路用红色标示，交通流畅的路线用绿色标示，但这只是个开始。霍尔维兹说：“毕竟，西雅图的大多数人都知道，在交通高峰期走某某公路肯定不是个好主意。”如果一台机器不停地告诉你已经知道的事情，那肯定会令你生厌。因此，霍尔维兹科研小组添加了一个只在异常情况下才予以提醒的软件，而异常情况指的是交通出现了大多数人不曾预想的堵塞瓶颈或长期堵塞转而又变得非常的畅通。
但如何做到这一点呢？霍尔维兹表示，要有效地监测异常情况，这台机器就必须拥有知识和远见。在此，所谓的“知识”指的是认知什么情况对人类来说是属于异常的，而“远见”则指的是及时以某种方式预测一个异常情况，使用户有所准备。
霍尔维兹的科研小组从西雅图数年来的交通动态状况和数据着手，并加进能影响这些模式的所有因素，如事故、天气、节假日、体坛赛事甚至高级官员的到访等。然后，再将一个特定路段分成数十个路段。霍尔维兹说：“我们把一天按15分钟的时段进行划分，并利用这些数据计算出每个情景中的交通分布概率。”
分布概率为司机们了解该地区的交通提供了一个相当好的模型。他说：“然后，我们会在数据出现严重偏离平均模式的地方找到可能发生意外事故的种种数据。”结果，他们创建了一个异常交通波动的大型数据库。科研人员一旦发现一个异常的统计结果，就会将时间回调30分钟，来到交通似乎正常的地方，然后运用机器学习运算法则找出该模式中的微妙之处，预测出异常情况。这些运算法则基于贝叶斯的建模技术，即根据以往的经验，计算出某事会发生的概率，然后让科研人员主观判断事件发生的相关性。
霍尔维兹表示，该模型表现得非常突出。当设置的参数使正误判率减少到5%时，它仍能预测西雅图交通系统中近一半的异常情况。如果你觉得这种预测很平常，你不妨考虑一下，它给司机提示的异常情况要比司机从其他途径了解到的多出50%以上。如今，5000多名微软员工都已将这种“异常机”安装在了他们的智能手机上。
霍尔维兹的科研小组正与微软公司交通与道路研发团队合作， 共同研究SmartPhlow系统商品化的潜在价值。2005年，微软宣布已将其核心技术授权给位于华盛顿州柯克兰的Inrix公司。去年3月，Inrix公司推出其Windows移动设备的交通应用平台。该服务可提前从几分钟到5天的时间内为横跨美国和英国的客户提供交通预报。
美国斯坦福大学概率建模和机器学习专家科勒（Daphne Koller）认为，虽然SmartPhlow技术所涉及的内容并非很新，但它们的结合点和应用却非同一般。她说：“从大型数据组中进行异常预测，在监测信用卡欺诈或生物恐怖活动方面已做了颇多的工作。”但她表示，这些工作重视的是监测当前的异常，并非预测不久将要发生的事故。另外，大多数预测模型都不重视统计的异常值，而霍尔维兹的模型却专门追踪统计的异常值。同时，科勒表示，注重人为因素也是他的独到之处。科勒说：“很明显，他正在建立人类认知过程的模型。”
问题是人类活动的多大范围可以采用这种方式建模。但霍尔维兹相信，尽管SmartPhlow采用的算法实质上是特定的域，但总体上应能普及到其他许多领域。就采用异常建模来预测意外冲突等事务，他已与政治学家们探讨过其前景。他乐观地认为，异常建模能预测出许多让专家都感到吃惊的事情，如某些市场中房屋价格的变化、道琼斯工业指数的变化或汇率的波动等等。他称，SmartPhlow甚至还能预测商业趋势。他说：“过去几十年来，许多公司之所以倒闭，就是因为它们未能预见出改变竞争格局的新技术。”
霍尔维兹承认，还有许多应用有待于长期的开发。他说：“这是一个远景，但它非常重要，因为它建立在我们称为智慧的基础上：即理解我们未知的东西。
人物：霍尔维兹，微软研究所
定义：异常建模把数据挖掘和机器学习结合起来，可以帮助人们做出更好的预测和处理异常事件。
影响：尽管这一领域的研究刚刚起步，但异常建模却可以为许多领域的决策人提供帮助，如交通管理、预防性医疗、军事计划、政治、商务和金融等。
背景：经数千名微软员工的实地测试，已用于西雅图交通模式的原型软件可成功地向用户提示异常事件；考察其深入应用的研究活动也在进行之中。
打印本文
