当你有问题要回答时，你通常选择问谁？现在不知不觉中，很多人的选择都变成了搜索引擎。天气、交通路线、图片、视频、家庭作业答案等。搜索引擎可以回答人们在日常生活中遇到的许多问题。即使对很多人来说，如果我们在搜索引擎上找不到答案，这个世界上可能没有现成的答案，所以我们需要自己去探索。这样，搜索引擎似乎是最强大的人工智能。20年前，它就一直生活在我们身边。搜索引擎是如何一步步变得如此强大的，它下一步将朝哪个方向发展？本文仅从搜索引擎的发展入手。搜索引擎的诞生和发展搜索引擎的诞生源于早期人们对在互联网上高效搜索信息的需求。早期使用传统图书馆信息检索技术的搜索引擎已经不能满足每个人的需求。网页排序的准确性、响应速度和索引网页的数量都不能满足互联网用户的需求。在新的需求下，出现了几种常见的通用搜索引擎：谷歌、微软必应、雅虎（雅虎使用微软必应作为其搜索技术提供商）和百度。其中大多数是2000年左右成立的。在这些搜索引擎诞生之初，大数据、机器学习和分布式系统这三个词就与它们紧密相连。首先，现代搜索引擎充分利用了互联网数据的特点。网页之间的超链接和网民在网页上自发留下的足迹，如产品评论和喜欢，已经成为搜索引擎更好地对网页进行排序的基础。同时，搜索引擎的系统设计也使其成为一个能够不断学习和完善自身的系统。搜索引擎根据用户对相关结果的点击行为来评估其算法的质量。微软基于机器学习算法的分类系统一直在不断学习和总结不同用户对搜索引擎的反馈。2005年，它提出了一系列基于神经网络和决策树的网页排序算法：ranknet、lambdarank和lambdamart。这些算法基于大规模机器学习系统，提高了搜索引擎的排序精度。同时，机器学习算法还具有许多其他应用，如检测垃圾邮件网页、提高搜索广告的相关性等。除了上述算法的进步外，系统层面的不断创新也有助于搜索引擎的进步。在成立之初，谷歌率先进行了系统创新，将所有网页信息保存在计算机内存中，而不是磁盘上，这样可以将回答用户问题的时间从几秒钟缩短到几毫秒。自2008年以来，微软Bing搜索引擎根据SSD的特点重新设计了网页索引结构。新的多级索引结构不仅可以确保查询速度与全内存系统相当，还可以将单机支持的网页数量和查询吞吐量提高数十倍，从而确保搜索引擎能够索引和服务互联网上更多的网页。大数据系统与搜索引擎的发展息息相关。为了更方便地存储和处理web信息，Google推出的MapReduce、BigTable、GFS等著名分布式系统拉开了大数据时代的帷幕。与此同时，微软还部署了cosmos、Dryad、scope、Kirin等系统。Dryad和scope系统由于其更具前瞻性的设计概念，已成为新一代大数据处理系统的参考设计模板。更多人工智能的搜索体验、机器学习算法的不断进步、搜索引擎巧妙的人机交互设计、分布式系统的创新，使搜索引擎在不知不觉中成为人们生活中不可或缺的一部分。同时，随着人们新需求的不断涌现，搜索引擎也没有停止变革的步伐。一方面，搜索引擎试图以不同的形式向您展示自己。例如，Cortana、Siri和googlenow等对话智能交互技术离不开搜索引擎的支持。与此同时，它正在不断扩大其新的能力。如果您足够小心，您可能会发现当前的搜索引擎可以更直接地回答您搜索的特定问题。例如，在搜索结果页面的右侧，将显示与您的搜索相关的其他类似实体的信息。在页面顶部，一些结果（如天气、航班和其他信息）将以更丰富的形式提供答案。最近，一个更有趣的变化是，搜索引擎开始尝试直接回答许多基于知识的问题，而不是提供一些web链接。例如，当你问如何制作美味的假日小吃以及如何安装新软件时，微软必应搜索可以直接给出答案。搜索引擎是如何做到这一点的？要回答这个问题，我们必须提到过去一段时间在深度学习领域的研究进展。搜索引擎通过大量数据，使用dnn/rnn等新算法更好地理解网页内容与用户问题之间的关系，从而帮助用户直接找到网页中与问题相关的答案。Maluuba是微软最近收购的一家深度学习初创公司，由著名深度学习专家yoshuabengio执导，其目标也是加强微软在深度阅读理解领域的实力。在深入理解文本方面，微软的研究团队也处于领先地位。随着算法的发展，搜索引擎的背景也在迅速演变。为了支持以深度学习为代表的新一代机器学习算法，GPU、FPGA和定制的ASIC芯片逐渐进入搜索引擎的数据中心。索引和排序服务系统也在不断发展，以满足算法的处理能力要求。为了实时处理更多的大规模数据，超低延迟网络也得到了广泛的应用。智能搜索引擎的下一个目标上述所有这些努力都是为了更好地满足人们对搜索引擎的需求。但搜索引擎真的能完全理解人类所有的知识系统吗？它的下一个任务是什么？显然，目前，搜索引擎已经能够更好地汇总互联网上的信息以满足您的搜索请求，并且可以直接回答一些常见的问题。然而，搜索引擎是否能够真正理解这些信息的内在含义，是否能够创造性地解决以前从未出现过的问题，是否能够有效地进行自我演绎，仍不得而知。但有一件事是肯定的。更具创造性的机器学习算法、更强大的计算能力和创新的人机交互是一切的基础。这也是业界和学术界共同努力的方向。

« 教育直播，现在和未来的创业机会在哪里？怎样 | 推特出了什么问题：两位高管宁愿放弃3500万美元的股份也不愿离开 »