昨天用谷歌搜索的时候,发现谷歌的搜索记录下面有一个提示:


为了向您显示相关程度最高的结果,我们省略了一些与显示的10条结果极为相似的条目。如有需要,您可以重新搜索以显示省略结果。



这个提示平时是没有看到的,我这次的搜索结果特别少,才看到了这个提示。

这个提示有两个作用:

1、告知用户为什么搜索结果会这么少。

2、提供了其他的选项:重新搜索以显示省略结果。

搜索结果多时候,对用户来讲,省略不省略没有直观感知的,所以不用特别提示。而搜索结果少的时候,这样的提示格外的重要:我们帮你省略了重复的信息,不过你也可以查看。因为说不定重复的信息里面,有你想找的东西。

谷歌提供给你选择的权利:你有权不看重复的信息,你也有权可以查看重复的信息。

我想强调的是前一点:有权不看重复的信息。其实是一种搜索结果的优化,体验和效率都有极大的提升。

搜索如何在信息爆炸的时代,给用户提供满意的搜索结果?首先是保证信息的相关性和准确性;其次得消除一些重复的结果。这样我们才能得到有效的信息。

消除重复的结果,我们把它叫做消重机制。消重机制在搜索中起到了很大的作用。

1

消重机制的应用

消重机制不仅仅出现在搜索中,也出现在其他的场景中。比如微信公众号的原创机制,实际上也是一种消重机制。

3.1.1 原创声明功能是腾讯作为网络服务提供者,允许微信公众帐号用户自愿就发布的作品进行原创声明的功能。系统会将作品与公众平台内已经成功进行了原创声明的作品进行智能比对,如无在先相似作品,系统会自动对作品添加“原创”标识。——来自微信公众平台原创声明及相关功能使用条款

「通过对原创声明的作品进行智能比对,判断有无在先相似作品」其实就是消重机制的思路。

而个性化推荐的今日头条,也会采用到这个机制。根据你的兴趣点和其他个人特征,给你推荐相应的内容。如果没有相应的消重机制,你就会看到重复大量的相同内容,但是如果有相应的消重机制,你看到的就会看到其中的一篇被加了权重的内容。

2

消重机制的原理

消重机制的原理:比对+加权。

我们首先得对内容进行比对。内容包括但不限于:标题/摘要/正文/图片/视频。如果出现这些内容出现重复,就会被消重,得不到推荐或展示。

但是远远不够,有的人会洗稿子。也就是用同一篇文章,修改词语和顺序,重新生产出一篇「新」的文章。

而且就算是不洗稿,同一条新闻,同样角度,但是不同的报道写法,其实我们也不太想看到这样重复的新闻。

如果是简单的以重复率百分之几来算的话,也是意义不太大的。所以这里面并不是那么简单。

最好的做法是:抽取文章的关键词特征,会根据关键词的分布来做其中的一个考量因子。如果关键词分布过于一致,也不会得到推荐。这打击的不仅仅是洗稿,也打击了蹭热点和水平不高的内容生产者。

不过会不会出现误伤呢?同样的话题,水平特别一般的人,但是具备了先发优势,所以被推荐,但是水平特别好的人,反而没有被推荐。

这就是另外一个问题。

如果出现重复,那么推荐哪一篇文章呢?这个时候会对某一篇文章进行加权。

比如微信公众号的原创功能,就是对发布的时间进行加权。第一次发布的肯定是权重最高的,其余的不好意思,就不能申请原创了。

而今日头条,由于有新闻属性,所以会根据新闻生产时间和发布的账号的权威性做一定的权重处理。所以同样的新闻,会推荐时间比较新以及权威大号发布的内容。

而且今日头条有其他的机制,比如先小范围推荐,先试试效果。如果不好,就不向大范围推荐。

所以误伤的影响会被减低。


3

消重机制的影响

对内容消费者来说:

1、不用在重复的内容上浪费时间,提高了内容消费的效率;

2、能够看到更多维度的精彩内容。

对内容生产者来说:

1、打击了洗稿,保护了原创。内容生产者的生产积极性得到了维护;

2、打击了追逐热点,相同的热点,其实角度有限,很难写出特别多的花样来;

3、提高了内容生产者的门槛。真正好的内容生产生态,需要内容生产者有一定的真材实料,以及道德操守;

4、提高了内容生产者的水平。对一个事件,不再是重复已有的观点,而是要从多个角度进行剖析,或者往深度挖掘。这样新的精彩的观点才会产生。

对平台方来说:

1、内容消费者看到了更多精彩的内容,而内容生产者的门槛提高了,会提供更好的观点,会形成好的内容消费-生产的良性循环。

2、平台通过机制的优化,给内容消费者、生产者提供了真正的价值。

所以消重机制的合理应用,会出现多方共赢的局面。

4

小结

我们从搜索、微信公众号的原创、今日头条的个性化推荐出发,看到了消重机制的应用。

通过分析消重机制的原理和影响,我们看到了消重机制的重要作用。

文/熊不知,这是我的第90篇原创文章。

微信公众号:熊不知。每天聊产品,关注我,和我一起发现产品的魅力吧。

是白的 我是一个勤奋的爬虫~~
{{uname}}

{{meta.replies}} 条回复
写下第一个评论!

-----------到底了-----------