第287章 与张一名话推荐(2 / 2)

重生之AI教父 CloseAI 2209 字 1个月前

常见的推荐算法粗分的话大致可以分为三类:基于内容的推荐算法,协同过滤推荐算法和混合推荐算法。

第一种,基于内容的推荐算法,原理是根据用户喜欢的和关注过的内容,推荐类似的视频给用户。比如电影的续集,同一作者的其他作品等。这些视频在内容上有较大的关联,称之为基于内容的办法。

第二种,协同过滤,则是通过不同用户之间的相似性。如果有几十个用户,他们关注和感兴趣的内容特别相似,重合度很高,比如达到8成。那么推荐算法就会把2成不重合的那一部分,抽出来推荐给圈内的其他人看看。

因为兴趣太过相似,一个用户感兴趣的东西,很可能在这个圈子当中其他人也会感兴趣,这是个相当合理的推测,类似于圈内好友推荐。

有时候,大家猛地发现,前几天才和朋友谈论过的东西,怎么今天就出现在我的推荐里面了?细思极恐,我是不是被监听了?

虽然的确有App会恶意使用权限监听,但这样做的成本是很高的,容易得不偿失。更大的可能其实还是你被协同过滤推荐了。

伱的朋友发现了一些好东西,刚跟你聊了几句推荐了一下;但与此同时,他的购买和浏览情况也被统计,作为好友圈中的人,你被协同过滤推荐了。

再加上现在好多个平台之间数据都有所串通,经常会有跨平台推荐的事情发生,就会显得有些推荐结果格外让人背后一凉。

比如你在值乎等地方看了大量耳机相关的测评和推荐,反过来阿狸系的App里就开始给你推同价位的耳机让你消费。

便利了生活的同时,也会很容易让人有被窥视的感觉,觉得自己的隐私被泄露,感到非常不爽。

理性一点去看待,现在人们每天产生的数据量仍在飞速增长,个人是肯定没有那个精力去细究具体到某一个人的隐私内容的。

不过由于许多公司管理自己数据库的方式非常不规范不安全,导致被人拖库的事情时有发生。整个数据库直接被黑客取走,用户的一切敏感信息都被获取,作为商品被反复倒卖。

数次大型信息泄露事件过后,也导致了【人肉】别人变得越发容易,网友们相互开盒,不亦乐乎。

不过这些问题,却也不是孟繁岐现在有什么办法可以改变的了。

至于第三种混合推荐方式,则是将之前两大类通过一些方法综合考量,融合起来。

毕竟单独考虑内容和协同过滤都是不够周全的,前者可以避免冷启动问题,也就是如果用户没有跟一个种类的视频互动过,那么这类视频就会很难被推荐到。不过基于内容的推荐很可能会陷入重复套娃当中,点多了之后就不会推别的内容给用户。看几个萌宠视频就掉进猫窝出不来了。

后者根据用户互动数量的增加,可以非常好地把握用户的喜好。只是如果用户从未看到某些类型的话,系统也难以判断,在初期会遭遇上述的冷启动问题,不知道该不该推某些类别。

当然了,这是非常笼统论述,实际的操作更加复杂。

“现在国内在这方面大部分都是模仿你在谷歌为油管设计的那一套办法。”张一名此前刚刚自学了一套传统办法,结果推荐系统就被AI革新了一轮。

孟繁岐在谷歌的中前期,为了扩大自己的分成比例,做了一些推荐搜索方面的优化,其中就包括替油管准备的一套方法。

针对网页和推荐广告的那部分,谷歌是不可能放出来的,毕竟那是谷歌8成收入来源的一个重大提升。

而油管这方面,虽是世界级的视频网站,但在营收方面占比还是拉胯了一点,加上孟繁岐的做法也比较糙,因而迟些时候谷歌还是选择了公布。

“其实我在那个工作里没有投入太多精力,就只是率先把深度网络的那一套给搬进去了,做了一些专项的适配。”孟繁岐着实也不是谦虚,那段时间太忙了,油管这边属于营收小头,孟繁岐没有当成主要任务在做,各方面都不够细致。

“你这话说得,传出去能把人气死。油管怎么说也是十几亿用户的头部长视频平台,哪有你说得那么好做?”张一名是内行人,他知道以油管的规模,是有几个巨大挑战的。

“油管体量大,我自己测试很多推荐算法,小规模问题都做得非常好,但体量上到千万、亿级别就很容易出问题,更别提油管的十亿级别了。”张一名在头条上推荐的东西测得很多,其中的难点知晓得很清楚。

小主,

“用户多了,每秒的新内容上传数量也很庞大,系统不仅要处理好原本十亿级别的视频,还得对最新上传的内容及时更新建模。”张一名摇了摇头,以他自学推荐方法的经历,一时间根本想象不到这个难题得怎么去解决。

“油管当时是用了十亿级别的参数,用了千亿的训练样本。主要是用了两个神经网络,一个生成视频候选,一个用于排序重要性。”谷歌虽然公布了这部分内容,但是多少有点语焉不详,自然不如算法主导人孟繁岐介绍得简明清楚。

“主要是从用户的历史行为获取输入,从视频库检索数百个视频,尽量通过粗粒度的特征去筛选,因为规模上去之后噪声的为是相当夸张的。对于检索出来的百余视频,再根据细粒度特征用排序网络区分召回,分析相对的重要性,最终构成最佳推荐列表。”

这种粗排,精排,深度网络替代传统办法和树方法的模式,已经在国内外广泛流行了起来,可以说孟繁岐年初时分在谷歌做的这一套模式,如今已经成为了视频推荐的基本范式。

只不过孟繁岐自己早已经鸟枪换炮。

“我们现在稳定的一个版本也是遵循这个粗排候选生成,精排最后视频结果的模式,不过我注意到其实大部分厂商标注出来的数据是有很大的系统偏差的。有时候用户点了排在前面的视频,并不是因为