技术帖:每天被今日头条推送文章背后的算法技术是什么?【太阳游戏城】
1月11日,北京今日头条总部,一场问诊算法、建言算法的“让算法公开发表半透明”共享不会正在展开,仔细观察到,还包括BAT等在内的诸多科技公司算法工程师、产品经理等100多人参予现场辩论。资深算法架构师、中国科学技术大学曹欢欢博士于现场讲解了今日头条的引荐算法原理。曹欢欢回应,今日头条资讯引荐系统本质上要解决问题用户、环境和资讯的给定,要超过这一效果,其算法引荐系统输出三个维度变量:一是内容特征,图文、视频、UGC小视频、解说、微头条等,每种内容有很多自己的特征,必须分别萃取;二是用户特征,还包括兴趣标签、职业、年龄、性别、机型等,以及很多模型刻画出的用户隐蔽兴趣;三是环境特征,有所不同的时间有所不同的地点有所不同的场景(工作/通勤/旅游等),用户对信息的偏爱有所不同。融合这三方面维度,今日头条的引荐模型做到预估,这个内容在这个场景下对这个用户否适合。
算法引荐要超过不俗的效果,必须解决问题好这四类特征:相关性特征,解决问题内容和用户的给定;环境特征,解决问题基础特征和给定;热度特征,在冷启动上很有效地;协同特征,考虑到相近用户的兴趣,在一定程度上解决问题所谓算法就越推越较宽的问题。但是,曹欢欢回应,点击率、读者时间、点拜、评论、发送,这些都是可以分析的,但一个大体量的引荐系统,服务用户众多,无法几乎由指标评估,引进数据以外的要素也很最重要。有些算法可以已完成,有些算法还做到将近、做到的很差,这就必须内容介入。总之,没一套标准化的模型架构限于所有的引荐场景,头条仍必须一个非常灵活的算法实验平台,这个算法敢,立刻中举另一个算法,实质上是各种算法的一个简单人组。
据理解,西瓜视频、火山小视频、响音较短视频、悟空解说,都在用头条这一套引荐系统,但明确到每套系统,架构都不一样,必须大大去中举。正在基于上文所述重复训练引荐的必须,今日头条有一个世界范围内较为大的在线训练引荐模型,还包括几百亿特征和几十亿的向量特征。
但是,几乎倚赖模型引荐成本过低,因此,今日头条也有修改策略的解任模型——基于解任策略,把一个海量、无法做到的内容库,变为一个比较小、可以做到的内容库,再行转入引荐模型。这样有效地均衡了计算成本和效果。曹欢欢回应,在今日头条工作前三年,接到用户对系统仅次于的一个问题就是——“怎么杨家给我引反复的?”曹欢欢说明称之为,每个人对反复的定义不一样。有人昨天看见一篇谈巴萨的文章,今天又看见两篇,有可能就实在忘了。
但对于一个重度球迷来讲,比如巴萨球迷,有可能恨不得所有报导都看一遍。要解决问题这个问题,就必须准确提取文本特征,比如哪些文章说道的是一个事儿,哪些文章基本一样等。而文本特征对于引荐的独有价值就在于,没文本特征,引荐引擎无法工作,同时,文本特征颗粒度越粗,冷启动能力就越强劲。
而语义标签的效果是检查一个公司NLP(自然语言处置)的试金石。频道、兴趣传达等最重要产品功能,必须一个有具体定义、更容易被解读的文本标签体系。在隐式语义特征早已可以很好地协助引荐、作好语义标签必须投放远大于隐式语义特征的情况下,仍必须作好语义标签。
除了用户的大自然标签,引荐还必须考虑到很多简单的情况:1)过滤器噪声:过滤器停留时间较短的页面,压制标题党;2)惩罚热点:用户在热门文章上的动作做降权处置;3)时间波动:随着用户动作的减少,杨家的特征权重不会随时间波动,新的动作贡献的特征权重不会更大;4)惩罚展现出:如果一篇引荐给用户的文章没被页面,涉及特征(类别、关键词、来源)权重不会被惩罚;5)考虑到全局背景:考虑到等价特征的人均页面比例。现实中,影响引荐效果的因素有很多,必须完善的评估体系,无法只看单一指标,如点击率、存留、收益或是对话,必须看很多指标综合评估:顾及短期指标和长年指标,顾及用户指标和生态指标,留意协同效应的影响,有时候必须做到完全的统计资料隔绝等。那么,所有这些指标可以制备唯一的一个公式吗?“我们挣扎探寻了几年,目前还没做。”曹欢欢回应。
并且,曹欢欢称之为,目前很多公司算法做到得很差,不是人的问题,而是实验平台的问题。例如A/B Test每次数据都是错的,总上没法线,这个事最后就废置了。
而一个强劲的实验平台,可以构建每天数百个实验同时在线,高效管理和分配实验流量,减少实验分析成本,提升算法递归效率。据(公众号:)理解,头条现在享有完善的内容安全性机制,除了人工审查团队,还有技术辨识,还包括风险内容辨识技术,建构千万张图片样本集的鉴黄模型,多达百万样本库的淫秽模型和辱骂模型等,以及绿低质内容辨识技术,曹欢欢特别强调。
原创文章,予以许可禁令刊登。下文闻刊登须知。
本文关键词:技术,帖,每天,被,今日,头条,太阳游戏城,推送,文章,背,1月
本文来源:太阳游戏城-www.mybodylanguageatl.com
同类文章排行
- 西澳超U20: FC索伦托U20战胜珀斯光辉U20 比分3:2
- 德甲综述-戈麦斯2球助斯图加特2-1 霍村0-0门兴
- 2018年世界杯奖项汇总:金球奖、金靴奖、金手套奖
- 号角报:梅西不让洛塞尔索、法西奥打首发,还跟助教有矛盾
- 意大利男子遭车祸心脏扭转90度奇迹存活(图)
- 为什么有的人喝酒容易脸红 喝酒脸红是过敏了吗
- 意丙1: 库尼奥1905不敌韦尔切利 终场比分0:2
- 【单车变摩托】警惕FIFA病毒,深盘搏冷|太阳游戏城
- 柏林赫塔食硬汉堡
- 金特尔称入球不会庆祝:太阳游戏城
最新资讯文章
- 去年医疗卫生支出1266.7亿元将进一步深化医改
- 300万人研究发现:2型糖尿病或会缩短机体的预期寿命
- 哈药总厂交千万罚款做数亿广告不愿建排污系统
- 药品和保健品虚假广告狠狠查
- 英U23: 阿斯顿维拉U23战胜富勒姆U23 比分2:1
- 澳威U20: 亚当斯敦蔷薇花蕾U20 狂虐梅特兰U20 比分1:4 梅特兰U20被
- 比登贝莱还玻璃!德甲妖星伤停1041天 加盟4年才迎来首秀
- 格策成最年轻德甲百胜球员5周年 当时他怎知巅峰只剩最后7场
- 拱手让冠!德甲四小龙疯狂丢分,拜仁9连冠已是唾手可得?
- 拜仁主管赴美洲杯考察迪马利亚 放弃引进京多安
- 拜仁8年功勋老臣宣布赛季末离队 中国球队有意
- 河南南阳一医院特护病房氧气瓶爆炸致1死2伤
- 英国流感患者1周增幅超150%恐大规模暴发
- 韩国MERS死亡率降低至17.7%MERS疫情迎来曙光
- 拔火罐等传统疗法在美出现复兴
- 南京万达广场烧烤摊主阻拦执法城管脚踩商贩解气
- 德东北: 穆瑟维茨 狂虐柏林赫塔青年队 比分3:0 柏林赫塔青年队
- 捷U21: 终场比分2:2 波利斯拉夫U21 VS 利巴域U21握手言和
- 冰岛丁B: 史托克瑟利 遭夏威拉格地 屠杀0:6大分差失利
- 曝巴黎1亿欧挖莱万接班伊布 经纪人:未来很难说