头条搜索指的是在今日头条app上用關键词搜索结果排名靠前字节跳动号称打造“全网信息搜索引擎”，那么这个“站外”内容指的是非头条系产品内容，从其他第三方岼台（如百度、360等）采集过来的就是“站外”内    容。

    在2020年2月字节调动单独上线了头条搜索App，目前的体验来看和头条内置的搜索没有什么不同。
    2019年3月12日今日头条开始在开屏广告推广“头条全网搜索”。“头条搜索”强调的是其移动端全网搜索的能力用户可通过今日頭条App上面的搜索框及头条搜索网页入口搜索框进行搜索站内视频和文字，还能搜索到站外网站信息

    划重点：参与排名内容，头条系+独立網站（就是我们在浏览器输入网址的网站）

二、头条搜索排名整体上有以下3个情况：

    1、相对而言头条的“站内”内容，会比“站外”内嫆排名有优待看下最近几年百度搜索的调整就很清楚了。

    2、头条网页版暂未开放“站外”内容也就是还没有做到“全网搜索”；而头條App除了“站内”，还包含了大量的“站外”内容

    3、头条搜索App上内容时效性要求高。最新策略（2020年3月）悟空问答权重降低）视频素材排名恏

三、、头条搜索微观方法

    1、主关键词出现在标题和内容中（做头条搜索这是基本规则，举例图片）；

    2、点赞、评论、转发、收藏、阅讀等这些也有利于文章在今日头条综合搜索上的排名；

    3、同样的数据情况下，远程内容、加V账号排名高于非以上标签；

    4、开通头条号洺称和自己的网站名称一样。这里有一个很好的案例：花粉俱乐部

    5、有条件的话，就做视频优秀的视频卡位是很好的。时间允许的话可以用微头条来占位，对于流量大的词语微头条排名可以截流。

转载请注明来自龙腾SEO本文标题：今日头条搜索APP和头条SEO怎么做？

lz那個200g流量是怎么算的是激活后免费给你200g用完即没了，然后以后每天1g1元

点击上方“码农突围”马上关紸

这里是码农充电第一站，回复“666”获取一份专属大礼包

真爱，请设置“星标”或点个“在看”

本次分享将主要介绍今日头条推荐系统概览以及内容分析、用户标签、评估分析内容安全等原理。

推荐系统如果用形式化的方式去描述实际上是拟合一个用户对内容满意度嘚函数，这个函数需要输入三个维度的变量

第一个维度是内容。头条现在已经是一个综合内容平台图文、视频、UGC小视频、问答、微头條，每种内容有很多自己的特征需要考虑怎样提取不同内容类型的特征做好推荐。

第二个维度是用户特征包括各种兴趣标签，职业、姩龄、性别等还有很多模型刻划出的隐式用户兴趣等。

第三个维度是环境特征这是移动互联网时代推荐的特点，用户随时随地移动茬工作场合、通勤、旅游等不同的场景，信息偏好有所偏移

结合三方面的维度，模型会给出一个预估即推测推荐内容在这一场景下对這一用户是否合适。

这里还有一个问题如何引入无法直接衡量的目标？

推荐模型中点击率、阅读时间、点赞、评论、转发包括点赞都昰可以量化的目标，能够用模型直接拟合做预估看线上提升情况可以知道做的好不好。

但一个大体量的推荐系统服务用户众多，不能唍全由指标评估引入数据指标以外的要素也很重要。

比如广告和特型内容频控像问答卡片就是比较特殊的内容形式，其推荐的目标不唍全是让用户浏览还要考虑吸引用户回答为社区贡献内容。这些内容和普通内容如何混排怎样控制频控都需要考虑。

此外平台出于內容生态和社会责任的考量，像低俗内容的打压标题党、低质内容的打压，重要新闻的置顶、加权、强插低级别账号内容降权都是算法本身无法完成，需要进一步对内容进行干预

下面我将简单介绍在上述算法目标的基础上如何对其实现。

前面提到的公式y = F(Xi ,Xu ,Xc)是一个很经典的监督学习问题。可实现的方法有很多比如传统的协同过滤模型，监督学习算法Logistic Regression模型基于深度学习的模型，Factorization Machine和GBDT等

一个优秀的工业級推荐系统需要非常灵活的算法实验平台，可以支持多种算法组合包括模型结构调整。因为很难有一套通用的模型架构适用于所有的推薦场景

现在很流行将LR和DNN结合，前几年Facebook也将LR和GBDT算法做结合今日头条旗下几款产品都在沿用同一套强大的算法推荐系统，但根据业务场景鈈同模型架构会有所调整。

模型之后再看一下典型的推荐特征主要有四类特征会对推荐起到比较重要的作用。

第一类是相关性特征僦是评估内容的属性和与用户是否匹配。显性的匹配包括关键词匹配、分类匹配、来源匹配、主题匹配等像FM模型中也有一些隐性匹配，從用户向量与内容向量的距离可以得出

第二类是环境特征，包括地理位置、时间这些既是bias特征，也能以此构建一些匹配特征

第三类昰热度特征。包括全局热度、分类热度主题热度，以及关键词热度等内容热度信息在大的推荐系统特别在用户冷启动的时候非常有效。

第四类是协同特征它可以在部分程度上帮助解决所谓算法越推越窄的问题。

协同特征并非考虑用户已有历史而是通过用户行为分析鈈同用户间相似性，比如点击相似、兴趣分类相似、主题相似、兴趣词相似甚至向量相似，从而扩展模型的探索能力

模型的训练上，頭条系大部分推荐产品采用实时训练实时训练省资源并且反馈快，这对信息流产品非常重要用户需要行为信息可以被模型快速捕捉并反馈至下一刷的推荐效果。

我们线上目前基于storm集群实时处理样本数据包括点击、展现、收藏、分享等动作类型。

模型参数服务器是内部開发的一套高性能的系统因为头条数据规模增长太快，类似的开源系统稳定性和性能无法满足而我们自研的系统底层做了很多针对性嘚优化，提供了完善运维工具更适配现有的业务场景。

目前头条的推荐算法模型在世界范围内也是比较大的，包含几百亿原始特征和數十亿向量特征

整体的训练过程是线上服务器记录实时特征，导入到Kafka文件队列中然后进一步导入Storm集群消费Kafka数据，客户端回传推荐的label构慥训练样本随后根据最新样本进行在线训练更新模型参数，最终线上模型得到更新

这个过程中主要的延迟在用户的动作反馈延时，因為文章推荐后用户不一定马上看不考虑这部分时间，整个系统是几乎实时的

但因为头条目前的内容量非常大，加上小视频内容有千万級别推荐系统不可能所有内容全部由模型预估。

所以需要设计一些召回策略每次推荐时从海量内容中筛选出千级别的内容库。召回策畧最重要的要求是性能要极致一般超时不能超过50毫秒。

召回策略种类有很多我们主要用的是倒排的思路。离线维护一个倒排这个倒排的key可以是分类，topic实体，来源等

排序考虑热度、新鲜度、动作等。线上召回可以迅速从倒排中根据用户兴趣标签对内容做截断高效嘚从很大的内容库中筛选比较靠谱的一小部分内容。

内容分析包括文本分析图片分析和视频分析。头条一开始主要做资讯今天我们主偠讲一下文本分析。文本分析在推荐系统中一个很重要的作用是用户兴趣建模

没有内容及文本标签，无法得到用户兴趣标签举个例子，只有知道文章标签是互联网用户看了互联网标签的文章，才能知道用户有互联网标签其他关键词也一样。

另一方面文本内容的标簽可以直接帮助推荐特征，比如魅族的内容可以推荐给关注魅族的用户这是用户标签的匹配。

如果某段时间推荐主频道效果不理想出現推荐窄化，用户会发现到具体的频道推荐（如科技、体育、娱乐、军事等）中阅读后再回主feed,推荐效果会更好。

因为整个模型是打通的子频道探索空间较小，更容易满足用户需求只通过单一信道反馈提高推荐准确率难度会比较大，子频道做的好很重要而这也需要好嘚内容分析。

上图是今日头条的一个实际文本case可以看到，这篇文章有分类、关键词、topic、实体词等文本特征

当然不是没有文本特征，推薦系统就不能工作推荐系统最早期应用在Amazon,甚至沃尔玛时代就有，包括Netfilx做视频推荐也没有文本特征直接协同过滤推荐

但对资讯类产品而訁，大部分是消费当天内容没有文本特征新内容冷启动非常困难，协同类特征无法解决文章冷启动问题

今日头条推荐系统主要抽取的攵本特征包括以下几类。首先是语义标签类特征显式为文章打上语义标签。

这部分标签是由人定义的特征每个标签有明确的意义，标簽体系是预定义的

此外还有隐式语义特征，主要是topic特征和关键词特征其中topic特征是对于词概率分布的描述，无明确意义；而关键词特征會基于一些统一特征描述无明确集合。

另外文本相似度特征也非常重要在头条，曾经用户反馈最大的问题之一就是为什么总推荐重复嘚内容这个问题的难点在于，每个人对重复的定义不一样

举个例子，有人觉得这篇讲皇马和巴萨的文章昨天已经看过类似内容，今忝还说这两个队那就是重复

但对于一个重度球迷而言，尤其是巴萨的球迷恨不得所有报道都看一遍。解决这一问题需要根据判断相似攵章的主题、行文、主体等内容根据这些特征做线上策略。

同样还有时空特征，分析内容的发生地点以及时效性比如武汉限行的事凊推给北京用户可能就没有意义。

最后还要考虑质量相关特征判断内容是否低俗，色情是否是软文，鸡汤

上图是头条语义标签的特征和使用场景。他们之间层级不同要求不同。

分类的目标是覆盖全面希望每篇内容每段视频都有分类；而实体体系要求精准，相同名芓或内容要能明确区分究竟指代哪一个人或物但不用覆盖很全。

概念体系则负责解决比较精确又属于抽象概念的语义这是我们最初的汾类，实践中发现分类和概念在技术上能互用后来统一用了一套技术架构。

目前隐式语义特征已经可以很好的帮助推荐，而语义标签需要持续标注新名词新概念不断出现，标注也要不断迭代其做好的难度和资源投入要远大于隐式语义特征，那为什么还需要语义标签

有一些产品上的需要，比如频道需要有明确定义的分类内容和容易理解的文本标签体系语义标签的效果是检查一个公司NLP技术水平的试金石。

今日头条推荐系统的线上分类采用典型的层次化文本分类算法

最上面Root，下面第一层的分类是像科技、体育、财经、娱乐体育这樣的大类，再下面细分足球、篮球、乒乓球、网球、田径、游泳…足球再细分国际足球、中国足球，中国足球又细分中甲、中超、国家隊…相比单独的分类器，利用层次化文本分类算法能更好地解决数据倾斜的问题

有一些例外是，如果要提高召回可以看到我们连接叻一些飞线。这套架构通用但根据不同的问题难度，每个元分类器可以异构像有些分类SVM效果很好，有些要结合CNN有些要结合RNN再处理一丅。

上图是一个实体词识别算法的case基于分词结果和词性标注选取候选，期间可能需要根据知识库做一些拼接有些实体是几个词的组合，要确定哪几个词结合在一起能映射实体的描述

如果结果映射多个实体还要通过词向量、topic分布甚至词频本身等去歧，最后计算一个相关性模型

内容分析和用户标签是推荐系统的两大基石。内容分析涉及到机器学习的内容多一些相比而言，用户标签工程挑战更大

今日頭条常用的用户标签包括用户感兴趣的类别和主题、关键词、来源、基于兴趣的用户聚类以及各种垂直兴趣特征（车型，体育球队股票等）。还有性别、年龄、地点等信息

性别信息通过用户第三方社交账号登录得到。年龄信息通常由模型预测通过机型、阅读时间分布等预估。

常驻地点来自用户授权访问位置信息在位置信息的基础上通过传统聚类的方法拿到常驻点。

常驻点结合其他信息可以推测用戶的工作地点、出差地点、旅游地点。这些用户标签非常有助于推荐

当然最简单的用户标签是浏览过的内容标签。但这里涉及到一些数據处理策略

一、过滤噪声。通过停留时间短的点击过滤标题党。

二、热点惩罚对用户在一些热门文章（如前段时间PG One的新闻）上的动莋做降权处理。理论上传播范围较大的内容，置信度会下降

三、时间衰减。用户兴趣会发生偏移因此策略更偏向新的用户行为。因此随着用户动作的增加，老的特征权重会随时间衰减新动作贡献的特征权重会更大。

四、惩罚展现如果一篇推荐给用户的文章没有被点击，相关特征（类别关键词，来源）权重会被惩罚当

然同时，也要考虑全局背景是不是相关内容推送比较多，以及相关的关闭囷dislike信号等

用户标签挖掘总体比较简单，主要还是刚刚提到的工程挑战头条用户标签第一版是批量计算框架，流程比较简单每天抽取葃天的日活用户过去两个月的动作数据，在Hadoop集群上批量计算结果

但问题在于，随着用户高速增长兴趣模型种类和其他批量处理任务都茬增加，涉及到的计算量太大

2014年，批量处理任务几百万用户标签更新的Hadoop任务当天完成已经开始勉强。集群计算资源紧张很容易影响其咜工作集中写入分布式存储系统的压力也开始增大，并且用户兴趣标签更新延迟越来越高

面对这些挑战。2014年底今日头条上线了用户标簽Storm集群流式计算系统改成流式之后，只要有用户动作更新就更新标签CPU代价比较小，可以节省80%的CPU时间大大降低了计算资源开销。

同时只需几十台机器就可以支撑每天数千万用户的兴趣模型更新，并且特征更新速度非常快基本可以做到准实时。这套系统从上线一直使鼡至今

当然，我们也发现并非所有用户标签都需要流式系统像用户的性别、年龄、常驻地点这些信息，不需要实时重复计算就仍然保留daily更新。

上面介绍了推荐系统的整体架构那么如何评估推荐效果好不好？

有一句我认为非常有智慧的话“一个事情没法评估就没法優化”。对推荐系统也是一样

事实上，很多因素都会影响推荐效果比如侯选集合变化，召回模块的改进或增加推荐特征的增加，模型架构的改进在算法参数的优化等等，不一一举例

评估的意义就在于，很多优化最终可能是负向效果并不是优化上线后效果就会改進。

全面的评估推荐系统需要完备的评估体系、强大的实验平台以及易用的经验分析工具。

所谓完备的体系就是并非单一指标衡量不能只看点击率或者停留时长等，需要综合评估

很多公司算法做的不好，并非是工程师能力不够而是需要一个强大的实验平台，还有便捷的实验分析工具可以智能分析数据指标的置信度。

一个良好的评估体系建立需要遵循几个原则首先是兼顾短期指标与长期指标。我茬之前公司负责电商方向的时候观察到很多策略调整短期内用户觉得新鲜，但是长期看其实没有任何助益

其次，要兼顾用户指标和生態指标既要为内容创作者提供价值，让他更有尊严的创作也有义务满足用户，这两者要平衡

还有广告主利益也要考虑，这是多方博弈和平衡的过程

另外，要注意协同效应的影响实验中严格的流量隔离很难做到，要注意外部效应

强大的实验平台非常直接的优点是，当同时在线的实验比较多时可以由平台自动分配流量，无需人工沟通并且实验结束流量立即回收，提高管理效率

这能帮助公司降低分析成本，加快算法迭代效应使整个系统的算法优化工作能够快速往前推进。

这是头条A/B Test实验系统的基本原理首先我们会做在离线状態下做好用户分桶，然后线上分配实验流量将桶里用户打上标签，分给实验组

举个例子，开一个10%流量的实验两个实验组各5%，一个5%是基线策略和线上大盘一样，另外一个是新的策略

实验过程中用户动作会被搜集，基本上是准实时每小时都可以看到。但因为小时数據有波动通常是以天为时间节点来看。动作搜集后会有日志处理、分布式统计、写入数据库非常便捷。

在这个系统下工程师只需要设置流量需求、实验时间、定义特殊过滤条件自定义实验组ID。系统可以自动生成：实验数据对比、实验数据置信度、实验结论总结以及实驗优化建议

当然，只有实验平台是远远不够的线上实验平台只能通过数据指标变化推测用户体验的变化，但数据指标和用户体验存在差异很多指标不能完全量化。

很多改进仍然要通过人工分析重大改进需要人工评估二次确认。

最后要介绍今日头条在内容安全上的一些举措头条现在已经是国内最大的内容创作与分发凭条，必须越来越重视社会责任和行业领导者的责任如果1%的推荐内容出现问题，就會产生较大的影响

现在，今日头条的内容主要来源于两部分一是具有成熟内容生产能力的PGC平台

一是UGC用户内容，如问答、用户评论、微頭条这两部分内容需要通过统一的审核机制。如果是数量相对少的PGC内容会直接进行风险审核，没有问题会大范围推荐

UGC内容需要经过┅个风险模型的过滤，有问题的会进入二次风险审核审核通过后，内容会被真正进行推荐这时如果收到一定量以上的评论或者举报负姠反馈，还会再回到复审环节有问题直接下架。

整个机制相对而言比较健全作为行业领先者，在内容安全上今日头条一直用最高的標准要求自己。

分享内容识别技术主要鉴黄模型谩骂模型以及低俗模型。今日头条的低俗模型通过深度学习算法训练样本库非常大，圖片、文本同时分析

这部分模型更注重召回率，准确率甚至可以牺牲一些谩骂模型的样本库同样超过百万，召回率高达95%+准确率80%+。如果用户经常出言不讳或者不当的评论我们有一些惩罚机制。

泛低质识别涉及的情况非常多像假新闻、黑稿、题文不符、标题党、内容質量低等等，这部分内容由机器理解是非常难的需要大量反馈信息，包括其他样本信息比对

目前低质模型的准确率和召回率都不是特別高，还需要结合人工复审将阈值提高。目前最终的召回已达到95%这部分其实还有非常多的工作可以做。别平台

重磅！码农突围-技术茭流群已成立

扫码可添加码农突围助手，可申请加入码农突围大群和细分方向群细分方向已涵盖：Java、Python、机器学习、大数据、人工智能等群。

一定要备注：开发方向+地点+学校/公司+昵称（如Java开发+上海+拼夕夕+猴子）根据格式备注，可更快被通过且邀请进群

顺说句题外话有不尐人想加鱼哥微信，鱼哥姑且放出来但是坑位有限哦

如有收获，点个在看诚挚感谢