用于提供图像推荐的系统、方法、计算平台和存储介质与流程

用于提供图像推荐的系统、方法、计算平台和存储介质
1.根据美国法典第35篇第119条(35u.s.c.
§
119)的优先权要求
2.本专利申请要求于2020年11月2日提交的美国临时申请第63/108,808号的优先权，并转让给受让人，特此通过引用明确并入本文。
技术领域
3.本公开涉及用于提供图像推荐的系统、方法、计算平台和存储介质。


背景技术：

4.数字广告商使用照片和视频等创意内容来锁定他们的受众。在如今的数字平台上，研究已表明，用户或受众给予创意的注意力不到四分之一秒。一眨眼的功夫，用户就可以选择参与或放弃广告。对于放置在数字平台上的广告，如此短的持续时间给广告商和营销专业人员在适当的图像选择、放置等方面带来了很大的压力。
5.由于可用于放置的大量潜在图像，当前用于数字广告中的图像选择和放置的技术是缺乏的，其中只有少数图像，由于与其替代相比与受众具有更高共鸣，可以相当于增强创意的价值。
6.背景部分中提供的描述不应该因为它在背景部分中被提及或与背景部分相关联就被认为仅是现有技术。背景部分可以包括对主题技术的一个或多个方面进行描述的信息。


技术实现要素：

7.以下呈现与本文公开的一个或多个方面和/或实施例相关的简化概述。因此，以下概述不应被视为与所有预期的方面和/或实施例相关的广泛概述，也不应被视为识别与所有预期的方面和/或实施例相关的主要或关键元素或描绘与任何特定方面和/或实施例相关联的范围。因此，以下概述的唯一目的是以简化形式呈现与本文公开的机制相关的一个或多个方面和/或实施例相关的某些概念，以先于下面呈现的详细描述。
8.本公开的方面通常涉及通过使用人工智能(artificial intelligence，ai)算法将人类主观标记分配给图像来预测创意的图像表现。针对本公开的目的，术语“细分(segment)”或“受众细分”可以指受众群组(即，被一起标识为一个组的一组人)。例如，受众细分的示例是“喜欢跑步的人”，或“喜欢某种音乐类型(例如重金属)的人”，或“喜欢旅行的年轻人”。在一些情况下，细分可以指受众目标向量，并且可以与广告出价因素、兴趣或亲和力、位置、人口统计等一些示例相关联。此外，针对本公开的目的，术语“模型”可用于指评分模型，例如一般受众模型、社交媒体平台/网站模型或兴趣模型(例如，健康和健身、艺术、音乐、时尚、食品等)。在一些其他情况下，术语“模型”可以指上下文检测模型(例如，针对位置或社会的上下文)、美学和/或技术分类器模型或基于自然语言处理(natural language processing，nlp)的细分检测器模型。在一些方面，本公开还涉及当某个图像或图像集被用于创意时，预测创意(例如广告)的表现。研究表明，人类倾向于更积极地联系到他们熟悉的
图像、唤起幸福感(例如，积极的记忆)的图像、在视觉上吸引他们的图像、或者让他们敬畏的图像。然而，不同的图像对不同的人有吸引力，广告中使用的图像可能引起一个受众成员的跟进，而没有引起另一个受众成员的跟进。此外，在创意中使用的图像的上下文也可能在用户或受众成员跟进或放弃该创意中起作用。
9.在一些实施例中，本公开中描述的系统可以包括基于人工智能(例如，机器学习(machine learning，ml))的预测图像智能的能力。该系统可以利用分类器和人类调查数据对图像进行主观分类，这可以增强图像选择。在一些情况下，系统可以识别不同的受众细分或受众中的群组(例如，一组用户)。该系统可以从受众收集用户响应，或者可选地，从受众细分收集用户响应，其中用户响应包括针对给定上下文的图像的相关性值和响应性值。例如，系统可以向用户(例如，普通用户、健身爱好者、跑步爱好者)显示跑步的人的图像，并询问用户该图像是否适合在给定上下文“鞋”的跑步品牌的创意或广告中使用。在一些情况下，用户响应可以至少包括相关性值(例如，诸如是/否、真/假之类的二进制值)，以指示图像是否与上下文相关。此外，用户响应可以进一步包括响应性值(例如，在0和5之间，在1和10之间，等等)来指示给定上下文的该图像的用户感知(例如，较高的数字指示更积极的，较低的数字指示更消极的)。该系统可以收集关于给定上下文的图像的人类主观响应，并将所收集的数据馈送到分类器或机器学习算法中。可以使用收集的数据(也称为训练数据集)来训练分类器或机器学习算法，以将主观分类标记(例如，相关性、响应性)分配给给定特定上下文的其他图像。在一些示例中，分类器或机器学习算法可以识别训练数据集中图像的一个或多个属性，其中属性可以包括像素相关信息、风格信息和/或图像向量。在一些示例中，尽管不是必需的，属性还可以包括关键字元数据或标签。在某些情况下，关键字元数据或标签可以是人工生成的。可选地，关键字元数据或标签可以使用计算机视觉技术由机器生成。在一些实施例中，系统可以基于来自各种来源(例如，社交媒体平台、网站、图像群组平台或论坛、库存图像站点等)的图像在不同受众或焦点群体中的预测表现，对这些图像进行分类。在某些情况下，预测的表现可以部分地基于上下文。例如，当给定的上下文是“鞋子”时，跑步的人的照片可以从放置在“跑步”受众细分中的用户那里引起积极的响应。然而，当显示相同的图像并给定相同的上下文(即，鞋子)时，具有商业头脑的专业人员可能会无动于衷(例如，放弃广告)。对于有商业头脑的专业用户来说，给定“鞋子”的上下文，一个穿着西装和牛津皮鞋的男人的图像可能会引起积极的响应(例如，跟进广告)。需要注意的是，这些仅仅是示例，并不构成对本公开的限制。
10.本公开的一个方面涉及被配置用于提供图像推荐的系统。该系统可包括由机器可读指令配置的一个或多个硬件处理器。一个或多个处理器可以被配置为从一个或多个图像源接收图像集。一个或多个处理器可以被配置为访问包括一个或多个节点的上下文细分图。每个节点可以与至少一个细分相关联。至少一个细分可以从由兴趣、商业细分或受众细分组成的组中选择。一个或多个处理器可以被配置为从图像集中识别与上下文细分图中的节点相关的图像子集。一个或多个处理器可以被配置为从至少一个用户接收针对图像子集的用户响应，其中，每个用户响应包括来自所述图像子集的图像在至所述节点的上下文中的相关性值和响应性值。一个或多个处理器可以被配置为部分地基于用户响应生成用于预测图像表现的一个或多个模型。一个或多个处理器可以被配置为接收用于创意活动的多个候选图像。一个或多个处理器可以被配置为使用一个或多个模型中的至少一个模型，针对
至节点的上下文中多个候选图像中的每个候选图像，确定第一度量集。一个或多个处理器可以被配置为显示多个候选图像的列表，其中列表包括针对多个候选图像中的每个候选图像的第一度量集，并且针对每个候选图像的第一度量集至少包括至节点的上下文中的相关性值和响应性值中的一个或多个以及置信度分数。
11.本公开的另一方面涉及用于提供图像推荐的方法。该方法可以包括从一个或多个图像源接收图像集。该方法可以包括访问包括一个或多个节点的上下文细分图，其中，每个节点与至少一个细分相关联，至少一个细分从由兴趣、商业细分或受众细分组成的组中选择。该方法可以包括从图像集中识别与上下文细分图中的节点相关的图像子集。该方法可以包括从至少一个用户接收针对图像子集的用户响应，其中，每个用户响应包括来自所述图像子集的图像在至所述节点的上下文中的相关性值和响应性值。该方法可以包括部分地基于用户响应生成用于预测图像表现的一个或多个模型。该方法可以包括接收用于创意活动的多个候选图像。所述方法可以包括使用一个或多个模型中的至少一个模型，针对至节点的上下文中多个候选图像中的每个候选图像，确定第一度量集。该方法可以包括显示多个候选图像的列表，其中，列表包括针对多个候选图像中的每个候选图像的第一度量集，并且针对每个候选图像的第一度量集至少包括至节点的上下文中的相关性值和响应性值中的一个或多个以及置信度分数。
12.本公开的另一个方面涉及一种其上包含有指令的非暂时性计算机可读存储介质，该指令由一个或多个处理器执行以实现用于提供图像推荐的方法。该方法可以包括从一个或多个图像源接收图像集。该方法可以包括访问包括一个或多个节点的上下文细分图，其中，每个节点与至少一个细分相关联，至少一个细分从由兴趣、商业细分或受众细分组成的组中选择。该方法可以包括从图像集中识别与上下文细分图中的节点相关的图像子集。该方法可以包括从至少一个用户接收针对图像子集的用户响应，其中，每个用户响应包括针对来自图像子集的图像的相关性值和响应性值，图像子集在至节点的上下文中。该方法可以包括部分地基于用户响应生成用于预测图像表现的一个或多个模型。该方法可以包括接收用于创意活动的多个候选图像。所述方法可以包括使用一个或多个模型中的至少一个模型，针对至节点的上下文中多个候选图像中的每个候选图像，确定第一度量集。该方法可以包括显示多个候选图像的列表，其中，列表包括针对多个候选图像中的每个候选图像的第一度量集，并且针对每个候选图像的第一度量集至少包括至节点的上下文中的相关性值和响应性值中的一个或多个以及置信度分数。
13.在上述方法、系统和非暂时性计算机可读介质的一些示例中，使用第一评分部分和第二评分部分来定义每个用户响应，第二评分部分以第一评分部分为条件。
14.在上述方法、系统和非暂时性计算机可读介质的一些示例中，接收用户响应包括接收针对每个用户响应的第一评分部分，每个第一评分部分包括图像子集的相应图像在上下文细分图中至节点的上下文中的用户期望相关性值的二进制样本，该二进制样本选自是或否、1或0、或真或假中的一个。
15.上述方法、系统和非暂时性计算机可读介质的一些示例还可以包括针对图像子集的至少一个图像，识别针对至少一个用户响应的相应第一评分部分包括是、1或真中的一个的过程、特征、装置或指令。上述方法、系统和非暂时性计算机可读介质的一些示例还可以包括接收针对至少一个用户响应中的每个用户响应的第二评分部分的过程、特征、装置或
指令，每个第二评分部分包括针对图像子集的相应图像的数值，其中，每个数值在下限和上限之间的范围上被评级，并且每个数值与对节点的响应性相关联。
16.在上述方法、系统和非暂时性计算机可读介质的一些示例中，第一评分部分包括相关性值，第二评分部分包括响应性值。
17.上述方法、系统和非暂时性计算机可读介质的一些示例还可以包括基于接收到图像子集在上下文细分图中至节点的上下文中的用户响应，聚合用户响应数据的过程、特征、装置或指令。上述方法、系统和非暂时性计算机可读介质的一些示例还可以包括生成训练数据集的过程、特征、装置或指令，该训练数据集至少包括图像子集、与上下文细分图中的节点有关的信息以及聚合的用户响应数据。
18.在上述方法、系统和非暂时性计算机可读介质的一些示例中，生成用于预测图像表现的一个或多个模型包括：训练机器学习算法以标记所述多个候选图像在所述上下文细分图中至所述节点的上下文中的相关性值和响应性值，其中，使用生成的训练数据集来训练机器学习算法。
19.上述方法、系统和非暂时性计算机可读介质的一些示例还可以包括针对上下文细分图中的包括该节点的至少一个节点定义标签云或术语组的过程、特征、装置或指令。
20.在上述方法、系统和非暂时性计算机可读介质的一些示例中，上下文细分图与一个或多个细分类别相关联，一个或多个细分类别从由时尚、健身、食品、商业、创意、房地产、美容、医疗、消费品、旅游、户外和家庭服务组成的组中选择。
21.上述方法、系统和非暂时性计算机可读介质的一些示例还可以包括接收针对多个广告的广告表现数据的过程、特征、装置或指令，其中，多个广告中的每个广告显示来自图像子集的图像。上述方法、系统和非暂时性计算机可读介质的一些示例还可以包括针对广告中显示的每个图像，确定聚合分数的过程、特征、装置或指令，其中，聚合分数至少部分地基于经由用户响应而接收到的针对图像的相关性值和响应性值。上述方法、系统和非暂时性计算机可读介质的一些示例还可以包括针对广告中显示的每个图像，比较相应聚合分数和相应广告表现数据的过程、特征、装置或指令。上述方法、系统和非暂时性计算机可读介质的一些示例还可以包括部分地基于比较相应聚合分数和广告表现数据来验证用于预测图像表现的一个或多个模型的过程、特征、装置或指令。
22.在上述方法、系统和非暂时性计算机可读介质的一些示例中，一个或多个模型包括以下中的一个或多个：一般受众模型、社交媒体模型、库存图像模型、兴趣模型、受众细分或受众群组模型、上下文模型和细分模型。
23.在上述方法、系统和非暂时性计算机可读介质的一些示例中，生成用于预测图像表现的一个或多个模型包括：识别来自图像子集的每个图像的一个或多个属性，其中，一个或多个属性包括以下中的一个或多个：像素相关信息、风格信息、图像向量、关键字元数据或标签和人类标记；基于来自用户响应的相关性值和响应性值，将图像子集分成多个组；以及至少部分地基于每个组中每个图像的一个或多个属性，确定该组的属性的平均。
24.在上述方法、系统和非暂时性计算机可读介质的一些示例中，针对一个或多个候选图像中的每个侯选图像，确定第一度量集包括：确定每个候选图像的一个或多个属性；通过将每个候选图像的一个或多个属性与每个组的属性的平均进行比较来确定每个候选图像的相似性向量(也称为相似性度量或相似性函数)；以及至少部分地基于确定的相似性向
量为每个候选图像分配多个标记，其中，多个标记包括候选图像在至节点的上下文中的置信度分数、相关性值和响应性值。
25.参考附图考虑以下描述和所附权利要求，本技术的这些和其他特征和特点，以及相关结构元件的操作和功能以及部件和制造经济性的组合将变得更加明显。所有附图形成本说明书的一部分，其中在各种附图中相同的附图标记表示各个图中的相应的部件。然而，应当明确理解，附图仅用于说明和描述的目的，而不用于限制本发明的定义。如在说明书和权利要求书中所使用的，单数形式包括复数所指物，除非上下文另有明确规定。
附图说明
26.图1示出了根据一个或多个实现的被配置为用于提供图像推荐的系统。
27.图2a、2b、2c、2d和/或2e示出了根据一个或多个实现的用于提供图像推荐的方法。
28.图3示出了根据一个或多个实现的用于提供图像推荐的处理流程图。
29.图4示出了根据一个或多个实现的用户界面的示例。
30.图5示出了根据一个或多个实现的用于图1中的系统的用户界面的示例。
31.图6示出了根据一个或多个实现的用于图1中的系统的用户界面的示例。
32.图7示出了根据一个或多个实现的用于图1中的系统的用户界面的示例。
33.图8示出了根据一个或多个实现的用于图1中的系统的用户界面的示例。
34.图9示出了根据一个或多个实现的用户界面的示例。
35.图10示出了根据一个或多个实现的用户界面的示例。
36.图11示出了根据一个或多个实现的用户界面的示例。
37.图12示出了根据一个或多个实现的用户界面的示例。
38.图13是示出了根据本公开的各种实施例的计算机系统的框图。
39.图14示出了根据本公开的各个方面的支持使用人类响应标记对图像进行主观分类以增强创造性表现的计算平台的框图。
40.图15示出了根据本公开的各个方面的支持使用人类响应标记对图像进行主观分类以增强创造性表现的计算平台的框图。
41.图16示出了根据本公开的各个方面的上下文细分图的示例。
具体实施方式
42.在下面的详细描述中，参考形成本文一部分的附图，其中附图通过图示或具体示例示出。在不脱离本公开的情况下，可以组合这些方面，可以利用其他方面，并且可以进行结构改变。示例方面可以作为方法、系统或设备来实践。因此，示例方面可以采取硬件实现、软件实现或结合软件和硬件方面的实现的形式。因此，以下详细描述不应被理解为限制性的，并且本公开的范围由所附权利要求及其等同物限定。
43.这里使用的措辞“例如”表示“用作示例、例子或说明”。本文描述为“例如”的任何实施例或任何相关术语不一定被解释为好于或优于其他实施例。此外，对“设备”的引用并不意味着局限于单个这样的设备。可以设想，许多设备可以包括本文所述的单个“设备”。
44.如本文所详述的，本公开总体上涉及一种用于基于图像的人工智能(ai)(例如，机器学习(ml))标记来预测诸如广告活动之类的创意的图像表现的系统和方法。在一些实施
例中，本公开中描述的系统可以包括基于ai的预测图像智能能力。在一些情况下，系统(例如，系统100、1400和/或1500)可以识别更大受众(例如，用户集)内的不同受众细分或群组。此外，该系统可以基于来自各种来源(例如，社交媒体、网站、图像群组平台或论坛、库存图像站点等)的图像在不同受众群体中的预测表现，对这些图像进行分类。在某些情况下，预测的表现可以部分地基于上下文。如上所述，该系统可以利用分类器和人类调查数据(例如，给定上下文的图像的用户响应)来生成未来候选图像的主观分类标记。应当注意，未来候选图像可能不包括在用于编码分类器的图像的训练数据集中。分类器可以是ai或ml算法的示例。主观分类标记的一些非限制性示例可以包括相关性值和响应性值。馈送到分类器中的训练数据集可以包括图像集和给定上下文的图像的用户响应，其中用户响应可以包括给定上下文的图像的相关性值和响应性值。以这种方式，分类器可以用于预测给定上下文的未来候选图像的相关性值和响应性值。
45.在一些实施例中，在从多个图像源收集和采集图像之后，系统可以被配置为生成和运行模型，例如广告评分模型。在一些情况下，该模型可以包括利用分类器(例如，卷积神经网络(convolutional neural network，cnn))的监督机器学习模型。在某些情况下，这种模型也可以被称为基于细分的cnn。基于目标受众、受众群体、焦点群体等，可以利用不同类型的广告评分模型。例如，社交媒体广告评分模型可以指用于预测普通社交媒体用户是否会发现给定上下文的有吸引力的图像或图像子集的ml模型。在另一示例中，健康和健身受众模型可用于预测来自健康和健身受众群的用户可能会发现更有吸引力的图像或图像子集。应当注意，在整个本公开中描述的预测可以部分地基于给定的上下文。换句话说，给定一个图像或图像集以及上下文，一个人(例如，普通受众、社交媒体用户、特定兴趣用户等)将会如何看待该图像(或图像集)。
46.本公开的各方面可以类似于给受众或用户“创造性过程桌上的一个座位”。例如，可以向受众成员提供上下文，并要求受众成员对图像(或图像集)进行反馈。此外，他们的反馈可以被合并到ml模型中，以从模型中获得一些比例。换句话说，从大量受众成员那里收到的反馈可以用来确保创意中使用的图像是他们的充分表现、吸引他们、更有可能引起他们的参与，等等。因此，ml模型不是依赖广告设计师或数字品牌经理或营销经理来判断图像在广告活动中的效果，而是规模地利用来自实际受众的定性洞察力。在一些情况下，可以为与特定细分相关联的图像获取诸如相关性值和响应性值的人类标记。在一个示例中，可以利用来自人类的至少5000个图像和30000个标记来生成模型，在其他实施例中可以考虑不同数量的图像和标记。在一些情况下，更多数量的图像和/或标记可能与更精确的模型相关联。
47.在一些实施例中，系统可以访问包括一个或多个节点的上下文细分图(例如，在图16中示出为上下文细分图1600)，其中每个节点与至少一个细分相关联，例如，兴趣、商业细分和/或受众细分等几个非限制性示例。在一些方面，上下文细分图可以包括兴趣、商业细分或受众群组的分类，例如健身、时尚、食品、艺术、音乐等。应该注意，上面列出的示例是非限制性的，并且在不同的实施例中可以考虑不同的兴趣、商业细分或受众群组。此外，细分可以比上面列出的更窄(例如，意大利食品或交叉健身)或更宽。在一些实施例中，可以从广告目标系统访问上下文细分图，在其他情况下，上下文细分图可以由系统(例如，图1中的系统100)本身生成。在一些情况下，可以为上下文细分图中的每个节点定义一组描述性术语
(例如，标签云)。一组描述性术语可以包括“小企业”、“企业家”、“集市”、“市场”、“增长”和/或产品名称。在一些示例中，可以识别来自图像集(例如，大小为n)的图像的子集，其中图像的子集可以与上下文细分图中的特定节点相关，以下结合附图进一步描述。在一些情况下，图像可以与上下文细分图中的一个或多个节点相关联。另外，或者可选地，一旦图像的子集被识别，来自
‘
n’个图像的原始集合的图像可以不与上下文细分图中的任何节点相关联。
48.在一些实施例中，可以选择与上下文细分图中的节点相关的图像子集。此外，可以聚合在至该节点(或给定节点)的上下文中子集中的图像的人类调查数据，这将在下面进一步描述。在某些情况下，人类调查数据可以从直接或间接的受众反馈中收集。例如，可以向用户提供上下文提示，例如，“这对于跑步广告来说是一个好的图像吗(是/否)”，如果是，“如果你是一个跑步者，你有多大可能参与包括这个图像的广告？(1-5)”。在一些实施例中，可以查询多个用户，并且对他们的答案进行平均。此外，图像子集和聚合的答案可以用于生成训练数据集。以这种方式，可以用数百个、数千个甚至数百万个图像来训练一个或多个模型，每个图像具有来自真实的人对这些问题的多个答案。
49.在一些情况下，以两个评分部分来定义每个响应，其中第二评分部分可以以第一评分部分为条件。例如，第一评分部分可以包括来自图像子集的图像在至节点的上下文中的人类期望相关性的二进制样本(例如以下几个非限制性示例：“是”或“否”、“1”或“0”、“真”或“假”、“相关”或“不相关”)。在某些情况下，可以从随机的受众成员收集响应。在其他情况下，可以从与特定细分或受众群组相关联的受众成员(例如，具有特定兴趣，诸如健身或跑步)收集响应。接下来，对于第二评分部分，只有被认为与节点相关的图像可以在范围上(例如，在0％和100％之间，在1和10之间，在0和5之间，等等)被评级。在一些情况下，第二评分部分可以与响应性(响应可能性)相关，其中响应性在该范围上被评级。需要注意的是，评分部分的数量并不是限制性的。在一些情况下，用户响应可以包括多于两个评分部分，或者可选地，单个评分部分。
50.图1示出了根据一个或多个实现的被配置用于提供图像推荐的系统100。在一些实现中，系统100可以包括一个或多个服务器102。一个或多个服务器102可以被配置为根据客户端/服务器体系结构和/或其他体系结构与一个或多个客户端计算平台104通信。一个或多个客户端计算平台104可以被配置为经由一个或多个服务器102和/或根据对等体系架构和/或其他体系架构与其他客户端计算平台通信。用户可以经由一个或多个客户端计算平台104访问系统100。
51.一个或多个服务器102可以由机器可读指令106配置。机器可读指令106可以包括一个或多个指令模块。指令模块可以包括计算机程序模块。指令模块可以包括图像集接收模块108、上下文细分图模块110、图像子集识别模块112、用户响应接收模块114、模型生成模块116、候选图像接收模块118、相关性确定模块120、响应性确定模块122、度量确定模块124、候选图像显示模块126、图像属性模块128、评分部分模块130、用户响应数据聚合模块132、训练数据集生成模块134、节点定义模块136和/或其他指令模块中的一个或多个。
52.图像集接收模块108可以被配置为从一个或多个源接收图像集。在一些实施例中，可以从一个或多个图像服务器(例如，图3中的图像服务器317)接收图像集。远程计算平台104可以是图像服务器(该示例是非限制性示例)。
53.上下文细分图模块110可以被配置为访问包括一个或多个节点的上下文细分图
(例如，在图16中示出的上下文细分图1600)。每个节点可以与至少一个细分相关联。作为非限制性示例，至少一个细分可以从由兴趣、商业细分或受众细分组成的组中选择。尽管不是必需的，但在一些情况下，可以从广告目标服务器访问上下文细分图。此外，或者可选地，上下文细分图可以与一个或多个细分类别相关联，该一个或多个细分类别包括但不限于时尚、健身、食品、商业、创意、房地产、美容、医疗、消费品、旅游、户外、家庭服务等。在不同的实施例中，考虑了本领域已知的其他细分类别，并且本文列出的示例不旨在进行限制。
54.图像子集识别模块112可以被配置为从图像集中识别与上下文细分图中的节点相关的图像子集。
55.用户响应接收模块114可以被配置为接收针对图像子集的用户响应。用户响应可以从至少一个用户接收，并且可以在上下文细分图中的至节点的上下文中。在一些示例中，每个用户响应可以包括来自图像子集的图像在至节点的上下文中的相关性值和响应性值，以下将结合附图进一步描述。在一些情况下，可以从与至少一个用户相关联的至少一个用户设备(例如，远程计算平台104)接收用户响应。用户响应接收模块114或系统100的另一个模块可以被配置为基于来自用户响应的相关性值和响应性值将图像子集分成多个组。例如，来自图像子集的第一图像聚类或组可以包括在用户响应中具有相似相关性值和响应性值(例如，相关性为是，响应性为5/5)的图像，第二图像聚类或组可以包括在用户响应中具有相似相关性值和响应性值(例如，相关性为是，响应性为3/5)的图像，第三图像聚类或组可以包括在用户响应中具有相似相关性值(例如，相关性为否)的图像，等等。在一些情况下，同一聚类或组中的图像也可以共享一个或多个风格属性和构图属性(该示例为两个非限制性示例)。例如，当上下文是“滑雪”时，响应性和相关性被用户高度评价的图像可以共享某些构图属性，例如，雪、滑雪雪橇上的人、被雪覆盖的山等。在一些情况下，本公开的系统可以将来自一组的图像的构图和风格属性以及其他信息映射到该组的相关性和响应性值，以生成ml模型。以这种方式，可以基于该图像的属性(例如，风格信息、像素相关信息、构图属性等)为未来候选图像分配相关性值和/或响应性值。例如，由于单板滑雪的人的未来候选图像包括山或雪，该图像的相关性可以被标记为“是”，响应性被标记为“4/5”或甚至“5/5”。
56.模型生成模块116可以被配置为部分地基于用户响应生成用于预测图像表现的一个或多个模型。生成用于预测广告表现的一个或多个模型可以包括训练机器学习算法或另一人工智能算法，以标记至少一个候选图像在上下文细分图中至节点的上下文中的相关性值和响应性值。作为非限制性示例，一个或多个模型可以包括一般受众模型、社交媒体模型、库存图像模型、兴趣模型、受众细分或受众群组模型、上下文模型和细分模型中的一个或多个。
57.候选图像接收模块118可被配置为接收用于创意活动的多个候选图像。创意活动的一个非限制性示例可以包括广告活动。
58.相关性确定模块120可以被配置为使用一个或多个模型中的至少一个模型确定每个候选图像的相关性值。
59.响应性确定模块122可以被配置为使用一个或多个模型中的至少一个模型确定候选图像的至少一部分的响应性值。在一些实施例中，响应性确定模块122可以仅在候选图像的相关性值满足某个标准时确定候选图像的响应性值。例如，可以仅在相关性确定模块120
确定候选图像与节点相关时确定候选图像的响应性值。换句话说，响应性确定模块122为被分配了相关性值“1”或“真”或“相关”的一个或多个候选图像确定一个或多个响应性值。
60.度量确定模块124可以被配置为使用一个或多个模型中的至少一个模型，针对至节点的上下文中多个候选图像中的每个候选图像，确定第一度量集。在一些情况下，每个候选图像的第一度量集至少包括至节点的上下文中的置信度分数以及相关性值和响应性值中的一个或多个。
61.候选图像显示模块126可以被配置为显示多个候选图像的列表。在一些示例中，该列表包括针对多个候选图像中的每个候选图像的第一度量集，以下将结合图5-图11进一步描述。
62.图像属性模块128可以被配置为识别来自所述图像子集的每个图像的一个或多个属性。在一些情况下，一个或多个属性包括以下中的一个或多个：像素相关信息、风格信息、图像向量、关键字元数据或标签、以及人类标记。图像属性模块128可以进一步被配置为至少部分地基于每个组中每个图像的一个或多个属性确定每个组的属性的聚合，或者可选地，确定每个组的属性的平均值。
63.在一些情况下，图像属性模块128还可以被配置为确定每个候选图像的一个或多个属性。另外，图像属性模块128或系统100的另一个模块可以被配置为通过将每个候选图像的一个或多个属性与每个组的属性的聚合(或可选地，平均值)进行比较确定每个候选图像的相似性向量(或相似性度量)。图像属性模块128可以被配置为与相关性确定模块120、响应性确定模块122和/或度量确定模块124中的一个或多个协同工作，以为每个候选图像分配多个标记。在一些情况下，分配给每个候选图像的多个标记可以部分地基于所确定的相似性向量或度量。此外，多个标记可以包括候选图像在至节点的上下文中的置信度分数、相关性值和响应性值。在不同的实施例中，可以分配其他类型的标记，本文列出的示例不旨在进行限制。
64.在一些情况下，可以使用第一评分部分和第二评分部分来定义每个用户响应，其中，第二评分部分以第一评分部分为条件。在一些实施例中，接收用户响应包括接收针对每个用户响应的第一评分部分，每个第一评分部分包括图像子集的相应图像在上下文细分图中至节点的上下文中的用户期望相关性值的二进制样本，该二进制样本选自“是”或“否”、“1”或“0”、“相关”或“不相关”、或“真”或“假”中的一个。
65.评分部分模块130可以被配置为针对图像子集的至少一个图像，识别相应的第一评分部分包括“是”或“否”、“1”或“0”、“相关”或“不相关”、或“真”或“假”中的一个。在一些情况下，第一评分部分包括上下文细分图中至所选的节点的图像的相关性的二进制响应。此外，评分部分模块130(或者可选地，用户响应接收模块114)可以被配置为接收针对至少一个用户响应的每个用户响应的第二评分部分。作为非限制性示例，每个第二评分部分可以包括针对图像子集的相应图像的数值，其中，每个数值在下限和上限之间的范围上被评级，并且每个数值与对节点的响应性相关联。在一些示例中，第一评分部分包括相关性值，第二评分部分包括响应性值。
66.用户响应数据聚合模块132可以被配置为基于接收到图像子集在上下文细分图中至节点的上下文中的用户响应，聚合用户响应数据。聚合用户响应数据可以包括确定来自图像子集的每个图像的相关性和响应性的平均。在一些情况下，聚合图像的相关性值可以
包括确定图像是否被至少一半的用户指示为“相关”或“不相关”。此外，聚合图像的响应性值可以包括计算来自用户响应的相关性值的数值平均。
67.训练数据集生成模块134可以被配置为生成训练数据集，该训练数据集至少包括图像子集、与上下文细分图中的节点有关的信息以及聚合的用户响应数据。如上所述，生成用于预测图像表现的一个或多个模型包括训练机器学习算法以标记多个候选图像在上下文细分图中至节点的上下文中的相关性值和响应性值。在一些情况下，可以使用生成的训练数据集训练机器学习或ai算法。
68.节点定义模块136可以被配置为针对上下文细分图中的包括该节点的至少一个节点定义标签云或术语组。
69.在一些实施方式中，一个或多个服务器102、一个或多个客户端计算平台104和/或外部资源138可以经由一个或多个电子通信链路可操作地链接。例如，可以至少部分地经由诸如互联网和/或其他网络的网络150建立这种电子通信链路。应当理解，这并不旨在限制，并且本公开的范围包括一个或多个服务器102、一个或多个客户端计算平台104和/或外部资源138可以经由一些其他通信介质可操作地链接的实现。
70.给定的客户端计算平台104可以包括被配置为执行计算机程序模块的一个或多个处理器。计算机程序模块可以被配置为使与给定客户端计算平台104相关联的专家或用户能够与系统100和/或外部资源138交互，和/或提供本文归属于一个或多个客户端计算平台104的其他功能。作为非限制性示例，给定客户端计算平台104可以包括台式计算机、膝上型计算机、手持计算机、平板电脑计算平台、上网本、智能手机、游戏控制台和/或其他计算平台中的一个或多个。
71.外部资源138可以包括系统100之外的信息源、参与系统100的外部实体和/或其他资源。在一些实现中，可以由系统100中包括的资源提供本文归属于外部资源138的部分或所有功能。
72.一个或多个服务器102可以包括电子存储器140、一个或多个处理器142和/或其他组件。一个或多个服务器102可以包括通信线路或端口，以实现与网络150和/或其他计算平台的信息交换。图1中示出的一个或多个服务器102并非用于进行限制。一个或多个服务器102可以包括多个硬件、软件和/或固件组件，这些组件一起操作以提供本文归属于一个或多个服务器102的功能。例如，以由作为一个或多个服务器102的一起操作的计算平台云来实现一个或多个服务器102。
73.电子存储器140可以包括以电子方式存储信息的非暂时性存储介质。电子存储器140的电子存储介质可以包括与一个或多个服务器102集成提供(即，基本上不可移动)的系统存储器和/或可通过例如端口(例如，usb端口、火线(firewire)端口等)或驱动器(例如，磁盘驱动器等)可移动地连接到一个或多个服务器102的可移动存储器中的一个或两个。电子存储器140可以包括光学可读存储介质(例如，光盘等)、磁性可读存储介质(例如，磁带、磁性硬盘驱动器、软盘驱动器等)、基于电荷的存储介质(例如，eeprom、ram等)、固态存储介质(例如，闪存驱动器等)，和/或其他电子可读存储介质中的一个或多个。电子存储器140可以包括一个或多个虚拟存储资源(例如，云存储、虚拟专用网络和/或其他虚拟存储资源)。电子存储器140可以存储软件算法、由一个或多个处理器142确定的信息、从一个或多个服务器102接收的信息、从一个或多个客户端计算平台104接收的信息和/或使一个或多个服
务器102能够如本文所述运行的其他信息。
74.一个或多个处理器142可以被配置为为一个或多个服务器102中提供信息处理能力。因此，一个或多个处理器142可以包括数字处理器、模拟处理器、设计用于处理信息的数字电路、设计用于处理信息的模拟电路、状态机和/或用于电子处理信息的其他机制中的一个或多个。尽管一个或多个处理器142在图1中被示为单个实体，但这仅用于说明性目的。在一些实现中，一个或多个处理器142可以包括多个处理单元。这些处理单元可以物理地位于同一设备内，或者一个或多个处理器142可以表示协同操作的多个设备的处理功能。一个或多个处理器142可以被配置为执行模块108、110、112、114、116、118、120、122、124、126、128、130、132、134和/或136和/或其他模块。一个或多个处理器142可以被配置为通过软件、硬件、固件、软件、硬件和/或固件的某种组合，和/或用于在一个或多个处理器142上配置处理能力的其他机制执行模块108、110、112、114、116、118、120、122、124、126、128、130、132、134、136和/或其他模块。如本文所使用的，术语“模块”可以指执行归属于该模块的功能的任何组件或组件集。这可以包括在处理器可读指令、电路、硬件、存储介质或任何其他组件的执行期间的一个或多个物理处理器。
75.应当理解，尽管模块108、110、112、114、116、118、120、122、124、126、128、130、132、134和/或136在图1中被示为在单个处理单元内实现，但是在一个或多个处理器142包括多个处理单元的实现中，模块108、110、112、114、116、118、120、122、124、126、128、130、132、134和/或136中的一个或多个可以从其他模块远程实现。由于模块108、110、112、114、116、118、120、122、124、126、128、130、132、134和/或136中的任何一个可以提供比所描述的更多或更少的功能，以下描述的由不同模块108、110、112、114、116、118、120、122、124、126、128、130、132、134和/或136提供的功能的描述是为了说明的目的，而不是为了进行限制。例如，模块108、110、112、114、116、118、120、122、124、126、128、130、132、134和/或136中的一个或多个可以被消除，并且其部分或全部功能可以由模块108、110、112、114、116、118、120、122、124、126、128、130、132、134和/或136中的其他模块提供。作为另一个示例，一个或多个处理器142可以被配置为执行一个或多个附加模块，该一个或多个附加模块可以执行归属于模块108、110、112、114、116、118、120、122、124、126、128、130、132、134和/或136中的一个模块的部分或所有功能。
76.图2a、2b、2c、2d和2e分别示出了根据一个或多个实现的用于提供图像推荐的方法200-a、200-b、200-c、200-d和200-e。下面呈现的方法200的操作旨在用于说明。在一些实现中，方法200可以用未描述的一个或多个附加操作来完成，和/或不使用所讨论的一个或多个操作。另外，在图2a、2b、2c、2d和/或2e中示出并在下文中描述的方法200的操作的顺序不旨在进行限制。
77.在一些实现中，方法200可以在一个或多个处理设备(例如，数字处理器、模拟处理器、设计用于处理信息的数字电路、设计用于处理信息的模拟电路、状态机和/或用于电子处理信息的其他机制)中实现。一个或多个处理设备可以包括响应于电子存储在电子存储介质上的指令执行方法200的部分或所有操作的一个或多个设备。一个或多个处理设备可以包括通过硬件、固件和/或软件配置的一个或多个设备，该硬件、固件和/或软件被专门设计用于执行方法200的一个或多个操作。
78.图2a示出了根据一个或多个实现的方法200-a。
79.操作202可以包括从一个或多个图像源(例如，图像服务器)接收图像集。根据一个或多个实现，操作202可以由一个或多个硬件处理器执行，该一个或多个硬件处理器由机器可读指令配置，机器可读指令包括与集接收模块108相同或相似的模块。
80.操作204可以包括访问包括一个或多个节点的上下文细分图。在一些情况下，每个节点可以与至少一个细分相关联。此外，至少一个细分可以从由兴趣、商业细分或受众细分组成的组中选择。根据一个或多个实现，操作204可以由一个或多个硬件处理器执行，该一个或多个硬件处理器由机器可读指令配置，机器可读指令包括与上下文细分图访问模块110相同或相似的模块。
81.操作206可以包括从图像集中识别与上下文细分图中的与节点相关的图像子集。根据一个或多个实现，操作206可以由一个或多个硬件处理器执行，该一个或多个硬件处理器由机器可读指令配置，机器可读指令包括与子集识别模块112相同或相似的模块。
82.操作208可以包括从至少一个用户接收针对图像子集的用户响应。在一些情况下，每个用户响应包括来自图像子集的图像在上下文细分图中至节点的上下文中的相关性值和响应性值。根据一个或多个实现，操作208可以由一个或多个硬件处理器执行，该一个或多个硬件处理器由机器可读指令配置，机器可读指令包括与用户响应接收模块114相同或相似的模块。
83.操作210可以包括部分地基于用户响应生成用于预测图像表现的一个或多个模型。根据一个或多个实现，操作210可以由一个或多个硬件处理器执行，该一个或多个硬件处理器由机器可读指令配置，机器可读指令包括与模型生成模块116相同或相似的模块。
84.操作212可以包括接收用于创意活动的多个候选图像。根据一个或多个实现，操作212可以由一个或多个硬件处理器执行，该一个或多个硬件处理器由机器可读指令配置，机器可读指令包括与候选图像接收模块118相同或相似的模块。
85.操作214可以包括使用一个或多个模型中的至少一个模型，针对至节点的上下文中多个候选图像中的每个候选图像，确定第一度量集。根据一个或多个实现，操作214可以由一个或多个硬件处理器执行，该一个或多个硬件处理器由机器可读指令配置，机器可读指令包括与度量确定模块124相同或相似的模块。
86.操作216可以包括显示多个候选图像的列表。在一些情况下，该列表包括针对多个候选图像中的每个候选图像的第一度量集。在一些示例中，针对每个候选图像的第一度量集包括至节点的上下文中的置信度分数以及相关性值和响应性值中的一个或多个。根据一个或多个实现，操作216可以由一个或多个硬件处理器执行，该硬件处理器由机器可读指令配置，机器可读指令包括与候选图像显示模块126相同或相似的模块。
87.图2b示出了根据一个或多个实现的方法200-b。
88.操作222可以包括，针对图像子集的至少一个图像，识别针对至少一个用户响应的相应第一评分部分包括“是”、“1”、“真”或“相关”中的一个。根据一个或多个实现，操作222可以由一个或多个硬件处理器执行，该硬件处理器由机器可读指令配置，机器可读指令包括与评分部分模块130相同或相似的模块。
89.在一些情况下，使用第一评分部分和第二评分部分来定义每个用户响应，其中第二评分部分可以以第一评分部分为条件。例如，可以提示用户或受众成员针对来自图像子集的图像是否a)与给定上下文相关，以及b)如果是，他们将如何对给定上下文的图像的使
用进行评级的意见。在一些情况下，用户可以用二进制值(例如，“是”或“否”、“相关”或“不相关”等)来响应第一提示a)。进一步地，如果对提示a)的响应是肯定的，用户可以仅用例如数值或分数(例如，从1到5、从0到10等)来响应第二提示b)。当用户响应指示特定图像与给定上下文相关时，针对相关性(即，第一评分部分)的用户响应是“肯定的”。如本文所使用的，第一评分部分包括对第一提示a)的响应，而第二评分部分包括对第二提示b)的响应。
90.操作224可以包括接收针对至少一个用户响应的每个用户响应的相应第二评分部分。每个第二评分部分可以包括针对图像子集的相应图像的数值。此外，可以在下限和上限之间的范围上(例如，在0和1之间、0和100之间、0和10之间、1和10之间等几个非限制性示例)对每个数值评级。在一些情况下，每个数值可以与对节点的响应性相关联。在一些示例中，第一评分部分包括相关性值，第二评分部分包括响应性值。根据一个或多个实现，操作224可以由一个或多个硬件处理器执行，该硬件处理器由机器可读指令配置，机器可读指令包括与评分部分模块130相同或相似的模块。
91.图2c示出了根据一个或多个实现的方法200。
92.操作226可以包括基于接收到图像子集在上下文细分图中至节点的上下文中的用户响应，聚合用户响应数据。根据一个或多个实现，操作226可以由一个或多个硬件处理器执行，一个或多个硬件处理器由机器可读指令配置，机器可读指令包括与用户响应数据聚合模块132相同或相似的模块。
93.操作228可以包括生成训练数据集，该训练数据集至少包括图像子集、与上下文细分图中的节点有关的信息以及聚合的用户响应数据。在不同的实施例中，可以利用其他类型的信息来生成训练数据集，并且本文列出的示例不旨在进行限制。
94.在一些情况下，聚合的用户响应数据可以链接到节点的相关性值/分数和响应性值/分数。在一些实施例中，训练数据集可用于编码分类器(例如，机器学习分类器)，其中分类器可利用图像(例如，5000幅图像、10000幅图像等)和从用户接收的相关性值和响应性值生成相似性函数或相似性度量。在一些情况下，相似性函数可以用于测量两个对象(例如，图像)的相似或相关程度。在使用训练数据集训练分类器(或机器学习算法)之后，可以使用分类器来预测一个或多个候选图像的图像表现。作为示例，本公开的系统可以用于比较给定上下文(例如“健身”)的两个或多个候选图像的预测表现。在这种情况下，分类器可以针对给定“健身”上下文被高度评分的图像(即，来自训练数据集)确定两个或更多候选广告图像的相似性度量或相似性函数。在一个非限制性示例中，训练数据集可用于训练分类器或机器学习算法，以例如使用图像的像素相关信息来识别图像的属性。此外，分类器可以将来自训练数据集的图像的人类调查数据(例如，相关性值和/或响应性值)链接或映射到它们各自的像素相关信息。在一些情况下，给定相同的上下文，分类器可以将更高的分数分配给与来自训练数据集的一个或多个高分数图像共享一个或多个特征/特点的候选图像。类似地，与来自训练数据集的高分数图像不同(例如，在像素相关信息中)并且给定相同上下文的候选广告图像可以被分配较低的分数。以这种方式，分类器可以利用人类调查数据作为指标来预测广告表现。根据一个或多个实现，操作228可以由一个或多个硬件处理器执行，一个或多个硬件处理器由机器可读指令配置，机器可读指令包括与训练数据集生成模块134相同或相似的模块。
95.图2d示出了根据一个或多个实现的方法200-d。
96.操作230可以包括识别来自图像子集的每个图像的一个或多个属性，其中一个或多个属性包括以下中的一个或多个：像素相关信息、风格信息、图像向量、关键字元数据或标签和人类标记。在一些情况下，图像向量可以表示图像内的一个或多个对象和相应的位置。可以使用计算机操作的卷积神经网络(convolutional neural network，cnn)来确定图像向量。在一些情况下，人类标记可以包括第一评分部分(例如，相关性值)和第二评分部分(例如，响应性值)中的一个或多个。在一些情况下，人类标记还可以包括来自图像子集的图像的一个或多个描述性术语或短语。例如，飞机起飞的图像可以与一个或多个描述性术语或短语(例如“假期”、“假日”、航空公司名称、机场名称等)相关联。根据一个或多个实现，操作230可以由一个或多个硬件处理器执行，该硬件处理器由机器可读指令配置，机器可读指令包括与图像属性模块128相同或相似的模块。
97.操作232可以包括基于来自用户响应的相关性值和响应性值，将图像子集分成多个组。根据一个或多个实现，操作232可以由一个或多个硬件处理器执行，该一个或多个硬件处理器由机器可读指令配置，机器可读指令包括与用户响应接收模块114相同或相似的模块。
98.操作234可以包括至少部分地基于每个组中每个图像的一个或多个属性确定该组的属性的聚合。根据一个或多个实现，操作234可以由一个或多个硬件处理器执行，该硬件处理器由机器可读指令配置，机器可读指令包括与图像属性模块128相同或相似的模块。
99.图2e示出了根据一个或多个实现的方法200-e。
100.操作236可以包括确定每个候选图像的一个或多个属性。在一些情况下，一个或多个属性包括以下中的一个或多个：像素相关信息、风格信息、图像向量、关键字元数据或标签和人类标记。根据一个或多个实现，操作236可以由一个或多个硬件处理器执行，该一个或多个硬件处理器由机器可读指令配置，机器可读指令包括与图像属性模块128相同或相似的模块。
101.操作238可以包括通过将每个候选图像的一个或多个属性与每个组的属性的聚合进行比较，确定每个候选图像的相似性向量。在一些其他情况下，系统100可以确定每个组的图像向量的平均，将每个候选图像的图像向量与每个组的图像向量的平均进行比较，确定多个相似性向量，每个组对应一个一个相似性向量。在一些情况下，相似性向量(也称为相似性度量或相似性分数)可以用于比较两个数据对象(例如，两个图像)的相似性。尽管不是必需的，但在一些情况下，可以在从0到1的范围内测量相似性，其中相似性为1指示两个数据对象是相同的，而相似性为0指示两个数据对象是不相似的。根据一个或多个实现，操作238可以由一个或多个硬件处理器执行，该一个或多个硬件处理器由机器可读指令配置，机器可读指令包括与图像属性模块128相同或相似的模块。
102.操作240可以包括至少部分地基于所确定的相似性向量(即，相似性分数或度量)为每个候选图像分配多个标记，其中多个标记包括候选图像在至节点上下文中的置信度分数、相关性值和响应性值。在一些示例中，系统100可以将候选图像的图像向量与每个组的图像向量的平均进行比较，确定候选图像相对于该组中的图像有多相似或不相似。在一些情况下，系统100然后可以将候选图像分类到与其最佳匹配(即，最相似)的组。所说的另一种方式，在基于所确定的相似性度量将图像分类成组之后，系统100可以为候选图像分配与该组中的图像相似(或相同)的相关性值和响应性值。根据一个或多个实现，操作240可以由
一个或多个硬件处理器执行，该硬件处理器由机器可读指令配置，机器可读指令包括与度量确定模块124相同或相似的模块。
103.图3示出了根据一个或多个实现的用于提供图像推荐的处理流程300。在一些情况下，处理流程300实现本文描述的，至少包括图1的附图中的一个或多个方面。在一些示例中，处理流程300可以由图像推荐系统(例如系统100或系统1400-1600中的任何一个)实现。
104.在一些情况下，用户314可以从用户设备303发起(例如，315-a)实体(例如，公司或组织、品牌)的广泛广告活动301。用户设备303可以类似于或基本上类似于关于图1所描述的客户端计算平台104。在该示例中，广告活动301可以广泛地针对普通受众，而不考虑任何兴趣、人口统计、地理位置、年龄等。在一些情况下，用户设备303可以是电子地、逻辑地和通信地耦合到ai引擎302的用户设备。ai引擎302可以在诸如图1中的服务器102的服务器上执行或托管。附加地或可选地，ai引擎302可以是电子地、逻辑地和通信地耦合到服务器102的ai引擎。在一些情况下，ai引擎302可以使用硬件、软件或其组合来实现。如图3所示，ai引擎302包括广告表现模块309、广告活动模块319和图像选择模块329。模块(即，广告表现模块309、广告活动模块319和图像选择模块329)可以实现先前关于图1描述的模块的一个或多个方面。此外，图3中的模块可以使用硬件、软件或其组合来实现。
105.在一些情况下，运行广泛广告活动301的用户314可以利用ai引擎302来微调活动，例如，提高点击率(ctr)和/或降低每次获取成本(cpa)，等等。ai引擎302可以分析来自互联网上众多来源(例如，示出为数据源330-a、330-b、330-c)的数据，以优化广告活动表现。在一些情况下，ai引擎302可以扫描和分析与跨第一价格拍卖环境的广告展现机会和/或历史结算价格有关的数据集，例如两个非限制性示例，为展现选择最佳出价和利用受众洞察力来提供实时推荐。ai引擎的一个非限制性示例包括由thetradedesk开发的koa人工智能。在一些示例中，ai引擎302利用出价因子(例如，应用于基本出价以调整发送到广告交易平台的出价的乘数)来关注表现最佳的网站、地理位置和/或新近性。在其他情况下，ai引擎302可以利用行项目而不是出价因子来确定要关注的受众细分/群组。在任一情况下，ai引擎302可以向用户314推荐优先广告支出的特定受众细分。
106.在一些实施例中，ai 302的广告表现模块309可以从多个数据源330接收广告数据311。当用户314发起广泛广告活动315-a时，ai引擎302的广告活动模块319还可以从用户设备303接收与广泛广告活动301有关的信息。在一些情况下，信息可以包括两个非限制性示例，品牌或公司名称、和/或细分类别(例如，健身、食品、时尚、旅游等)的指示。例如，如果用户314正在为健身品牌运行广泛的广告活动301，则信息可以包括品牌的名称和/或细分类别(即，健身)。在一些示例中，ai引擎302可以分析从多个数据源330接收的广告数据311和与广泛广告活动301有关的信息，以提供针对目标广告活动的推荐。如图3所示，广告活动模块319可以向用户设备303发送消息(例如，315-c)，其中该消息包括针对目标广告活动306的推荐。作为示例，为户外和健身品牌运行广泛广告活动301的用户可以基于ai引擎302提供的分析和推荐来确定“喜欢跑步的人”对广泛活动301反应良好。在这种情况下，用户314可以确定专门关注跑步者的目标广告活动306，以优化广告表现(例如，降低每次获取成本(cpa)、降低每次点击成本(cpc)、增加组织的收入、增加净收入等)。
107.在一些示例中，用户314还可以利用ai引擎302接收用于运行目标广告活动306的图像推荐。在一些实施例中，ai引擎302可以用于例如基于聚合和分析人类响应性和/或相
关性数据识别一个或多个优化图像以在目标广告活动306中使用。ai引擎302可以基于来自一个或多个来源(例如，社交媒体、网站、图像群组平台或论坛、库存图像站点等)的图像在不同受众或焦点群体中的预测表现，将这些图像(例如，候选广告图像)进行分类和标记。例如，由于跑步爱好者对广泛活动301反应良好，ai引擎302可以用于预测“喜欢跑步的人”受众细分的图像表现。在一些实施例中，在从一个或多个图像源(例如，图像集320-a到320-d、用户上传的图像集合、来自其他网站或社交媒体的图像、免版税或库存图像等)接收多个候选图像之后，ai引擎302可以运行一个或多个模型，例如广告评分模型。在一些示例中，可以基于目标受众、受众细分或群组等来利用不同类型的模型。例如，“健康和健身”受众模型或“跑步”模型可用于筛选出来自“健康和健身”或“跑步”受众组的用户在给定特定上下文(例如“跑步机”)的情况下可能会发现更有吸引力的图像或图像子集。换句话说，给定一个图像或图像集，在特定上下文中，一个人(例如，普通受众、社交媒体用户、特定兴趣用户等)会如何看待该图像(或图像集)。
108.在一些情况下，ai引擎302可以包括图像选择模块329，其可以通过双向通信链路(例如，315-d)与图像服务器317通信。在一些情况下，图像服务器317可以存储或接收来自一个或多个图像源的多个图像集(例如，图像集320-a、图像集320-b、图像集320-c、图像集320-d等)，其中每个图像集包括至少一个图像。图像选择模块329可以分析来自多个图像集320的多个图像，并确定用于目标广告活动306的一个或多个优化图像。在一些情况下，在确定用于目标活动306的一个或多个优化图像之后，来自该一个或多个优化图像(例如，来自图像集320-c)的至少一个图像可以被上传315-e用于目标广告活动306。
109.现在转向图16，图16是根据本公开的各个方面的上下文细分图1600的简化图示。为了简洁起见，上下文细分图1600仅包括少量的节点、图像和细分。可以理解的，上下文细分图1600可以包括数十或甚至数百个节点和细分以及数千或甚至数百万个图像。如图16所示，上下文细分图1600包括具有多个节点和分支的树状结构，其中每个分支和/或节点与至少一个细分相关联。在所示的示例中，上下文细分图1600包括一个或多个节点1610(例如，节点1610-a、节点1610-b、节点1610-c等)，其中每个节点与图1600中的至少一个细分(例如，细分1605-a、细分1605-b、细分1605-c等)相关联。在一些示例中，节点可以与多个细分(也称为细分类别)相关联。此外，上下文细分图的节点可以与来自图像集的一个或多个图像相关联。在该图示中，图像集可以包括所有灰色方块的并集(即，带有和不带有“+”号)。换句话说，图像集可以包括图像1615和图像子集1616。在一些示例中，图像可以与多个节点相关联，其中节点可以与相同或不同的细分类别相关联。在一些示例中，箭头1625描绘了图像和节点1610之间的关联。
110.在一些实施例中，系统(例如，图1中的系统100，图14中的系统1400)可以从第三方系统，例如广告目标系统或服务器(例如，图1中的远程计算平台104)访问上下文细分图1600。该系统还可以从一个或多个图像源，例如图像服务器(例如，如图3所示的图像服务器317)接收图像集。在一些示例中，系统可以提示一个或多个用户指示与节点相关的一个或多个图像的相关性值和/或响应性值。例如，系统可以提示一个或多个用户指示与节点1610-a相关的图像子集1616的相关性和/或响应性。系统还可以提示相同或不同的用户集指示与其他节点1610(例如，节点1610-b、节点1610-b等)相关的一个或多个图像1615的相关性和/或响应性。用户响应可以由系统聚合并用于生成一个或多个模型(例如，广告评分
模型)。广告评分模型的一些非限制性示例可以包括社交媒体模型、兴趣模型(例如，健康和健身模型、时尚模型、流行音乐模型、职业足球模型)、商业细分模型(例如，户外服装模型、旅游模型、餐馆和酒吧模型)等。在一些情况下，生成的模型可以用于创建和运行用于创意活动(例如广告活动)中的图像表现的预测。
111.在一些情况下，系统可以识别与上下文细分图1600中的节点(例如，节点1610-a)相关联的图像子集(例如，图像子集1616)。作为示例，上下文细分图1600中的细分1605-a可以与类别“健身”相关联，节点1610-a与“跑步”相关联。在一些实施例中，可以为图像子集中的一个或多个图像聚合人类调查数据，其中人类调查数据可以在图1600中至节点1610-a的上下文中，这将在下面结合图8进一步描述。
112.在一些实施例中，可以要求受众成员(例如，社交媒体用户、电子商务或在线购物用户、普通互联网用户等)对给定特定上下文的多个图像(例如，图像子集1616)进行反馈。例如，可以请求普通受众成员对上下文“海滩假日”的多个图像进行反馈。在另一示例中，可以请求落入特定类别的受众成员，例如现场音乐爱好者，对给定上下文“音乐节”的多个图像进行反馈。在一些情况下，人类调查数据可以包括针对多个图像从多个受众成员收集的这种特定上下文的反馈。在一些示例中，该特定上下文的反馈和图像子集可以作为训练数据集输入到分类器。分类器可以利用人工智能(ai)算法，例如卷积神经网络(cnn)，使用训练数据集生成至少一个机器学习(ml)模型。可以理解，随着越来越多的人类主观响应和相关联的图像被馈送到分类器中，ml模型可以被连续地细化和更新。
113.在一些情况下，可以从与特定细分相关联的图像子集的受众获取人类标记(例如，相关性值、响应性值)。在某些情况下，利用大量用户的反馈可能有助于使人工智能算法的预测更加准确。例如，图像的数量(例如，5000、10000等)和人类主观标记(例如，30000个标记、50000个标记等)可能会影响特定模型在预测创意(例如广告)的图像表现方面的准确性。在一些情况下，当ai算法将新图像(即，不在训练数据集中的图像)分类到某个类别或组中时，它还可以为该预测提供置信度分数。在一些方面，置信度分数可以作为ai算法在分类图像中的准确性的定量度量。
114.在一些情况下，每个用户响应可以被定义为两个部分或两个评分部分，其中第二评分部分可以以第一评分部分为条件。例如，第一部分或评分部分可以包括来自图像子集1616的图像在至节点的上下文中的人类期望相关性的二进制样本(例如以下几个非限制性示例：“是”或“否”、“1”或“0”、“真”或“假”、“相关”或“不相关”)。在某些情况下，可以从随机的受众成员那里收集响应。在其他情况下，可以从属于特定细分或受众群组(例如，具有特定兴趣，例如自然、摄影、健身、跑步、艺术、音乐等)的受众成员收集响应。如果第一评分部分是“是”或“真”，则在给定相同上下文的情况下，可以提示用户在范围上(例如，在0％和100％之间、1和10之间、0和5之间、1和5之间等)对图像进行评级，以用于第二评分部分。在一些情况下，第二评分部分可以涉及响应性(或响应可能性)，其中响应性是在该范围上评级的。
115.在一些情况下，ai算法可以利用ml模型来估计给定上下文的候选图像的相关性值，并且可选地估计给定上下文的候选图像的响应性值，其中该估计可以部分地基于将候选图像的属性与给定相同或相似上下文的人类调查响应中被分配了特定标记(例如，相关性值、响应性值)的图像的属性进行比较。作为示例，ml模型可以基于将图像的属性(例如，
风格信息、构图信息、图像向量、像素相关信息等)和在给定上下文“自然”的情况下，相关性和响应性被评分的其他图像(例如，树木、红花、海滩、山脉、郁金香、玫瑰、建筑物、车辆等)的属性进行比较，为给定特定上下文(例如，自然)的图像(例如，黄花的图像)分配相关性值“是”和响应性值“5/5”。在该示例中，ml模型可能已经确定黄花的图像具有一个或多个类似于来自训练数据集中的树、红花、郁金香和/或玫瑰的图像中的特征的特征。ml模型还可以确定，在给定上下文“自然”的情况下，来自训练数据集的那些图像的相关性被平均评定为“是”，响应性被平均评分为“5/5”。此外，ml模型可以确定黄花的图像最不像来自训练数据集，在给定上下文“自然”的情况下，相关性被平均评定为“否”的建筑物和车辆的图像。以这种方式，ml模型可以基于黄花的图像与训练数据集中，给定相同或相似上下文的图像的相似或不相似程度来为黄花的图像分配相关性值和响应性值标记。
116.因此，图像分类流水线可以被视为包括具有图像子集1616(例如，n个图像)和上下文(例如，节点1610-a)的输入训练数据集，其中来自图像子集1616的每个图像用k个不同类或组中的一个来标记。在一些情况下，每个组或类可以与相关性值相关联，并且可选地与响应性值相关联。例如，第一类或组可以与相关性“是”和响应性“5/5”相关联，第二类或组可以与相关性“否”相关联，第三类或组可以与相关性“是”和响应性“1/5”相关联，等等。
117.图4示出了根据一个或多个实现的用户界面(ui)400的示例。在一些示例中，ui 400实现本文描述的至少包括图3的附图的一个或多个方面。ui 400可以与ai引擎，例如图3中的ai引擎302相关联。可选地，用于显示ui 400的用户设备(例如，智能手机、平板电脑、膝上型电脑等)可以从链接到ai引擎302的服务器(例如，服务器102)接收用于呈现ui的信息。人工智能引擎的一个非限制性示例包括由thetradedesk开发的koa人工智能。可以在不同的实施例中使用本领域已知的其他类型的ai引擎，并且这里列出的示例不旨在进行限制。在一些示例中，ai引擎可以是电子地、逻辑地和通信地耦合到广告目标系统或服务器的ai引擎。广告目标服务器可以向ai引擎提供不同领域或细分的广告表现数据。然后，ai引擎可以分析广告表现数据，并显示一个或多个用于进一步增强广告表现的推荐。例如，户外和健身品牌可以销售多种类别的产品，例如夏季户外活动(例如，登山鞋、登山杖、越野跑鞋、指南针、背包、皮划艇、桨板等)、冬季户外活动(例如，滑雪单板、滑雪雪橇、护目镜)和室内健身(例如，健身服装、哑铃等)。在一些实施例中，图3中的ai引擎302可以分析广告表现数据并识别特定细分类别(例如，夏季户外活动)以对广告支出进行优先排序，从而最大化广告支出的回报。
118.如图4所示，ui 400可以包括一个或多个显示框401(也称为窗口401)。此外，ui 400可以在第一显示框401-a中显示预测结算价格和推荐的影响中的一个或多个。在所示的示例中，ui 400通过在显示框401-a中使用ai引擎显示保留和再投资(例如，10美元)的预测结算和点击率(ctr)目标改进。在一些情况下，ui 400还可以在另一个显示框401-b中提供受众或细分消费建议。例如，显示框401-a指示ai引擎(例如，在图3中示出的ai引擎302)基于当前广告表现对夏季户外活动细分(例如，徒步旅行、背包旅行、水上运动)进行优先级支出推荐。
119.在一些示例中，ui 400还在第三显示框401-c中显示上传图像404的预测表现值。如图4所示，当使用“广告评分.户外(adscore.outdoors)”模型和默认子模型时，ai引擎或分类器预测图像404的置信度分数为“0.9988”和评级为“5/5”。在一些示例中，ai引擎或分
类器可以允许用户使用不同的模型和子模型来运行图像表现的预测(例如，基于给定的上下文)。在某些情况下，当一个模型在层次结构中有多个子模型时，它可能被称为顶级模型。例如，顶级模型可以包括“健康和健身”模型或“户外活动”模型。此外，“健康和健身”模型的子模型可以是例如两个非限制性示例，“跑步”(扩展到子类别)和/或人口统计(例如，老年受众vs千禧一代)。类似地，“户外活动”模型的子模型可以包括“夏季活动”子模型、“冬季活动”子模型和“默认”子模型，其中“默认”子模型可以组合例如“夏季活动”和“冬季活动”子模型的元素。在该示例中，ai引擎利用从1到5的值已经标记了候选图像404。5/5的评级意味着给定“户外活动”上下文，ai引擎预测图像404具有良好表现。应该注意的是，在不同的实施例中，可以考虑其他评级范围(例如，1到10、1到100、0到100等)，本文列出的示例不旨在进行限制。
120.在机器学习领域，置信度分数是机器学习模型的输出(即，预测)是正确的并且将满足用户请求的可能性的度量。在一些情况下，置信度分数在标度上(例如，0-1、0-100等，其中较高的值意味着高置信度)被评级。机器学习模型通常输出多个预测，其中每个预测都与置信度分数相关联。在一些情况下，ai引擎或分类器可以为候选图像分配标记(例如，相关性、响应性)，其中标记的值可以部分地基于所利用的ml模型。所述的另一种方式中，用于为候选图像分配标记的ml模型可以部分基于给定的上下文(例如，健康和健身、户外活动、时尚等)，这可以帮助确保人类主观分类标记对于用例是足够的和合适的。在所示的示例中，当使用“adscore.outdoors”模型进行分析时，ai引擎将图像404标记为“5/5”。在这种情况下，置信度分数用于传达关于“5/5”评级标记的可能性(或ai引擎的置信度)。置信度分数为0.9988(满分为1)表示ai引擎99.88％确信它分配的“5/5”评级标记是准确的。应当注意，ai引擎还可能已经确定了其他评级的置信度分数，例如，1/5评级的置信度分数为0.012，2/5评级的置信度分数为0.18，3/5评级的置信度分数为0.67，4/5评级的置信度分数为0.82。由于评级值与最高置信度分数相关联，ai引擎可能已经将图像标记为“5/5”。应当注意，当使用不同的ml模型时，ai引擎可以为相同图像(即，图像404)预测不同的置信度分数和评级值。
121.在一些示例中，显示框401-c中的位置的“是”或“否”可以指位置上下文。在一些情况下，位置和/或社会上下文可以是ai引擎可以用来预测图像表现的模型的其他示例。研究表明，当图像具有位置上下文时，例如熟悉该位置的受众可以识别(例如，当地店面，或者，比如说，自由女神像)，可以提高识别和响应。这可以与其他细分提示结合使用，以显著增强用户对图像的参与度。
122.图5示出了根据一个或多个实现的ui 500的示例。此外，图6示出了根据一个或多个实现的ui 600的示例。图5和图6实现了本文描述的至少包括图1、图2a-2d和图7-12的附图的一个或多个方面。
123.如图5所示，ui 500可以允许用户浏览、搜索和/或查看图像。例如，用户可以经由搜索框501搜索与特定类别或细分(例如，跑步、食品、时尚、音乐、艺术、自然等)相关的图像。在一些情况下，ui 500还可以显示一个或多个可选按钮(例如，社交按钮502、免版税按钮503——由虚线示为可选)，这可以允许用户从特定源搜索图像。在所示的示例中，用户可以点击按钮502(由虚线显示为可选的)来搜索和查看来自社交媒体平台的图像，或者点击按钮503来搜索和查看来自免版税来源的图像(例如，库存图像)。在所示的示例中，用户已
经将搜索查询“跑步”输入到搜索框501中，以查看例如，与跑步的人、跑步前和跑步后的食品或饮料、跑步装备、跑步服装等相关的图像。
124.在一些实施例中，用户可以使用ui 500细化和/或过滤搜索结果。如图5所示，ui 500显示可选的两个文本框504-a和504-b，这两个文本框可以使用户能够通过分别添加关键字和位置来细化搜索结果。在一些情况下，在文本框504(由虚线示为可选的)中接收的输入可以用于缩小呈现给用户的图像结果的数量。应当注意，“关键字”和“位置”不是可以从用户接收的唯一类型的过滤器，在不同的实施例中，可以考虑其他类型的过滤器。
125.在一些情况下，ui 500可以用于显示图像结果510，其中图像结果510可以部分地基于搜索框501中的搜索查询输入和(可选地)文本框504中的细化。在一些实施例中，本公开的系统还可以允许用户经由ui 500执行一个或多个动作。在所示的示例中，ui 500在图像结果510窗口的右下角显示可点击图标511。在点击图标511时，ui 500可以显示向用户显示的一个或多个超链接的弹出窗口。例如，ui 500可以使用户能够通过点击超链接来执行一个或多个动作。可以呈现给用户的超链接的一些非限制性示例包括以下中的一个或多个：创建集合512、上传照片513和做出预测515。
126.在一个非限制性示例中，在点击做出预测515(在图5中以粗体示出)时，可以向用户显示弹出窗口，例如图6中的ui 600。
127.现在转向图6，其显示了根据本公开的各种实施例的ui 600的示例。在一些示例中，ui 600可以允许用户对来自一个或多个图像源的图像，例如但不限于图像集合601、支持的url或档案(例如，社交媒体档案)602和/或自定义图像603创建预测。在一些情况下，本公开的系统可以使用户能够例如在未来的广告活动中为用户创建和保存图像集合。另外，或者可选地，系统还可以允许用户查看由另一用户保存的图像集合601。在一些情况下，用户可能需要被授权访问以查看其他用户的图像集合601。在一些情况下，系统可以允许用户预测来自各种图像源(包括但不限于库存图像或免版税收藏、用户上传的图像和许可的图像(例如，来自社交媒体网站或平台，或任何其他适用的来源)的图像的表现。
128.图7示出了根据本公开的各种实施例的用于图1中的系统的用户界面(ui)700的示例。ui 700可以显示在诸如膝上型电脑、智能手机、平板电脑等的用户设备上，其可以类似于或基本上类似于图1所描述的远程计算平台104。在所示的示例中，用户已经将搜索查询“跑步”输入到搜索框701中，其中搜索框701类似于或基本上类似于图5中的搜索框501。此外，用户通过点击按钮703(以粗体显示)选择了“免版税”作为源。
129.ui 700显示用户可以在其上运行图像表现预测的多个图像集合/文件夹。例如，ui 700显示四个图像集合/文件夹，包括每个集合中(例如，图像集)的图像数量。如图7所示，ui 700显示来自由用户选择的标题为“跑步冒险”(以粗体显示)的集合的图像结果710。在一些情况下，ui 700还可以显示与其他集合相关的细节(例如，我的集合-总共29个图像；共享集合-总共285个图像；公共集合-总共119个图像)可供该用户使用。在这个示例中，用户已经选择查看“跑步冒险”集合，该集合可能已经由用户先前保存/编译。如图7所示，“跑步冒险”系列总共包含199张图片(或照片)。此外，这些图像(或照片)也可以被称为候选图像。
130.在一些情况下，ui 700还可以显示搜索框701(即，类似于图1中的搜索框501)和用于选择图像源的可选按钮702和703(例如，用于选择社交媒体平台源的按钮702，用于选择免版税源的按钮703)。此外，ui 700还可以呈现一个或多个按钮721，例如以下几个非限制
性示例：按钮721-a(例如，用于运行预测)、按钮721-b(例如，用于将图像从一个图像集合导出到另一个图像集合)、按钮721-c(例如，用于将图像添加到图像集合)和/或按钮721-d(例如，用于从图像集合中删除图像)。在一些实施例中，ui 700还可以使用户能够例如通过点击可点击图标711来执行一个或多个其他动作。可点击图标711可以实现先前图5描述的可点击图标511的一个或多个方面。在点击图标711时，可以向用户呈现ui 700中的一个或多个链接，诸如用于创建集合的链接712、用于上传照片或图像的链接713和/或用于进行图像表现预测的链接715。
131.图8示出了根据本公开的各种实施例的用于图1中的系统的ui 800的示例。ui 800可以使用户能够运行一个或多个ml模型，用于预测来自图像集(例如，来自集合，例如前面图中讨论的“跑步冒险”集合)的候选图像的图像表现。在一些示例中，ml模型或分类器可以为给定上下文的候选图像分配一个或多个标记，其中标记可以是人类主观分类标记的示例。人类主观分类标记的一些非限制性示例包括相关性标记(例如，关于候选图像和给定上下文的二进制样本，例如是/否、相关/不相关)和响应性标记(例如，在范围上被评级的数值)。如图8所示，用户界面800可以包括一个或多个按钮801-a(例如，选择用于跑步预测的站点)和801-b(例如，选择用于跑步预测的模型)。在一些示例中，当用户点击按钮801时，ui 800可以显示下拉菜单、单选框、复选框等，这可以允许用户输入他们的选择。在所示的示例中，当用户点击按钮801-b(即，选择用于跑步预测的模型)时，ui 800显示可用于对“跑步冒险”集合中的候选图像运行预测的模型列表。如图8所示，ui 800允许用户选择用于运行预测的至少一个模型。模型的一些非限制性示例包括上下文模型(例如，用于预测候选图像将如何与给定上下文的社交媒体用户一起表现的社交媒体上下文模型，用于预测候选图像将如何与来自给定位置的用户一起表现的位置上下文模型)和广告评分模型(例如，健康和健身广告评分模型、家庭广告评分模型、社交媒体广告评分模型、食品和饮料广告评分模型、通用广告评分模型)。在本示例中，由于给定的上下文是“跑步”，用户已经选择了健康和健身广告评分模型(以粗体显示)。应当注意，在一些实施例中，可以选择多个模型(例如，顶级模型、子模型)来创建和运行预测，这可以允许用户汇集在所有模型中排名很高的图像子集。此外，如上所述，可以通过将诸如响应性和相关性数据的人类调查响应聚合到给定节点(例如，兴趣、受众细分、业务细分等)的图像和/或上下文来生成ml模型(例如，广告模型、上下文模型等)。收集的响应和图像(即，接收到人类调查响应)可以用于生成一个或多个训练数据集，其中一个或多个训练数据集可以被馈送到ai或ml引擎中，并用于生成一个或多个模型。在一些情况下，ai或ml引擎可以被实现为卷积神经网络(cnn)，尽管在不同的实施例中可以考虑其他类型的深度学习原理。如本文所使用的，cnn可以指深度学习算法，其可以获取输入图像，例如候选图像，并且通过应用一个或多个相关滤波器来捕获图像中的空间和时间依赖性。在一些实施例中，cnn可以帮助从图像提取特征(例如，边缘、颜色、梯度方向、纹理等)并基于训练数据集对图像进行分类(例如，分配相关性和响应性标记)。cnn可以输出与训练数据集中包括的标记相同类型的标记。例如，ai算法或分类器可以为候选图像分配在上下文细分图中给定上下文或节点的关于相关性(例如，是/否、1/0、相关/不相关等)的标记和响应性(例如，可以表示为0和5之间的数字，0和100％之间的百分比)。
132.图9-图11分别示出了根据本公开的各种实施例的用于图1中的系统的用户界面900-1100的示例。图9-图11描述了响应于用户请求图像集合/集中的图像的预测表现结果。
133.图9示出了可以在诸如图1中的远程计算平台104的用户设备上显示的ui 900。如图9所示，ui 900显示一个或多个按钮901(例如，按钮901-a，用于下载作为逗号分隔值或csv文件的预测图像表现结果以供进一步分析；按钮901-b，用于基于关键字或标签过滤图像结果)和多个图像931。ui 900还显示与每个图像931(例如，931-a、931-b、931-c、931-d)相关的置信度分数和评级，以及用于运行预测的模型(例如，库存图像)。在一些实施例中，可以在每个图像931旁边显示可点击图标(例如，拇指向下、拇指向上、收藏)，以允许用户为相应的图像向下投票或向上投票，或收藏相应的图像等。如图9所示，系统已经使用第一图像931-a的库存图像模型预测了4/5的评级。此外，系统已经为第一图像931-a计算出0.5803(满分为1)的置信度分数。如前所述，置信度分数是用于表示ai算法对其预测的置信度的定量度量。在该示例中，第一图像931-a的置信度分数为0.5803，这意味着ai算法对人类在相同上下文下将该图像评级为4/5的置信度约为58％。尽管不是必需的，但在一些情况下，高置信度分数(例如，》0.75、》0.90)可以指示预测的高水平准确度。
134.在一些实施例中，该系统可以允许用户在给定特定上下文(例如，跑步品牌的鞋子)的情况下，为同一图像集运行不同的模型(例如，库存图像模型、社交媒体模型、细分模型，例如健康和健身模型)。在某些情况下，ml模型可以逐个细分制作，并且例如，如果没有特定的细分模型可用，通用模型可以用作后备模型。例如，在一些情况下，用户可以索引与细分相关的图像集，并将任意相关数据下载为csv文件。
135.图10示出了根据本公开的各种实施例的ui 1000的示例。ui 1000实现本文描述的至少包括图9和图11分别描述的ui 900和ui 1100的附图的一个或多个方面。在该示例中，ui 1000显示使用第二个不同的模型(即，社交媒体模型)，图9中的多个图像931(例如，图像931-a、图像931-b、图像931-c、图像931-d)的评级和置信度分数。
136.图11示出了根据本公开的各种实施例的ui 1100的另一示例。ui 1100实现本文描述的至少包括图9和图10分别描述的ui 900和ui 1000的附图的一个或多个方面。在该示例中，ui 1100显示使用第三个不同模型(即，健康和健身模型)，图9中的多个图像931(例如，图像931-a、图像931-b、图像931-c、图像931-d)的评级和置信度分数。
137.类似于图9和图10，图11还分别显示按钮1001-a和1001-b，以及按钮1101-a和1101-b。如图9-图11中，可以基于所使用的模型，图像被不同地标记(例如，用评级、置信度分数等)。例如，图像931-a使用库存图像和健康和健身模型的评级为4，使用社交媒体模型的评级为5。此外，图像931-a对于所有三个模型具有最高的置信度分数。然而，与社交媒体模型相比，当使用库存图像模型时，图像931-d具有较高的评级，但是置信分数较低。ui 900-ui 1100还描绘了基于所使用的不同模型的其它图像931-b-931-d的评级和置信度分数的变化。
138.图12示出了根据本公开的各种实施例的用于图1中的系统的ui 1200的示例。在一些实施例中，ui 1200可以是广告管理器的ui的示例，并且可以经由用户设备的web界面来访问ui 1200。在一些情况下，广告管理器可以与系统100或本文描述的任何其他系统相关联。在其他情况下，广告管理器可以由第三方系统提供。在一些情况下，用户可以基于系统(例如，系统100、系统1400)分配给图像的相关性和响应性标记，筛选出一个或多个图像以在创意(例如，广告活动)中使用。然后，用户可以使用ui 1200上传筛选出的用于创意活动的一个或多个图像，这将在下面进一步描述。
139.在聚合与上下文细分图中的节点(例如，喜欢跑步的人)相关的一个或多个图像的人类响应性和相关性数据之后，可以使用ml模型来分类或标记与节点/上下文相关的候选图像。如在图9-11中的所述的，可以利用一个或多个广告评分模型来找到被预测为增强创意表现的一个优化的图像集。在一些情况下，一个或多个图像，例如，图9中的图像931-a，可以在多个模型(例如，社交媒体模型、健康和健身模型以及一般受众模型)中排名很高。在这种情况下，用户可以选择这些图像中的至少一个供广告管理器在目标广告活动中使用。在一些示例中，广告管理器的用户界面1200可以包括一个或多个文本框1201和1204，其可以允许用户分别提供广告活动的描述和标题。如图12所示，用户界面1200还可以包括上传按钮1203，上传按钮1203可以允许用户上传图像1202以用于广告活动。在一些实施例中，广告管理器用户界面还可以显示广告活动的预览1205，这可以允许用户在提交之前进行任何进一步的编辑。在一些情况下，用户界面1200还可以显示一个或多个统计数据。例如，“估计的每日结果”可以涉及使用推荐图像之一的创意的预测参与度的估计，其中预测可以基于广告和推荐图像中的参数。在一些情况下，用户界面1200还可以在ui内提供付款选项和/或付款汇总1208。
140.图14示出了根据本公开的实施例的计算平台1402的框图1400，该计算平台1402支持使用人类响应标记对图像进行主观分类以增强创意表现。计算平台1402可以类似于或基本上类似于先前图1描述的计算平台或服务器102。在一些示例中，计算平台1402还实现一个或多个计算平台1502的一个或多个方面，下面结合图15进一步描述。计算平台1402可以包括输入设备1410、输出设备1420和图像推荐管理器1415。计算平台1402还可以包括处理器(例如，在图1中示出的处理器142)。这些组件中的每一个可以彼此通信(例如，经由一个或多个总线1440，例如总线1440-a和总线1440-b)。在一些示例中，计算平台或服务器1402可以包括用于双向语音和数据通信，包括用于发送和接收通信的组件、存储器(例如，在图1中示出的电子存储器140)、软件(例如，在图1中示出的机器可读指令106)、收发器、可选天线和i/o控制器。计算平台或服务器1402可以通过有线或无线装置与一个或多个用户设备、图像服务器和/或广告目标服务器(即几个非限制性示例)通信。在一些实现中，计算平台1402、用户设备、图像服务器和/或广告目标服务器可以经由一个或多个电子通信链路可操作地链接。例如，这种电子通信链路可以至少部分地经由诸如互联网和/或其他网络的网络来建立。应当理解，这并非意在进行限制，并且本公开的范围包括计算平台1402、用户设备、图像服务器和/或广告目标服务器可以经由一些其它通信介质可操作地链接的实现
141.输入设备1410可以接收诸如分组的信息(例如，来自一个或多个图像源，例如图3中的图像服务器317的图像，上下文细分图等)、用户响应数据(例如，来自一个或多个用户设备或远程计算平台，例如远程计算平台104)或任何其他相关信息。在一些情况下，由输入设备1410接收的信息可以被传递到计算平台的其他组件。在一些示例中，输入设备1410可以是收发器的示例。
142.图像推荐管理器1415可以实现参考图15描述的图像排名组件管理器1515的一个或多个方面。另外，或者可选地，图像推荐管理器1415可以实现先前图1和/或图3描述的模块的一个或多个方面。
143.图像推荐管理器1415和/或其各种子组件中的至少一些可以用硬件、由处理器执行的软件、固件或其任意组合来实现。如果在由处理器执行的软件中实现，则图像推荐管理
器1415的功能和/或其各种子组件中的至少一些可以由通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application-specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或其他可编程逻辑设备、分立门或晶体管逻辑、分立硬件组件或其设计用于执行本公开中描述的功能的任何组合来执行。在一些情况下，图像推荐管理器1415和/或其各种子组件中的至少一些可以物理地位于各种位置，包括被分布以使得部分功能由一个或多个物理设备在不同的物理位置实现。在一些示例中，根据本公开的各个方面，图像推荐管理器1415和/或其各种子组件中的至少一些可以是单独且不同的组件。在其他示例中，根据本公开的各个方面，图像推荐管理器1415和/或其各种子组件中的至少一些可以与一个或多个其他硬件组件组合，包括但不限于i/o组件、收发器、网络服务器、另一计算设备、本公开中描述的一个或多个其他组件或其组合。
144.图像推荐管理器1415可以从一个或多个源接收图像集。图像排名组件管理器1415可以访问包括一个或多个节点的上下文细分图，每个节点与至少一个细分相关联，其中至少一个细分从由兴趣、商业细分或受众细分组成的组中选择。尽管不是必需的，但在一些情况下，可以从广告目标系统或服务器访问上下文细分图(例如，图16中的上下文细分图1600)。在一些情况下，广告目标系统可以与图3中的ai引擎302链接。在一些实施例中，图像推荐管理器1415可以从图像集合中识别与上下文细分图中的节点相关的图像子集。此外，图像推荐管理器1415可以接收图像子集的用户响应，其中用户响应在上下文细分图中的至节点的上下文中。在一些情况下，从至少一个用户接收用户响应，并且每个用户响应包括来自图像子集的图像在至节点的上下文中的相关性值和响应性值。在一些示例中，图像排名组件管理器1415可以基于用户响应生成一个或多个用于预测图像表现的模型，这参照图1、8和/或16被进一步描述。图像推荐管理器1415还可以接收用于创意活动的多个候选图像。在一些实施例中，图像推荐管理器1415可以使用一个或多个模型中的至少一个模型，针对至节点上下文中多个候选图像中的每个候选图像，确定第一度量集。每个候选图像的第度量集至少包括至节点上下文中的置信度分数以及相关性值和响应性值中的一个或多个。在一些情况下，图像排名组件管理器1415可以显示多个候选图像的列表，其中该列表包括针对多个候选图像中的每个候选图像的第一度量集，这参照图5-11被进一步描述。
145.输出设备1420可以发送由设备或计算平台1402的其他组件生成的信号。在一些示例中，输出设备1420可以与收发器模块中的输入设备1410并置。例如，输出设备1420可以包括收发器的方面(例如，图13中的网络接口1320)。输出设备1420可以包括单个天线，或者它可以包括天线集以通过网络(例如，图13中的网络1330)进行通信。在其他情况下，输出设备1420可以实现有线技术(例如，以太网)。
146.图15示出了根据本公开的实施例的计算平台1502的框图1500，该计算平台1502支持使用人类响应标记对图像进行主观分类以增强创意表现。计算平台1502可以类似于或基本上类似于图1描述的计算平台或服务器102。在一些示例中，计算平台1502还实现图14描述的一个或多个计算平台1402的一个或多个方面。计算平台1502可以包括输入设备1510、输出设备1520和图像推荐管理器1515。计算平台1502还可以包括处理器。这些组件中的每一个可以彼此通信(例如，通过一个或多个总线)。图像推荐管理器1515可以类似于或基本上类似于先前图14描述的图像推荐管理器1415。
147.输入设备1510可以接收诸如分组(例如，来自一个或多个图像源的图像、上下文细分图等)、用户响应数据(例如，来自一个或多个用户设备或远程计算平台，例如一个或多个远程计算平台104)或任何其他相关信息。在一些情况下，由输入设备1510接收的信息可以被传递到计算平台的其他组件。输入设备1510可以是收发器的示例。
148.如图15所示，图像推荐管理器1515包括一个或多个模块，包括上下文细分图模块1530、模型生成模块1535和度量确定模块1540。
149.在一些情况下，计算平台1502可以访问包括一个或多个节点的上下文细分图，其中每个节点可以与至少一个细分相关联。作为非限制性示例，至少一个细分可以从由兴趣、商业细分或受众细分组成的组中选择。另外，或者可选地，在一些示例中，上下文细分图可以与一个或多个细分类别相关联，包括但不限于时尚、健身、食品、商业、创意、房地产、美容、医疗、消费品、旅游、户外、家庭服务等。在不同的实施例中，可以考虑本领域已知的其他细分类别，这里列出的示例不旨在进行限制。
150.此外，计算平台1502可以从一个或多个图像源接收图像集。在一些实施例中，可以从诸如图3中的图像服务器317的一个或多个图像服务器接收图像集。远程计算平台104可以是图像服务器的一个非限制性示例。在一些情况下，可以在输入设备1510接收图像集。
151.在一些情况下，图像推荐管理器1515识别来自图像集中与上下文细分图(例如，图16中的上下文细分1600)中的节点(例如，节点1610-a)相关的图像子集(例如，图像子集1616)。此外，用户响应接收模块1530可以接收针对图像子集的一个或多个用户响应。一个或多个用户响应可以在上下文细分图中至节点的上下文中。此外，可以从至少一个用户接收一个或多个用户响应。在一些示例中，每个用户响应可以包括来自图像子集的图像在至节点的上下文中的相关性值和响应性值。在一些情况下，可以从与至少一个用户相关联的至少一个用户设备(例如，远程计算平台104)接收用户响应。例如，可以在输入设备1510接收用户响应。
152.在一些情况下，图像推荐管理器1515可以聚合图像子集(例如，图像子集1616)在上下文细分图1600中的至所选节点1610-a(或给定节点)的人类响应性数据。如上所述，可以要求受众成员(例如，社交媒体用户、电子商务或在线购物用户、普通互联网用户等)对给定上下文的图像(或图像子集)进行反馈。此外，他们的反馈可以被输入到由人工智能(ai)算法生成的机器学习(ml)模型中。利用来自大量用户的反馈可以允许ai算法从输入数据中获得一定程度的比例。换句话说，从大量受众成员接收到的反馈可以用于确保广告活动中使用的图像充分代表他们作为一个整体以及他们中的不同子群体。在一些情况下，用户响应可以包括图像相对于节点的相关性值和响应性值。在一些情况下，每个用户响应可以被定义为两个部分或评分部分，其中第二评分部分可以以第一评分部分为条件。例如，第一评分部分可以包括人类对来自图像集(例如，图像1615和图像1616的子集)的图像与节点(例如，节点1610-a)的相关性的节点相关性(例如以下几个非限制性示例：是或否、1或0、真或假、相关或不相关、好或坏)的期望的二进制样本。在某些情况下，可以从随机的受众成员那里收集响应。在其他情况下，可以从属于特定细分或受众群组(例如，具有特定兴趣)的受众成员收集响应。接下来，对于第二评分部分，只有被认为与节点相关的图像(例如，图像1616的子集)可以在范围上(例如，在0％和100％之间、1和10之间、0和5之间、1和5之间等)被评级。在一些情况下，第二评分部分可以涉及响应性(或响应可能性)，其中响应性在范围上被
评级。应当注意，图像推荐管理器1515可以收集上下文细分图1600中的多个节点和/或细分的用户响应。例如，在收集至节点1610-a的上下文中的用户响应之后，图像排名组件管理器1515还可以收集至节点1610-b、1610-c等的上下文中的用户响应。节点1610-b和/或1610-c的用户响应可以从相同用户或不同用户收集。在一个非限制性示例中，节点1610-a、1610-b和1610-c的用户响应可以从受众成员的不同集合或细分(例如，细分1605-a、细分1605-b和细分1605-c)收集。在另一个非限制性示例中，节点1610-a、1610-b和1610-c的用户响应可以从同一用户集或受众成员，或者可选地，随机化的用户集或受众成员收集。以任一方式，可以要求受众成员或用户在至所选节点1610的上下文中对图像1615进行反馈。
153.用户响应(例如，图像到一个或多个节点的相关性和响应性)可以用于生成一个或多个模型，例如广告评分模型。在一些示例中，可以基于目标受众、受众组、焦点组等来利用不同类型的广告评分模型。例如，社交媒体模型可以用于预测图像在显示给普通社交媒体用户时的表现(例如，关于用户参与度)。对于一个品牌或公司来说，高度的用户参与度(例如，用户点击与图像相关联的数字广告或超链接)可以与增加的广告收入、促销等相关联。在一些情况下，用户对图像的参与不仅是主观的(即，由于它基于用户的品味和偏好)，而且是与上下文相关的。虽然两个图像，例如海豚跃出水面的图像和一对夫妇沿着海滩行走的图像，可能具有美学品质，但是给定上下文“夏季服装品牌”，第一个图像可能是糟糕的选择，并且给定上下文“观看海豚/鲸鱼”，第二个图像可能是糟糕的选择。本公开的方面涉及通过分类器或机器学习算法对图像进行主观分类，其中主观分类基于来自训练数据集中，给定上下文的情况下，针对收集的图像的人类调查数据。换句话说，给定一个图像或图像集，在给定上下文的情况下，一个人(例如，普通受众、社交媒体用户、特定兴趣用户等)将会如何看待该图像或图像集。如下所述，计算平台1502可以基于来自各种图像源(例如，社交媒体、网站、图像群组平台或论坛、库存图像站点等)的图像(例如，候选图像)在不同受众或焦点群体中的预测表现，对这些图像进行分类和排名。应当注意，候选图像可以不同于用于生成一个或多个评分模型的训练数据集图像。
154.在一些示例中，模型生成模块1535可以生成用于预测广告表现的一个或多个模型。生成用于预测图像表现的一个或多个模型可以包括训练机器学习或另一人工智能算法以标记给定上下文细分节点的至少一个未来候选图像的相关性值和响应性值。如本文所使用的，术语“上下文细分节点”可以指上下文细分图中进一步与上下文相关联的节点。例如，上下文细分图可以包括多个节点和多个细分，其中每个节点与至少一个细分相关联。在一个非限制性示例中，上下文细分图可以包括“时尚”细分、“健身”细分和“食品”细分。此外，与“跑步”相关的节点可以与这三个细分中的每一个相关联。在一个非限制性示例中，给定上下文“运动服装品牌”，上下文细分节点可以包括“跑步”节点。在另一个非限制性示例中，给定上下文“健身房”或“跑步机品牌”，上下文细分节点可以包括“跑步”节点。在一些情况下，用于预测图像表现的一个或多个模型可以为不同上下文细分节点的候选图像分配不同的相关性和响应性标记，即使上下文细分节点可以与公共节点，例如“跑步”相关联。
155.度量确定模块1540可以使用一个或多个模型中的至少一个模型确定候选图像的至少一部分的相关性值以及可选的响应性值。在一些实施例中，度量确定模块1540可以仅在候选图像的相关性值满足某个标准时确定候选图像的响应性值。例如，候选图像的响应性值可以仅在候选图像与节点相关时确定。换句话说，度量确定模块1540确定具有正相关
性值(例如，被分配相关性值
‘1’
或
‘
真’或
‘
相关’)的一个或多个候选图像的一个或多个响应性值。
156.输出设备1520可以发送由设备或计算平台1502的其他组件生成的信号。在一些示例中，输出设备1520可以与收发器模块中的输入设备1510并置。输出设备1520可以包括单个天线，或者它可以包括天线集。在其他情况下，输出设备1520可以实现有线技术(例如，以太网)。
157.图1中示出为处理器142的处理器可以包括智能硬件设备(例如，通用处理器、dsp、中央处理单元(central processing unit，cpu)、微控制器、asic、fpga、可编程逻辑设备、分立门或晶体管逻辑组件、分立硬件组件或其任意组合)。在一些情况下，处理器可以被配置为使用存储器控制器来操作存储器阵列。在其他情况下，存储器控制器可以集成到处理器中。处理器可以被配置为执行存储在存储器中的计算机可读指令，以执行各种功能(例如，支持图像排名的功能或任务)。在图1中示出为电子存储器140的存储器可以包括随机存取存储器(random access memory，ram)和只读存储器(read only memory，rom)。存储器可以存储计算机可读的、计算机可执行的包括指令的软件，当指令被执行时，使得处理器执行本文所述的各种功能。在一些情况下，存储器可以包含基本输入/输出系统(bios)，其可以控制基本硬件和/或软件操作，例如与外围组件或设备的交互。
158.软件可以包括实现本公开的方面的代码，包括支持使用人类响应标记对图像进行主观分类的代码。软件可以存储在非暂时性计算机可读介质中，例如系统存储器或其他存储器。在一些情况下，软件不能由处理器直接执行，但是可以使计算机(例如，当编译和执行时)执行这里描述的功能。
159.在图13中示出为网络接口1320的收发信机可以经由一个或多个天线、有线或无线链路进行双向通信。例如，收发信机可以表示无线收发信机，并且可以与另一无线收发信机双向通信。收发信机还可以包括调制解调器，以调制分组并将调制后的分组提供给天线进行传输，以及解调从天线接收的分组。
160.在图13中示出为输入接口1323和输出接口1324的i/o控制器可以管理用于计算平台1502的输入和输出信号。i/o控制器还可以管理未集成到计算平台1502中的外围设备。在某些情况下，i/o控制器可能表示到外部外围设备的物理连接或端口。在一些情况下，i/o控制器可以使用诸如制器可以使用诸如或其他已知操作系统的操作系统。在其他情况下，i/o控制器可以表示调制解调器、键盘、鼠标、触摸屏或类似设备或与之交互。在一些情况下，i/o控制器可以被实现为处理器的一部分。在一些情况下，用户可以经由i/o控制器或经由由i/o控制器控制的硬件组件(例如输入设备1510)与计算平台1502交互。
161.图13示出了计算机系统1300的一个实施例的示意图，在该计算机系统1300中，可以执行指令集以使设备执行或执行本公开的方面和/或方法中的任何一个或多个。图13中的组件仅是示例，并且不限制实现本公开的特定实施例的任何硬件、软件、固件、嵌入式逻辑组件或两个或更多这样的组件的组合的使用范围或功能。一些或所有示出的组件可以是计算机系统1300的一部分。例如两个非限制性示例，计算机系统1300可以是通用计算机(例如，膝上型计算机)或嵌入式逻辑设备(例如，fpga)。
162.此外，这些组件可以通过硬件、固件、软件或其组合来实现。鉴于本公开，本领域普
通技术人员将认识到，如果以软件或固件实现，所描绘的功能组件可以用存储在诸如非易失性存储器的非暂时性处理器可读介质中的处理器可执行代码来实现。此外，本领域的普通技术人员将认识到，诸如现场可编程门阵列(fpga)的硬件可用于实现这里描述的一个或多个结构。
163.计算机系统1300至少包括处理器1301，例如两个非限制性示例，中央处理单元(central processing unit，cpu)或图形处理单元(graphics processing unit，gpu)。本公开中描述的任何子系统都可以实现处理器1301。计算机系统1300还可以包括存储器1303和存储器1308，两者通过总线1340彼此通信并与其他组件通信。总线1340还可以将显示器1332、一个或多个输入设备1333(例如，可以包括小键盘、键盘、鼠标、手写笔等)、一个或多个输出设备1334、一个或多个存储设备1335和各种非暂时性、有形的计算机可读存储介质1336相互链接，和/或与处理器1301、存储器1303和存储器1308中的一个或多个链接。所有这些元件可以直接或经由一个或多个接口或适配器与总线1340接口。例如，各种非暂时性、有形的计算机可读存储介质1336可以经由存储介质接口1326与总线1340接口。计算机系统1300可以具有任何合适的物理形式，包括但不限于一个或多个集成电路(integrated circui，ic)、印刷电路板(printed circuit board，pcb)、移动手持设备(例如移动电话或pda)、膝上型或笔记本计算机、分布式计算机系统、计算网格或服务器。
164.一个或多个处理器1301(或一个或多个中央处理单元(cpu))可选地包含用于指令、数据或计算机地址的临时本地存储的高速缓冲存储器单元1332。一个或多个处理器1301被配置为帮助执行存储在至少一个非暂时性、有形的计算机可读存储介质上的计算机可读指令。计算机系统1300可以作为一个或多个处理器1301执行在诸如存储器1303、存储器1308、存储设备1335和/或存储介质1336(例如，只读存储器(rom))之类的一个或多个非暂时性、有形的计算机可读存储介质中实现的软件来提供功能性。存储器1303可以通过合适的接口，例如网络接口1320，从一个或多个其他非暂时性、有形的计算机可读存储介质(例如一个或多个大容量存储设备1335、1336)或从一个或多个其他源读取软件。本文公开的任何子系统都可以包括诸如网络接口1320的网络接口。软件可以使一个或多个处理器1301执行一个或多个过程或本文描述或示出的一个或多个过程的一个或多个步骤。执行这样的过程或步骤可以包括定义存储在存储器1303中的数据结构，并按照软件的指示修改数据结构。在一些实施例中，fpga可以存储用于执行本公开中描述的功能的指令。在其他实施例中，固件包括用于执行本公开中描述的功能的指令。
165.存储器1303可以包括各种组件(例如，非暂时性、有形的计算机可读存储介质)，包括但不限于随机存取存储器组件(例如，ram 1304)(例如，静态ram“sram”、动态ram“dram等)、只读组件(例如，rom 1305)及其任意组合。rom 1305可以用来单向地向一个或多个处理器1301传送数据和指令，ram 1304可以用来与一个或多个处理器1301双向地传送数据和指令。rom 1305和ram 1304可以包括任何合适的非暂时性、有形的计算机可读存储介质。在一些情况下，rom 1305和ram 1304包括用于执行方法的非暂时性、有形的计算机可读存储介质。在一个示例中包括诸如在启动期间帮助在计算机系统1300内的元件之间传送信息的基本例程的基本输入/输出系统1306(bios)可以存储在存储器1303中。
166.固定存储器1308可选地通过存储控制单元1307双向连接到一个或多个处理器1301。固定存储器1308提供额外的数据存储容量，并且还可以包括本文描述的任何合适的
非暂时性、有形的计算机可读介质。存储器1308可以用于存储操作系统1309、exec 1310(可执行文件)、数据1311、api应用1312(应用程序)等。通常，尽管不总是，存储器1308是比主存储器(例如，存储器1303)慢的辅助存储介质(例如，硬盘)。存储器1308还可以包括光盘驱动器、固态存储器设备(例如，基于闪存的系统)或上述任何一种的组合。在适当的情况下，存储器1308中的信息可以被合并为存储器1303中的虚拟存储器。
167.在一个示例中，一个或多个存储设备1335可以经由存储设备接口1325(例如，经由外部端口连接器(未示出))可移除地与计算机系统1300接口。具体地，一个或多个存储设备1335和相关联的机器可读介质可以为计算机系统1300提供机器可读指令、数据结构、程序模块和/或其他数据的非易失性和/或易失性存储。在一个示例中，软件可以完全或部分驻留在一个或多个存储设备1335上的机器可读介质内。在另一示例中，软件可以完全或部分地驻留在一个或多个处理器1301内。
168.总线1340连接各种各样的子系统。这里，在适当的情况下，对总线的引用可以包括服务于公共功能的一条或多条数字信号线。总线1340可以是几种类型的总线结构中的任何一种，包括但不限于存储器总线、存储器控制器、外围总线、本地总线及其任何组合，使用各种总线架构中的任何一种。作为示例而非限制，这种架构包括工业标准架构(industry standard architecture，isa)总线、增强型isa(eisa)总线、微信道架构(micro channel architecture，mca)总线、视频电子标准协会本地总线(video electronics standards association local bus，vlb)、外围组件互连(peripheral component interconnect，pci)总线、pci-express(pci-x)总线、加速图形端口(accelerated graphics port，agp)总线、超级传输(hypertransport，htx)总线、串行高级技术附件(serial advanced technology attachment，sata)总线及其任意组合。
169.计算机系统1300还可以包括输入设备1333。在一个示例中，计算机系统1300的用户可以经由一个或多个输入设备1333将命令和/或其他信息输入到计算机系统1300中。一个或多个输入设备1333的示例包括但不限于字母数字输入设备(例如，键盘)、定点设备(例如，鼠标或触摸板)、触摸板、触摸屏和/或与触摸屏结合的手写笔、操纵杆、游戏手柄、音频输入设备(例如，麦克风、语音响应系统等)、光学扫描仪、视频或静止图像捕获设备(例如，照相机)及其任意组合。一个或多个输入设备1333可以经由各种输入接口1323(例如，输入接口1323)中的任何一个与总线1340交互，输入接口包括但不限于串行、并行、游戏端口、usb、firewire、thunderbolt或上述的任何组合。
170.在特定实施例中，当计算机系统1300连接到网络1330时，计算机系统1300可以与连接到网络1330的其他设备通信，例如移动设备和企业系统。可以通过网络接口1320发送到计算机系统1300和来自计算机系统1300的通信。例如，网络接口1320可以从网络1330接收一个或多个分组(例如互联网协议(ip)分组)形式的传入通信(例如来自其他设备的请求或响应)，并且计算机系统1300可以将传入通信存储在存储器1303中用于处理。计算机系统1300可以类似地将一个或多个分组形式的传出通信(例如对其他设备的请求或响应)存储在存储器1303中，并从网络接口1320传送到网络1330。一个或多个处理器1301可以访问存储在存储器1303中的这些通信分组以进行处理。
171.网络接口1320的示例包括但不限于网络接口卡、调制解调器及其任意组合。网络1330或网段1330的示例包括但不限于广域网(wan)(例如，互联网、企业网络)、局域网(lan)
(例如，与办公室、建筑物、校园或其他相对较小的地理空间相关联的网络)、电话网络、两个计算设备之间的直接连接及其任意组合。诸如网络1330的网络可以采用有线和/或无线通信模式。通常，可以使用任何网络拓扑。
172.可以通过显示器1332显示信息和数据。显示器1332的示例包括但不限于液晶显示器(lcd)、有机液晶显示器(oled)、阴极射线管(crt)、等离子体显示器及其任意组合。显示器1332可以经由总线1340连接到一个或多个处理器1301、存储器1303和固定存储器1308，以及其他设备，例如一个或多个输入设备1333。显示器1332通过视频接口1322链接到总线1340，并且可以通过图形控制器1321控制显示器1332和总线1340之间的数据传输。
173.除了显示器1332之外，计算机系统1300可以包括一个或多个其他外围输出设备1334，包括但不限于音频扬声器、打印机、支票或收据打印机及其任意组合。这样的外围输出设备可以经由输出接口1324连接到总线1340。输出接口1324的示例包括但不限于串行端口、并行连接、usb端口、firewire端口、thunderbolt端口及其任意组合。
174.此外，或者可选地，计算机系统1300可以作为硬连线或以其他方式体现在电路中的逻辑来提供功能，该电路可以代替软件或与软件一起操作以执行一个或多个过程或本文描述或示出的一个或多个过程的一个或多个步骤。本公开中对软件的引用可以包括逻辑，并且对逻辑的引用可以包括软件。此外，在适当的情况下，对非暂时性、有形的计算机可读介质的引用可以包括存储用于执行的软件的电路(例如ic)、包含用于执行的逻辑的电路或两者。本公开包括硬件、软件或两者的任何合适组合。
175.本领域技术人员将理解，可以使用各种不同技术和技巧中的任何一种来表示信息和信号。本领域技术人员将进一步理解，结合本文公开的实施例描述的各种说明性逻辑块、模块、电路和算法步骤可以实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种互换性，上面已经根据它们的功能概括地描述了各种说明性组件、块、模块、电路和步骤。这种功能是以硬件还是软件的形式实现，取决于特定的应用程序和对整个系统的设计约束。技术人员可以针对每个特定应用以不同的方式实现所描述的功能，但是这种实现决策不应被解释为导致偏离本公开的范围。
176.结合本文公开的实施例描述的各种说明性逻辑块、模块和电路可以用通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或其他可编程逻辑器件、分立门或晶体管逻辑、分立硬件组件或其设计用于执行本文描述的功能的任何组合来实现或执行。通用处理器可以是微处理器，但可选地，处理器可以是任何传统的处理器、控制器、微控制器或状态机。处理器也可以实现为计算设备的组合，例如dsp和微处理器的组合、多个微处理器、与dsp内核结合的一个或多个微处理器，或者任何其他这样的配置。
177.结合本文公开的实施例描述的方法或算法的步骤可以直接体现在硬件中、由处理器执行的软件模块中、实现为数字逻辑器件的软件模块中、或者这些的组合中。软件模块可以驻留在ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移动盘、cd-rom或本领域已知的任何其他形式的非暂时性、有形的计算机可读存储介质中。示例性非暂时性、有形计算机可读存储介质耦合到处理器，使得处理器可以从非暂时性、有形计算机可读存储介质读取信息，并将信息写入非暂时性、有形计算机可读存储介质。在可选方案中，非暂时性的、有形的计算机可读存储介质可以集成到处理器。处理器和非暂时性、有形计算机可读存储介质可以驻留在asic中。asic可以驻留在用户终端中。在可选方案中，处
理器和非暂时性、有形计算机可读存储介质可以作为分离组件驻留在用户终端中。在一些实施例中，一旦用软件模块编程，软件模块可以被实现为数字逻辑组件，例如fpga中的那些。
178.可以考虑，图13中所示的计算机系统1300所描述的组件或子组件中的一个或多个，例如但不限于网络1330、处理器1301、存储器1303等，可以包括云计算系统。在一个这样的系统中，诸如输入设备1333的前端系统可以向诸如服务器(例如计算机系统1300)和存储器(例如存储器1303)的后端平台提供信息。软件(即，中间件)可以实现前端和后端系统之间的交互，后端系统向多个前端客户端提供服务和在线网络存储。例如，软件即服务(software-as-a-service，saas)模型可以实现这样的云计算系统。在这样的系统中，用户可以通过使用诸如但不限于网络浏览器的前端软件应用来操作位于后端服务器上的软件
179.尽管已经基于当前被认为是最实用和优选的实现方式出于说明的目的详细描述了本技术，但是应该理解，这种细节仅仅是为了该目的，并且该技术不限于所公开的实现方式，而是相反，旨在覆盖在所附权利要求的精神和范围内的修改和等效方案。例如，应当理解，本技术考虑，在可能的程度上，任何实现的一个或多个特征可以与任何其他实现的一个或多个特征相结合。

技术特征：
1.一种被配置用于提供图像推荐的系统，包括：一个或多个硬件处理器，所述一个或多个硬件处理器被机器可读指令配置为执行如下操作：从一个或多个图像源接收图像集；访问包括一个或多个节点的上下文细分图，其中，每个节点与至少一个细分相关联，所述至少一个细分从由兴趣、商业细分或受众细分组成的组中选择；从所述图像集中识别与所述上下文细分图中的节点相关的图像子集；从至少一个用户接收针对所述图像子集的用户响应，其中，每个用户响应包括来自所述图像子集的图像在至所述节点的上下文中的相关性值和响应性值；部分地基于所述用户响应生成用于预测图像表现的一个或多个模型；接收用于创意活动的多个候选图像；使用所述一个或多个模型中的至少一个模型，针对至所述节点的上下文中所述多个候选图像中的每个候选图像，确定第一度量集；以及显示所述多个候选图像的列表，其中，所述列表包括针对所述多个候选图像中的每个候选图像的所述第一度量集，并且针对每个候选图像的所述第一度量集至少包括至所述节点的上下文中的相关性值和响应性值中的一个或多个以及置信度分数。2.根据权利要求1所述的系统，其中，使用第一评分部分和第二评分部分来定义每个用户响应，所述第二评分部分以所述第一评分部分为条件。3.根据权利要求2所述的系统，其中，接收所述用户响应包括接收针对每个用户响应的第一评分部分，每个第一评分部分包括所述图像子集的相应图像在所述上下文细分图中至所述节点的上下文中的用户期望相关性值的二进制样本，所述二进制样本选自是或否、1或0、或真或假中的一个。4.根据权利要求3所述的系统，其中，所述一个或多个硬件处理器还被机器可读指令配置为执行如下操作：针对所述图像子集的至少一个图像，识别针对至少一个用户响应的相应第一评分部分包括是、1或真中的一个；以及接收针对所述至少一个用户响应中的每个用户响应的第二评分部分，每个第二评分部分包括针对所述图像子集的相应图像的数值，其中，每个数值在下限和上限之间的范围上被评级，并且每个数值与对所述节点的响应性相关联。5.根据权利要求4所述的系统，其中，所述第一评分部分包括所述相关性值，并且所述第二评分部分包括所述响应性值。6.根据权利要求1所述的系统，其中，所述一个或多个硬件处理器还被机器可读指令配置为执行如下操作：基于接收到所述图像子集在所述上下文细分图中至所述节点的上下文中的用户响应，聚合用户响应数据；以及生成训练数据集，所述训练数据集至少包括所述图像子集、与所述上下文细分图中的所述节点有关的信息以及聚合的用户响应数据。7.根据权利要求6所述的系统，其中，生成用于预测图像表现的所述一个或多个模型包括：训练机器学习算法以标记所述多个候选图像在所述上下文细分图中至所述节点的上下
文中的相关性值和响应性值，其中，使用生成的训练数据集来训练所述机器学习算法。8.根据权利要求1所述的系统，其中，所述一个或多个硬件处理器还被机器可读指令配置为执行如下操作：针对所述上下文细分图中的包括所述节点的至少一个节点，定义标签云或术语组。9.根据权利要求1所述的系统，其中，所述上下文细分图与一个或多个细分类别相关联，所述一个或多个细分类别从由时尚、健身、食品、商业、创意、房地产、美容、医疗、消费品、旅游、户外和家庭服务组成的组中选择。10.根据权利要求1所述的系统，其中，所述一个或多个硬件处理器还被机器可读指令配置为执行以下操作：接收针对多个广告的广告表现数据，其中，所述多个广告中的每个广告显示来自所述图像子集的图像；针对广告中显示的每个图像，确定聚合分数，其中，所述聚合分数至少部分地基于经由所述用户响应而接收到的针对所述图像的相关性值和响应性值；针对广告中显示的每个图像，比较相应聚合分数和相应广告表现数据；以及部分地基于比较相应聚合分数和广告表现数据，验证用于预测图像表现的所述一个或多个模型。11.根据权利要求1所述的系统，其中，所述一个或多个模型包括以下中的一个或多个：一般受众模型、社交媒体模型、库存图像模型、兴趣模型、受众细分或受众群组模型、上下文模型和细分模型。12.根据权利要求1所述的系统，其中，生成用于预测图像表现的所述一个或多个模型包括：识别来自所述图像子集的每个图像的一个或多个属性，其中，所述一个或多个属性包括以下中的一个或多个：像素相关信息、风格信息、图像向量、关键字元数据或标签和人类标记；基于来自所述用户响应的相关性分数和响应性分数，将所述图像子集分成多个组；以及至少部分地基于每个组中每个图像的一个或多个属性，确定所述组的属性的平均。13.根据权利要求12所述的系统，其中，针对所述一个或多个候选图像中的每个候选图像，确定所述第一度量集包括：确定每个候选图像的一个或多个属性；通过将每个候选图像的所述一个或多个属性与所述每个组的属性的平均进行比较来确定每个候选图像的相似性向量；以及至少部分地基于确定的相似性向量为每个候选图像分配多个标记，其中，所述多个标记包括候选图像在至所述节点的上下文中的置信度分数、相关性值和响应性值。14.一种用于提供图像推荐的方法，包括：从一个或多个图像源接收图像集；访问包括一个或多个节点的上下文细分图，其中，每个节点与至少一个细分相关联，所述至少一个细分从由兴趣、商业细分或受众细分组成的组中选择；从所述图像集中识别与所述上下文细分图中的节点相关的图像子集；
从至少一个用户接收针对所述图像子集的用户响应，其中，每个用户响应包括来自所述图像子集的图像在至所述节点的上下文中的相关性值和响应性值；部分地基于所述用户响应生成用于预测图像表现的一个或多个模型；接收用于创意活动的多个候选图像；使用所述一个或多个模型中的至少一个模型，针对至所述节点的上下文中所述多个候选图像中的每个候选图像，确定第一度量集；以及显示所述多个候选图像的列表，其中，所述列表包括针对所述多个候选图像中的每个候选图像的所述第一度量集，并且针对每个候选图像的所述第一度量集至少包括至所述节点的上下文中的相关性值和响应性值中的一个或多个以及置信度分数。15.根据权利要求14所述的方法，其中，使用第一评分部分和第二评分部分来定义每个用户响应，所述第二评分部分以所述第一评分部分为条件，以及其中，接收所述用户响应包括接收针对每个用户响应的第一评分部分，每个第一评分部分包括所述图像子集的相应图像在所述上下文细分图中至所述节点的上下文中的用户期望相关性值的二进制样本，所述二进制样本选自是或否、1或0或真或假中的一个。16.根据权利要求15所述的方法，还包括：针对所述图像子集的至少一个图像，识别针对至少一个用户响应的相应第一评分部分包括是、1或真中的一个；以及接收针对所述至少一个用户响应中的每个用户响应的第二评分部分，每个第二评分部分包括针对所述图像子集的相应图像的数值，其中，每个数值在下限和上限之间的范围上被评级，并且每个数值与对所述节点的响应性相关联，以及其中，第一评分部分包括所述相关性值，并且第二评分部分包括所述响应性值。17.根据权利要求14所述的方法，还包括：基于接收到图像子集在所述上下文细分图中至所述节点的上下文中的用户响应，聚合用户响应数据；以及生成训练数据集，所述训练数据集至少包括所述图像子集、与所述上下文细分图中的所述节点有关的信息以及聚合的用户响应数据。18.根据权利要求14所述的方法，其中，生成用于预测图像表现的所述一个或多个模型包括：识别来自所述图像子集的每个图像的一个或多个属性，其中，所述一个或多个属性包括以下中的一个或多个：像素相关信息、风格信息、图像向量、关键字元数据或标签和人类标记；基于来自所述用户响应的相关性分数和响应性分数，将所述图像子集分组成多个组；以及至少部分地基于每个组中每个图像的一个或多个属性，确定所述组的属性的平均。19.根据权利要求18所述的方法，其中，针对所述一个或多个候选图像中的每个候选图像，确定所述第一度量集包括：确定每个候选图像的一个或多个属性；通过将每个候选图像的所述一个或多个属性与所述每个组的属性的平均进行比较来确定每个候选图像的相似性向量；以及
至少部分地基于确定的相似性向量为每个候选图像分配多个标记，其中，所述多个标记包括候选图像在至所述节点的上下文中的置信度分数、相关性值和响应性值。20.一种非暂时性计算机可读存储介质，包含有指令，所述指令由一个或多个处理器执行以实现用于提供图像推荐的方法，所述方法包括：从一个或多个图像源接收图像集；访问包括一个或多个节点的上下文细分图，其中，每个节点与至少一个细分相关联，所述至少一个细分从由兴趣、商业细分或受众细分组成的组中选择；从所述图像集中识别与所述上下文细分图中的节点相关的图像子集；从至少一个用户接收针对所述图像子集的用户响应，其中，每个用户响应包括来自所述图像子集的图像在至所述节点的上下文中的相关性值和响应性值；部分地基于所述用户响应生成用于预测图像表现的一个或多个模型；接收用于创意活动的多个候选图像；使用所述一个或多个模型中的至少一个模型，针对至所述节点的上下文中所述多个候选图像中的每个候选图像，确定第一度量集；以及显示所述多个候选图像的列表，其中，所述列表包括针对所述多个候选图像中的每个候选图像的所述第一度量集，并且针对每个候选图像的所述第一度量集至少包括至所述节点的上下文中的相关性值和响应性值中的一个或多个以及置信度分数。

技术总结
公开了用于提供图像推荐的系统、方法、计算平台和存储介质。示例性实现可以包括：接收图像集；访问包括一个或多个节点的上下文细分图；识别与该上下文细分图中的节点相关的图像的子集；接收该图像子集的一个或多个用户响应；基于用户响应生成一个或多个模型；接收用于创意活动的一个或多个候选图像；使用至少一个模型，确定一个或多个候选图像的至少一部分图像的相关性值和响应性值；以及显示多个候选图像的列表，其中，针对每个候选图像，列表包括在至节点的上下文中的相关性值和响应性值中的一个或多个以及置信度分数。的一个或多个以及置信度分数。的一个或多个以及置信度分数。


技术研发人员：马克
受保护的技术使用者：夏特斯公司
技术研发日：2021.11.01
技术公布日：2023/9/16