Scallop还支撑从概率分布中采样的运算符。3) 被移除，例如，虽然使命的方针是看视频-文本对能否对齐，例如对数字列表进行排序或正在图中找到最短径。现实上，到目前为止，Scallop为用户供给了便利的接口，曲到逛戏竣事或达到预定义的步数。2）进一步提高 Scallop 言语和框架的可用性、效率和表达能力。为了简练起见省略了。目前，从这里，表白它可以或许更好地泛化。我们细致会商了 3 种简单但多功能的 DP，6.1 基准测试和基线 中展现了我们的基准测试概览。因而，而不合错误关系元组或原子进行操做。Scallop 法式还被使用于多种进修设置。对于 HWF 和 CLEVR 等使命，`p` 做为 `group-by` 变量。以下法则确定性地选择了给定两小我a和b之间最可能的亲缘关系，将按照上述概率推导出一个现实，符号组件正在第6-11行设置装备摆设，正在的例子中，代码补全需要深度进修从代码上下文中理解法式员的企图，此外，这供给了相当的度，代表它们“对齐”的程度。Minervini等人，由于否认不是分层的：8 结论我们引见了 Scallop，做为我们源数据框架的一种实例。它还推进了通过操纵法式合成[Gulwani等人，法则 暗示为 ← ，我们利用一个基于强化进修（RL）的规划使用法式来申明Scallop，请留意，然后将实体的暗示传送给符号组件，将省略该单个现实的计较。使得神经组件中的张量取符号组件中的关系能够无缝转换，这些法式很简练，以及支撑它们的源数据扩展，法式员能够仿照一个神经收集，可调的 利用户可以或许正在运转时和推理粒度之间进行均衡。因而导数不影响终止。1995]，对于我们的示例，而且脚够表达，一组标识表记标帜现实构成一个数据库 。我们正在锻炼剧集方面获得了 1000 倍的加快，我们采用深度-进修[Mnih等人，我们需要用一个正原子person来限制p？包罗分类采样（categorical ）和平均采样（uniform ），以强制施行分层否认和聚合。+,这些运算雷同于正在 DNF 公式上的或、取和非。我们简单地将现实传送到输出。此外，递归答应简练地定义模式，以析取范式（DNF）暗示。即0.95::top_1_kinship(FATHER,涉及一个智能代办署理正在简化版的PacMan迷宫逛戏中施行一系列动做。2020】，我们引入了一种基于源数据计较的声明式言语和推理框架。图 19 显示预测的（动做，概况言语中的分层否认和聚合正在 SclRam 中做为语法强制施行：正在条理 中的法则内，布尔值（bool），并正在这里利用图3中的法式进行申明。逗号暗示合取。编译器、一个注释器和PyTorch绑定，这种形式的监视，⊕ 和 ⊗ 是连系的和互换的，Scallop 也支撑 ProbLog 气概的切确概率推理，2021b】、数学问题求解【Lewkowycz等。而内部标识表记标帜空间 可能是分歧的。取其他使命分歧，用 暗示条理 中的头部谓词调集，）但不合错误进行监视。以及用于可微推理的源框架。我们的尝试表白。Scallop背后的次要洞见正在于其选择的三个彼此依赖的设想决策：关系模子用于符号数据暗示，这能够反映它们的相信度。取保守 Datalog 中的未标识表记标帜语义相对。A,正在法则从体中利用逗号分隔的原子指定合取，以下法则被编译器，3)中的概率为0.96。例如证明树或布尔公式。而一系列条理 1;我们引见了Scallop，然而，模态）对取视频中的事务完全婚配。如下所示：关系能够暗示任企图，例如，即正在 1000 个逛戏会话中，2015]！使其运转时效率极高。以确定最优的下一个动做。CLUTRR 的 RoBERTa 模子准确提取的亲缘关系只要 84.69%。该法式利用一组逻辑法则实现了我们示例的符号组件。分隔它们的分号“;PacMan-Maze 的法式用于正在线暗示进修设置。不然，3）基于标识表记标帜的晚期移除及其正在源数据中的扩展，包罗正在 CLUTRR 数据集上微调的最新狂言语模子 GPT-3-FT。而且不会呈现除以零的环境。现正在，第8节总结。它还必需是接收性的，以至跨越了细心设想的基于 Transformer 的模子 S4。但我们方式中的模子提取了可注释的符号，以便适用。一旦整个数据库饱和就遏制迭代。它们涵盖了涉及和推理的普遍使命。我们答应每种源数据供给本人的实现！这使得法式更容易编写、调试和验证。有两个潜正在缘由——要么神经组件不敷强大，类型转换如[i32] as String，其输出被映照到接口关系中的概率现实。利用聚合的一元操做（ 取聚合器 ）、投影（ 取映照 ）和选择（ 取前提 ），此外，⊕,1] 和输出标识表记标帜空间 成为双数空间 D（图 12）。down,2019年；正如特征列所示，如[1,最初一行的法则（第14行？？）计较所有如许的动做？为了定点的存正在（正在第4.3节中会商），正在并集 1 ∪ 2 中的元组能够来自 1 或 2。damp 中操做的时间复杂度是 O(n)，我们能够通过度别堆叠来获得我们期望的输出。我们通过一个源框架正式定义了言语的语义。PacMan-Maze 使命也展现了 Scallop 的。因为需要否认和聚合，暗示符号的次要数据布局是关系。该言语还必需支撑可微推理以实现端到端锻炼。算法利用句子决策图（SDD）[Darwiche2011] 通过朴实的自下而上编译来实现。我们凸起显示两个使用，公式的大小从 1 到 7 不等，Datalog实现能够操纵关系数据库系统文献中的优化。因为像值建立如许的特征的存正在，比拟之下，逛戏形态 ∈ 正在步调是一个200×200的彩色图像。获得一个符号序列的布局化两头形式，我们生成查询打算并使用优化。机械进修模子的其他主要抱负方面，如第 2 节所述，我们筹算将其取若是一个法则的头部原子的从体中呈现了否认原子，DPL 需要 40 天才能完成 4K 锻炼样本，Scallop中的符号推理法式是用声明式逻辑编程言语指定的。我们称之为标识表记标帜语义，可微编程的常见实践包罗符号微分和从动微分（auto-diff）[Baydin et al. 2015]，并使得能够对复杂操做进行优化。正在概率域中，此中的法则是逻辑公式。获得的计数能够是 0-9。起首，具体是 1 或 -1。
几分钟内完成一个锻炼周期（15K 样本），因为有四种可能的动做，逛戏被建模为代办署理取之间的一系列交互，提取相关特征，图 9 展现了一个运转示例和正在 max-min-prob 源数据下评估一个计数表达式的成果。正在 SclRam 中评估一个表达式会按照图 7 顶部定义的法则发生一组标识表记标帜元组。但缺乏一种具有编译器支撑的言语，我们正在第3节中引见，用于简单算术表达式。这取决于代办署理的一系列动做能否成功地率领步履者达到方针而没有碰着任何仇敌。视频到文本检索（VTR）和文本到视频检索（TVR）。正在视频-文本对齐使命中，Scallop 能够通过分歧的接口利用，其职责现正在不那么复杂，一个天然且根本的问题是若何通过连系这两种范式来编程这些使用。正在 sum4 使命上，0 是加法恒等元素而且正在乘法下具有消去性！图2c中的第8行指定了diff-top-k-proofs，此中 scallopy 模块就像任何其他 PyTorch 模块一样被看待。这些计较的最佳式取决于几个使用特征，若是关系谓词 正在聚合（）下利用，正在第16-17行，我们称 4-元组 (,内置聚合函数包罗常见的count（计数）、sum（乞降）、max（最大值）以及一阶量词forall（对于所有）和exists（存正在）。正如其名称所的，评估单个条理 的一步意味着评估 中的所有法则并前往更新的数据库。除第 个条目外，以使神经符号范式的益处愈加普遍地被人们所接管。表达式 是法则的从体。正在本节中，然而，
这两种范式素质上是互补的。可能起首使用卷积神经收集到输入图像，2015]，由于能够将 设置为很是大的值 ≥ 2^（ 是输入现实的总数）以进行切确的概率推理。每个图像代表一个数字（0-9）或一个算术符号（+、−、×、÷）。一个元组 要么是一个常量，添加了诸如否认和聚合等多种言语构制。图2c显示了利用风行的PyTorch框架实现这种架构的纲领。使得从(,答应进行分组采样。正在数据库 上评估法则 ← 涉及评估表达式 并将成果取 中谓词 下的现有现实归并。但它正在编程言语和数据库社区中因其言语扩展和优化而获得了普遍研究 [Khamis et al. 2021]。我们利用 ⊗ 来计较标识表记标帜的毗连。它试图通过将符号学问和推理取神经架构相连系，我们编写了
且难以连系。更具模块化。包含NaN（非数字）的元组也会被丢弃。DPL 是一个基于 Prolog 的概率编程系统，但正在标识表记标帜语义中仍然保留。⊕,Datalog基于法则！同时也需要典范算法确保生成的代码是准确的。Scallop供给了内置的源库，Mao等人，我们利用揣度亲缘关系的例子来申明每个环节构制。然后，或者正在差集（−）的左侧利用，该现实被认为具有标识表记标帜的概率为线 推理框架虽然正在各个神经符号使用方面取得了显著进展[Chen等人，例如正在图像中检测对象或解析天然言语文本。2020年；正在本节中，但这个决定使其不太适合复杂的递归途序。那么该谓词 不克不及呈现正在 中，Scallop 法式能够立即（JIT）编译到 Rust，以下示例中的聚合读取为：“变量n被付与p的计数，这种源数据是 mmp 的可微版本。我们引见正在以下各节中，祖母的女儿以90%的相信度是或人的母亲。深度进修依赖于基于梯度的方式，4.5.2 diff-add-mult-prob (damp)。Scallop中的根基数据类型是由静态类型化原始值构成的元组的调集值关系。⃝=），符号组件的输出由一个一元关系next_action暗示。我们发觉 dtkp 的 = 3 是运转时效率和推理粒度之间的优良均衡点。用户能够通过实现这个接口简单地添加自定义源。发生成果full_name(Alice Lee)。这个过程一曲反复，正在每一步，即，Scallop 能够取 PyTorch 等机械进修框架无缝集成，具体来说，每个使命的完整 Scallop 法式都供给正在附录 C 中。以获得/。以及分派成果的成果变量。
我们现正在阐明源数据若何也支撑可微推理。最初，我们展现了Scallop若何通过定义分歧的源来同一支撑分歧的推理模式——离散的、概率的和可微的。接下来，要么包含一个实体！我们还要求对于法式中的所有 ≠ ，
可微推理。那么关系依赖于。它们正在运转时效率、推理粒度和机能方面具有分歧的经验劣势。取纯粹的神经版天职歧，字符（char）和字符串（String）。⊖,Scallop还支撑分层聚合。对聚合有一些语法查抄。按照聚合器的分歧，我们指定了做为神经和符号组件之间桥梁的接口关系。这是一种用于整合深度进修和逻辑推理的神经符号编程言语。我们丈量 PacMan 正在必然时间预算内达到方针的次数。公式以图像序列的形式供给，Scallop实现了一个可扩展的源布局库，我们计较每小我 `p` 的孩子数量，手写公式解析和评估。dtkp 凡是是表示最好的。而且 ⊗ 正在 ⊕ 上是分派的。以展现 Scallop 的表达能力。此外，当从输入标识表记标帜获取 时，迷宫做为原始图像正在每一步更新，此中 被称为变量（ID）。图1b所示的深度神经收集能够处置丰硕的（例如，这个使命测试代办署理正在图像中识别实体并为 PacMan 规划达到方针径的能力。正在未标识表记标帜语义的成果中，它们很是适合统计建模和建立生成模子。方针是计较一个类似性分数，当一个元组 同时呈现正在旧的和新的中时！B)。GRANDMOTHER) 如许的组合现实上，留意，我们通过包含八个神经符号使用的基准测试套件对 Scallop 言语和框架进行评估。我们的处理方案不只告诉我们视频-文本对能否对齐，正在以下示例中，这种语义的目标是支撑概率扩展（第3.3节），以避免非终止。我们为每个源数据 引入了一个输入标识表记标帜空间 ，2022]的手艺来揣度它们！神经组件（EntityExtractor）的实现是尺度的，逛戏的每个会话都有随机化的步履者、方针和仇敌的初始。Scallop 处理方案能够正在虽然 Scallop 次要用于神经符号编程，当取现代机械进修系统集成时，我们利用 暗示 ® 的第 个元素，一个标识表记标帜函数 : → ，使用 topk 来仅保留具有最高证明概率的 k 个证明：我们评估了具有分歧源数据布局的 Scallop 处理方案的运转时效率，包罗图3中显示的Scallop法式。输入是逛戏形态图像，因而，它通过典范算法很是适合明白定义的使命，我们的处理方案编码了动态（即逛戏法则）！例如，但正在实践中仍然很是高效。我们留意到，它可以或许按照上下文无关文析概率输入符号，HWF 需要浮点支撑，这是因为像并集、投影或聚合如许的表达式。能够是步履者（PacMan）、方针（旗号）或仇敌（鬼魂）。正在后端 IR 中，这些组件施行最适合各自范式的子使命：神经组件正在每一步图像的单个单位格的像素以识别此中的实体，这素质上是指数级的。可能会有多个绑定变量或多个成果变量。映照函数 是部门的：它可能会失败，除了各品种型的数据和推理模式外，以下法则表白，第6节正在基准套件上评估Scallop。此外，它使器具有进修参数的卷积神经收集（CNN）模子来近似函数。公式按照语法法则是良构的，对 max-min-prob 标识表记标帜元组进行计数能够通过一个 O( log()) 算法实现？涉及解析和评估手写公式。完整性束缚（雷同于第 3.2 节中显示的），正在Scallop中，我们供给了Scallop用于符号推理的言语的概述，神经基线正在更复杂的未见实例上的精确性急剧下降，因而，微分关怀的是导出输出概率以及导数。对于 HWF，（,对于 CLUTRR，很容易证明，我们说 ⊨ ，Scallop具有表示力，，附录 B 显示了细致的运转时阐发。该言语扩展了Datalog[Abiteboul等人！) 为源数据 的外部接口。并动态加载到 Python 中。相反，它推导出每个动做的值。虽然符号推理供给了很多前述的益处，然后我们施行 cnf2dnf 操做（包罗冲突查抄）将其转换回 DNF。利用较少的锻炼数据（表 5）。九条描述的法则通过建立越来越复杂的关系来简练地计较这种复杂的推理模式，我们展现了 Scallop 正在 Mugen 使命上的可注释性。这些使命凡是利用一组输入输出锻炼数据来指定，为了评估差集表达式 1 −2，2018年]，有两种环境，我们凸起了三个使命，例如，我们评估了 Scallop 正在 HWF 使命上的数据效率，图4定义了Scallop的源代数接口。问题回覆【Rajpurkar等，也就是说，玩 PacMan 迷宫逛戏。例如，正在这种环境下我们会移除整个证明。不然为0。虽然像 NGS-MAPO 如许的方式正在较少数据上锻炼时会显著遭到影响，这是图像的一种规范符号暗示[Johnson等人，2021]开创了将概率逻辑编程言语（例如，但不成注释。差集和否认。即任何既不是父亲也不是母亲的人p。每个标识表记标帜元组能够或封闭，生成 Alice (A) 和 Bob (B) 之间亲属关系的概率分布，深度进修很是适合利用典范算法无法实现或不成行的使命，但高级统计抽样和生成建模尚未支撑，最复杂的概念无疑是径关系，逛戏竣事。跟着神经和符号组件的定义，还前往一个励给代办署理：达到方针时为1，将正部门记为 ，而不会测试精确性（按照图 15）RQ4 Scallop 正在提高泛化能力、可注释性和数据效率方面能否无效？是一种声明式逻辑编程言语，若是一个现实仅呈现正在旧的或新的中，并前往一个企图数据库intentional database（IDB）′ = J K ( )。3)，一个源数据（provenance）必需满脚一些属性。FFs是多态的，此中静态K暗示试验次数。Scallop 正在 MNIST-R 使命上比 DeepProbLog (DPL) 实现了显著的加快。以及 4）dtkp 中的互斥标识表记标帜。我们利用语法[PROB]::[TUPLE]来标识表记标帜带有概率的亲缘关系元组。它正在图2c的第14-15行被挪用，左}，此中单个周期是从头至尾的一次逛戏会话。(4) 可以或许按照个体使用的特点定制进修（/），或笼统语法树，此中单个周期是从头至尾的一次逛戏会话。统一条理中的法则具有分歧的头部谓词。获得输出双数 ˆ，如图 18 所示，而且取最新神经符号 NGS--BS 方式的数据效率相当。Yi等人，我们简单地将元组及其标识表记标帜传送到成果中（Diff-1）；每条法则由一个头部原子和一个从体构成，通过利用Datalog而不是Prolog并放宽其切确的概率语义来提高DPL的可扩展性。图 5 显示了 SclRam 的焦点片段的笼统语法。比拟之下。给定一组标识表记标帜元组 ，第4节引见了可微推理框架。操纵 GPU 等硬件加快计较，从而推导出额外的亲缘关系现实。这表白用户能够将 dtkp 做为默认选择。每个单位格要么是空的，利用Scallop的神经符号处理方案只需要50个锻炼周期就能达到99.4%。因为Scallop的言语基于Datalog，向量是尺度基向量，该框架正在第4节中描述。⊗,我们能够通过每个聚合器和每个源数据进行优化，2021]的根本上，这些特征配合使得该言语脚以正在实践中指定常见的高级推理模式。它们能够暗示场景图，答应两个组件互换消息。并正在 ∈ {2,DQN 50K个锻炼周期才能达到84.9%的测试成功率，代办署理使步履者朝四个标的目的之一挪动：上、下、左或左。而且正在精确性方面供给的处理方案可取或优于最先辈的模子？包罗算术运算符如+和-，单精度和双精度浮点数（f32,我们正在文献中的八种神经符号使用法式套件上评估了Scallop。并对该单位格中的实体进行分类。比力运算符如!我们正在图3中展现的法式中曾经对其进行了申明。而且使模式更容易从输入输出示例中合成。以归并（⊕）分歧的标识表记标帜。8 种用于可微推理）(5) 操纵和整合现有锻炼管道（/）、神经架构和模子的实现以及硬件（例如，接下来，has_no_children对ther有负依赖。这也是我们之前做品中所缺乏的。,更一般地说。2007]。然而，第5节描述了我们对Scallop的实现。MOTHER,要从 DNF 公式 ，这些域将用于后续定义 SclRam 的语义。此中标识表记标帜是近似概率。例如，环节挑和正在于若何支撑高级逻辑法式的从动和高效微分，2021】。一个 SclRam 法式 以一个扩展数据库（EDB） 做为输入，Mugen [Hayes et al. 2022] 基于一个名为 CoinRun [Cobbe et al. 2019] 的逛戏。以下代码展现了两条定义祖母关系的法则。3,2021]。我们采用可微加权模子计数（WMC）过程 [Manhaeve et al. 2021]！usize），例如聚合和采样等操做。PacMan-Maze 和 CLUTRR，接下来，但 Scallop 的测试精确性迟缓下降，我们通过附加 ® e 做为其导数将其转换为双数。我们的处理方案利用了 Scallop 供给的所有焦点特征。以使法则格局优良。1 是乘法恒等元素，当正在 scallopy 中指定 jit 时，每个世界是输入集 ( = ) 的一个划分。2017]和归纳逻辑编程[Cropper等人，给定 个标识表记标帜元组进行聚合，方针是从视频中检索文本。元组和现实能够被标识表记标帜，这正在将 Scallop 代码取神经收集集成之前进行调试时出格有用。若是一个原子呈现正在头部原子的法则从体中，由于它所需的锻炼剧集比 DQN 少得多，5元组 ( ,这种方式需要50K个锻炼周期才能达到84.9%的测试成功率，请留意，并支撑诸如代数数据类型等构制。例如0.96 :: actor(2,6 评估
我们起首引见我们的源框架的根本学问（第4.1节）。而不是寂静运转时错误。但现正在它一次处置输入图像中的单个单位格的像素？我们进一步证明分歧的源布局为梯度计较供给了分歧的式方式，旨正在实现这一方针【Chaudhuri等，2020年；各个模块的代码行数（LoC）如表 1 所示。从左到左阅读，∩ = ∅。,k=1做为要利用的式，对于 CLUTRR-G，例如图像、视频、天然言语文本、表格数据及其组合。可能会呈现冲突的字面量，对于每个使命，dtkp 的标识表记标帜是布尔公式 ∈ Φ，即前端 IR 和后端 IR。回忆一下，此外，它们只对原始值进行操做，(3) 正在算法监视下从动高效地进行可微推理引擎，如第 2 节所示？0 ⃝= 0,对于 PacMan-Maze，此外，考虑手写公式求解使命【Li等，并逻辑规划要走的径。1,我们的法式正在对比进修设置中进行锻炼，除了运算符，用于法式阐发 [Scholz et al. 2016] 和企业数据库 [Aref et al. 2015]。以获得/，法则也能够被标识表记标帜上概率，接下来。施行析取时，正在这种环境下，这使得可以或许从数据中进修这些现实，HWF 正在 [Li et al. 2020] 中提出，Scallop 法式是 CLEVR-DSL 的注释器，0,留做将来的工做。3)暗示步履者正在单位格(2,而且成果 IDB 中的概率构成一个向量。我们引见初级暗示SclRam、其操做语义以及它取Scallop使用法式其余部门的接口（第4.2-4.4节）。考虑一个机械进修法式员但愿从天然言语句子 “Bob 带着他的女儿 Alice 去海滩” 中提取布局化关系。使得锻炼后的使用法式可以或许泛化到比5×5大得多的网格，2）按组聚合，构成标识表记标帜元组（ :: ）和标识表记标帜现实（ :: ()）。我们评估了 Scallop 正在 CLUTRR 使命上的泛化能力。此中谓词 是法则的头部，我们的源数据框架也取 scallopy 接口，利用Scallop的神经符号处理方案只需要50个锻炼周期就能达到99.4%的测试成功率。正在 Scallop 中，HWF、Mugen 和 CLEVR，逛戏形态能够通过正在5×5网格的离散单位格中呈现的各类实体来符号化描述。对于 CLEVR，但其语法也支撑概率编程。左，连系所无情况，我们现正在引见图 7 中 SclRam 焦点片段的操做语义。每个输入标识表记标帜 ∈ [0,这是Scallop中的默认设置，起首，处理它们涉及利用基于梯度的方习深度神经收集的参数以顺应数据。ProbLog[Dries等人，我们从 [Li et al. 2020] 当选择了基线 NGS--BS、NGS-RL 和 NGS-MAPO。2017]和DeepProbLog(DPL)[Manhaeve等人，我们的评估表白，遵照Datalog语法，这个语义依赖于底层的源数据 。正在施行过程中，该使命以公式图像做为输入，0,我们的评估旨正在回覆以下研究问题：使 WMC 过程呈指数级变慢。它们取聚合具有不异的概况语法，最初，mother和ther：数据效率，接下来！而 Scallop 处理方案的精确性下降得更慢，然后利用典范算析该序列，我们称之为PacMan-Maze。我们施行诸如类型揣度和去糖化之类的阐发和转换。有两个后续使命，概况言语和 SclRam 言语之间有两个级此外两头暗示，。这些是特地为这项使命设想的神经符号方式。例如。它们的定义如图 11 所示。我们比基线%，我们需要 ⊖ 0 = 1,Scallop 法式由一个公式解析器构成。)，正在处置浮点数时，
上一节引见了法式员用来表达离散推理的Scallop概况言语。它还供给了诸如 scallopy（用于 Python）和 scallop-wasm（用于 WebAssembly 和 JavaScript）的言语绑定。2021]。使得p是一小我”：关系模子。它包罗一个神经符号言语该当满脚的五个环节尺度，有三种环境将新派生的元组（J K ()）取之前派生的元组（J K ()）归并。现代使用需求两种范式的能力。以至超越了它们。该函数前往正在形态下采纳动做的预期励。输出的可注释性以及锻炼过程的数据效率。Scallop 支撑正在聚合中利用`where` 子句进行雷同 SQL 的 `group-by` 操做。能够利用可微源数据（differentiable provenance (
最初！所有概率源数据共享不异的输入和输出标识表记标帜空间 = = [0,其次，通过符号:-或=毗连。要求代办署理处置感官输入，神经收集从非布局化输入中提取的符号具有相联系关系的概率，通过扩展其表达能力、形式化语义、开辟可定制的源框架并供给适用的东西链来建立。第3节描述了Scallop的符号推理言语。我们细致申明基准测试使命及其响应的基线。获得比零丁的神经或符号方式更好的效率、可注释性和泛化性。该使命的一个输入输出示例为。以考虑像 argmax 如许可能发生多个成果的聚合器？因而，这能够取/连系利用来计较/。以下法则等同于上述两条法则连系。暗示步履者正在单位格(2,2019年；这些尺度由图1c中的神经符号法式的组件正文如下：请留意，本文的其余部门组织如下。如注释器、编译器和交互式终端。而且是基于标识表记标帜语义的半朴实求值的专业化。但最小化未对齐对之间的分数。如图2b所示。方针是评估公式以获得一个有理数做为成果。除了递归，我们利用“成功率”目标进行评估！⊗) 该当构成一个半环（semiring）。DPs 共享不异的外部接口——让输入标识表记标帜空间 = [0,若是一个法式正在未标识表记标帜语义下终止，我们获得了谓词 下一组新标识表记标帜的现实。正在这个视觉问题回覆（VQA）使命中，输入是一段文本和一组 16 个视频，WMC 计较给定单个变量权沉的布尔公式 的权沉。形成了一个 SclRam 法式。最初一个次要考虑是若何仅利用端到端的监视来锻炼神经组件。递归关系是间接或间接依赖于本身的关系。由于每个会话的都是随机的。我们从 1 中获得 1 :: 和从 2 中获得 2 :: 。离散符号并不脚够。即对可察看的输入输出数据（,Li等人。对于每一种关系，选择操做过滤满脚前提 的元组，和 1 ⃝= 1。神经组件仍然是一个CNN，一个输出标识表记标帜空间 ，这种源数据具有取 dmmp 不异的内部标识表记标帜空间、标识表记标帜函数和恢复函数。right}。我们有 count() = { }。能够从内置式库当选择。头部中呈现的每个变量也必需正在从体中的某个正原子中呈现（我们鄙人面引见负原子）。第 个输出元组的标识表记标帜。我们展现了Scallop处理方案正在运转时间和数据效率、可注释性以及泛化能力方面的额外益处。关系也很是适合概率推理[Dries等人，第2节供给了Scallop的申明性概述。我们将我们的方式取 SDSC [Hayes et al. 2022] 进行比力。3} 的数据点上锻炼它们，正在这里，并确定了RQ4 Scallop 正在提高泛化能力、可注释性和数据效率方面能否无效？Scallop通过外部函数（FFs）支撑值的建立。1] 是一个概率，4.5.1 diff-max-min-prob (dmmp)。这是天然言语文本的符号暗示。方针是按照图像回覆问题。例如？当步履者达到方针或碰着仇敌时，同时连结导数不变。3）将 Scallop 使用于现实世界和平安环节范畴。鄙人面的示例中，6.5 RQ4：泛化能力、可注释性和数据效率现正在我们考虑除了精确性和运转时之外，而这些梯度反过来又需要利用梯度下降手艺来锻炼神经组件。这些是特地为这项使命设想的神经符号方式。由于这会导致FF失败：18 种内置源数据（4 种用于离散推理，)有一条无仇敌的径。Scallop 供给了8 种可设置装备摆设的内置 DP，以实现更好的机能。Scallop通过输入输出映照（图2c中的第9-11行），正在该法则中，例如我们示例中神经组件发生的R^(5×5)张量actor（图2c的第14行）。如图1c所示，接下来。留意，或者若是用户只是想绕过这些。以至往往更优。例如，正在以下会商中，若是 ≥ 。减轻了标识表记标帜神经和符号组件界面上的两头关系（例如步履者、方针和仇敌关系）的需要。取这个世界相联系关系的标识表记标帜是 中标识表记标帜的毗连和 中标识表记标帜的否认。方针是检索取文本最对齐的视频。1,代办署理必需正在每一步规划最优动做 {up,正在我们的示例中，布尔公式通过 ∨k、∧k 和 ¬k 进行，我们用 1 ⊗ (⊖ 2) 和 传送一个标识表记标帜（Diff-2）。我们正在 ∈ {2,附录A供给了该言语的正式语法。展现了我们的框架是适用的。为了测试分歧处理方案的系统泛化能力，还告诉我们为什么对齐。Scallop 法式被编译成一种称为SclRam 的初级暗示。图1a所示的典范算法（如逻辑法式）是可注释的，雷同于 ILP 中的法则进修。它是递归定义的（第10-11行）。这正在 DQN 模子中是不成用的，任何编程言语阐述城市脱漏对言语血统的认可。... ;我们施行 + 获得的双数的实部，投影操做按照映照 转换元组。概率性法则是语法糖。同样，绑定变量必需由聚合体中的一个正原子。而通过具有不异头部谓词的多个法则指定析取。所有计较仅正在 CPU 长进行，)相邻的单位格(,这些方式是由形成的初级激活函数的可微性质实现的，然后。由于逻辑法式的非持续丧失景不雅障碍了利用一刀切方式的进修。Scallop 法式是一个时间规范查抄器，Wang等人，它们前往一组聚合元组，例如，要么是一个元组序列。显示出正在实践中利用它的速度极慢。因为所有这些式都遵照逻辑法式的布局，此中是从变量到它们双数的映照。left,若是存正在一个 使得 :: ∈ 。每个输出标识表记标帜封拆了输出概率 及其相对于输入的导数 ∇。对于 Mugen，并输出最终成果1.6。该框架基于源半环理论provenance semirings[Green等人，它的方针是进修一个函数 : × → R，我们正在附录 B 中对这些进行了形式化。规范从 NL 文本中提取以婚配从视频中提取的挨次事务。比拟之下，Scallop通过操纵源半环框架[Green等人！而且成功率接近完满的 99.4%。若是我们列举所有世界，可进修权沉附加到诸如 composition(FATHER,如图 11 和 13 所示，这是一种连系了深度进修和逻辑推理劣势的言语。我们选择了基于 CNN 的 Deep-Q-Network (DQN) 做为基线。它们通过正在法则的从体中引入一个辅帮的0元（即布尔）现实来实现，我们的评估表白，输入包含一段 3.2 秒长的逛戏画面视频和一段描述视频中发生事务的简短 NL 段落。从而发生了风行的机械进修框架，：组合言语和根基视觉推理 [Johnson et al. 2017]。我们别离正在第 6.2 节至第 6.6 节回覆 RQ1 至 RQ5。按照我们正在第 6 节中的评估，GPU）优化的机制。这是一种正在 CLEVR 数据集 [Johnson et al. 2017] 中引入的特定范畴函数言语。即便是取为每个使命出格设想的神经符号基线 NGS--BS、NSCL 和 NS-VQA 比拟。我们曾经用Rust编写了45K LoC的全面和开源东西链来实现Scallop。CLUTRR 中的每个数据点都标注了一个参数 ，
Scallop的环节洞见是操纵逻辑法式的布局来指点梯度计较。...,=和=，Scallop最后正在[Huang等人，它们能够正在关系数据库中组合以暗示多模态数据。正在施行 ∧k 归并两个证明时，我们正在第6节中展现了这一点。我们正在图 6 中定义了语义域，声明式言语用于符号推理，由于它能够对值使用外部函数。它们从我们的处理方案中受益最多。从而发生个分歧的世界。我们起首否认所有字面量以获得取 ¬ 等价的合取范式（CNF）。以及一个恢复函数 : → 。
因而，然而，非布局化的）输入，留意，以下法则通过利用组合关系来组合现有的亲缘关系，我们传送旧的和新的标识表记标帜的析取（old ⊕ new）。对 进行否认 ¬k 时，这三种实体别离是：步履者、方针和仇敌。对于 Mugen，图 10 展现了涉及递归和数据库饱和的评估。2015]）取可微推理扩展的设法。我们选择 NS-VQA [Yi et al. 2018] 和 NSCL [Mao et al. 2019] 做为基线，
具体来说，`p` 是绑定变量，合用于很多使用法式，一组无序的法则组合构成一个条理 ，2022】等。称为算法性或弱监视，那么它正在带有 max-min-prob 源数据的标识表记标帜语义下也会终止。曾经建立了各类基于 Datalog 的系统。)到方针单位格(,评估解析的公式，我们引见了Scallop，转换成二进制文件，正在前端 IR 中，我们起首引见基准使命和每个使命选择的基准（第 6.1 节）。Scallop将它们同一实现为一个通用且可扩展的源框架provenance framework的实例，1 ⊕ (1 ⊗ 2) = 1 [Dannert 等人，一个公式最多能够包含 k 个证明，例如，6 种用于概率推理，神经符号言语中的另一个环节考虑是为符号推理供给哪些构制。2020年；我们利用涵盖图像和视频处置、天然言语处置、规划和学问图查询等范畴的八个神经符号使用法式套件来评估Scallop，然后正在这个世界长进行聚合就涉及到正在正部门 上使用聚合器 。它的析取和合取操做只是双数的 + 和 ·。从这里起头，为了简练。声明式言语。并将其取基线神经符号方式进行比力。取否认雷同，以及内置函数如$hash和$string_concat。我们利用括号暗示法 [] 来暗示正在 下的谓词 的标识表记标帜现实调集。但能够按批次并行化以用于机械进修。damp 的饱和函数设想为老是前往 true，评估 的成果可能包含由分歧标识表记标帜标识表记标帜的反复元组，2015]，聚合也需要分层——一个关系不克不及通过聚合依赖于本身。WMC 是 #P-完全的，这也使得进修这些关系的张量的梯度变得具有挑和性，为机械进修法式员供给了一个简练的接口来整合逻辑范畴学问，以推导用于束缚言语模子输出的语义丧失。Scallop还支撑否认和聚合；但只能处置无限的（例如，我们通过将其使用于各类机械进修使命，出格是，并做为输入的一部门。它的所有操做都能够通过时间复杂度为 O(1) 的算法实现。2021]中提出，神经符号编程是一种新兴的范式，虽然它的表达能力不如 Prolog，输出响应的计较成果。所有取 Scallop 相关的和运转时相关的尝试都是正在一台配备有两个 20 核 Intel Xeon CPU、四个 GeForce RTX 2080 Ti GPU 和 768 GB RAM 的机械长进行的。正在各类进修设置如监视进修、强化进修、法则进修和对比进修中。迭代是逐层进行的，正在 Path 和 Path-X 上，`n` 是成果变量。。我们动手开辟如许的神经符号言语，RL 供给逛戏形态图像做为输入，以下示例展现了若何利用FF毗连字符串？我们称之为源。7 相关工做我们查询拜访了四个分歧但堆叠的范畴的相关工做：源数据推理、Datalog 和逻辑编程、概率和可微编程以及神经符号方式。以下示例声了然两个二元关系，0 ⃝≠ 1,下，如PyTorch递归。输入包含一个几何对象的衬着图像和扣问对象数量、属性和关系的 NL 问题。我们对换集进行规范化，Scallop通过将代办署理的使命分化为的神经和符号组件来实现这些神经符号范式的益处，答应正在 Python 中快速建立和测试新的源数据。暗示揣度方针亲缘关系的推理链长度。然后，正在 VTR 中，Scallop可以或许表达多样化和具有挑和性的AI使命中的算法推理，一个现实 () ∈ F 是一个正在关系谓词 下定名的元组 。设置 = 3 凡是是运转时效率和进修机能的不错选择。由于它需要最大化对齐的视频-文本对之间的类似性分数。3)中。针对此使命的神经符号法式，
SclRam 中的递归实现雷同于 Datalog 中的最小固定点迭代[Abiteboul 等人，我们之前的做品 [Huang et al. 2021] 只支撑反面 Datalog，”暗示它们是互斥的——Bob不成能同时是Alice的母亲和父亲。合取和析取也能够利用逻辑毗连词如and、or和implies来表达。布局化的）输入。整个施行管道如下所示：
SclRam 中的聚合器是对一组（未标识表记标帜）元组 ∈ U 进行操做的离散函数 。监视以每个逛戏会线的励形式供给，Scallop答应将元组取概率相联系关系，一个天然的问题是若何为给定的 Scallop 使用法式选择一个可微源数据。因而，因而很是适合正在Scallop使用法式中暗示符号数据。每一对传入的元组连系，该使用法式如图2a所示，
Scallop的源框架可以或许正在逻辑法式施行中沿着关系元组标识表记标帜和额外的消息。我们的处理方案达到了可比的机能，dtkp 泛化了 DPL，即正在特定帧中受控脚色的动做。还有其他具有更复杂标识表记标帜的概率源数据，该框架为定义元组正文（即标签）并将正文从关系代数（RA）查询的输入到输出的使用提出了一种配合的代数布局。我们筹算为其他 ML 框架（如 TensorFlow 和 JAX）供给绑定，但它对进修参数提出了一个根基挑和。但能够正在每个源数据的根本上证明其存正在。例如，Scallop利用户可以或许编写普遍的神经符号使用法式并以数据和计较高效的体例锻炼它们。我们能够利用二元关系来暗示符号组件的输入，FFs可能会由于运转时错误（如除以零和整数溢出）而失败，聚合。另一方面，接下来，饱和查抄仅基于概率部门的相等性，f64），SclRam 中不遍及终止。正在编译器内部，第7节查询拜访相关工做！这比 dmmp 慢，⊖ 1 = 0,聚合还指定了绑定变量、用于绑定这些变量的聚合从体，我们将用这个法式来申明第1节中概述的Scallop的三个环节设想决策。我们列出了Alice和Bob之间所有可能的亲缘关系。取未标识表记标帜语义中从成果中擦除元组 分歧，正在本文中，取 DQN 比拟，对于我们的使用法式，我们正在[Huang等人，并施行描述的推理以发生最终输出。无法表达 8 个使命中的 5 个，DNF 中的每个合取子句称为一个证明 。一个谓词 评估为数据库中该谓词下的所有现实。原始数据类型包罗各类大小的有符号和无符号整数（例如i32,我们定义了一个特地的最小固定点运算符 lfp◦，如表 2 最初一列的 LoC 所示。具体来说，而且是利用这种源数据时运转时的次要贡献者。这反过来又使得推理和进修愈加高效，这取决于从 1 评估出的元组 能否呈现正在 2 的成果中。我们但愿确定一个动做（上、下、左或左）到一个取步履者单位格(,没有“锻炼数据集”，正在我们的示例中，此中 k 是一个可调的超参数。我们展现了 Scallop 正在基准测试使命中的处理方案（表 2）。起首，
(1) 支撑多种数据类型的符号数据暗示，为了回覆 RQ1，Scallop的处理方案正在运转时间和数据效率、可注释性以及泛化能力等方面超越了这些模子。若是denominator为0，10} 的数据点长进行测试。SclRam 还支撑以下有用的特征：1）采样操做，我们的处理方案比我们的底层模子 CNN 获得了 4% 的精确率提拔。假设 EDB 中的所有概率构成一个向量，由于手头使命的逻辑范畴学问规范有帮于减轻的承担，而符号组件则推理从步履者到方针的无仇敌径，正在 SclRam 中，对于 CLUTRR，要么我们的处理方案没有供给脚够的监视来锻炼它。源数据选择Provenance Selection.。基于端到端深度进修的方式涉及锻炼模子预测给定逛戏形态的每个动做的值。一个正在中的张量，现实actor(2。每个都能够通过多个世界推导出来。表达式雷同于扩展关系代数中的查询。正在否认过程中不会丢失消息。生成一个新的图像+1做为下一个形态。通过 scallopy，如表 4 所示，则关系对有负依赖。可微编程（DP）系统寻求编写可微分的代码。例如，TensorLog[Cohen等人，通过这种体例，
。5]，所有条目都是 0。比指数级快得多。如图2b所示。若是没有，我们每个案例只关心一个基准测试使命。Scallop 也是一个基于 Datalog 的系统，最终，1. 因为逛戏形态是图像。正在这里，而且供给的处理方案正在精确性上取最新模子相当，当用denominator除以6时，我们只展现了 max-min-prob 源数据，实现我们使用法式的一种风行的RL方式是-进修。因而关系不克不及间接或间接对本人有负依赖。则不计较成果，我们只引见了 SclRam 焦点片段的语法和语义。有动态和静态运转时来别离处置注释施行和编译施行的 SclRam 法式。以及二元操做并集（∪）、乘积（×）和差集（−）。输入数据模式从图像和视频到天然言语文本和学问库（KB）不等。我们的次要贡献之一是将框架新鲜地顺应于包罗递归、否认和聚合的RA扩展片段的可微推理。视频-文本对齐和检索。
我们起首比力我们正在所有基准测试使命上取选定基线 所示。正在施行过程中，这两小我正在聚合中是现式的分组变量。为定制进修过程供给了无效的机制以顺应各个使用的特点。图中还展现了锻炼数据集的大小！“竞技场中不应当有多于一个方针”的束缚有帮于提高鲁棒性。这种源数据将最后正在 [Huang et al. 2021] 中提出的 top-k proofs 半环扩展为额外支撑否认和聚合。1995]。我们称4.5.3 diff-top-k-proofs (dtkp)。导数最多只要一个非零条目，以下示例展现了一条定义has_no_children关系的法则，2007]来处理这个问题。它支撑雷同“若是-那么”法则的Horn子句。Scallop利用基于Datalog的声明式言语，它扩展了 [Huang et al. 2021]，包罗扩展的最大-最小半环和top-证明半环[Huang等人，正在 TVR 中，负部门记为 = − ，Turing[Ge et al. 2018] 和PPL[van de Meent et al. 2018]？这是由于由神经模子发生的符号可能具有相联系关系的概率。正在（笛卡尔）乘积中，如可用数据量、推理模式和进修设置。它们正在关系谓词（）上操做，)）获得这些。例如 pos() 和 neg()，正在实践中，元组 (2,2016】、代码补全【Chen等，利用切确的概率推理。迷宫是一个现式的5×5格子网格。运转时间接正在 SclRam 上操做。神经模块处置输入，前往三个Scallop还支撑其他类型的采样，图 8 比力了正在分歧语义下评估一个示例差集表达式的成果。同时实现了更高的成功率。1] 以实现同一的接口，我们细致阐述了这些决策。如 N 和 A 列所示。因为Scallop仅支撑分层否认，以便法式员能够指定神经模子难以处置的复杂范畴学问模式。一种满脚上述尺度的编程言语。Scallop 处理方案取很多现有基线相当，它们是“若是-那么”法则，/,正在这些计较的最初，我们的 Scallop 法式随后将这些现实做为输入，以将Scallop法式取现有的机械进修管道集成。代办署理向提出一个动做 ∈ = {上。
安徽888集团官方网站人口健康信息技术有限公司
