IGL2018：优惠券和实验
Posted: Thu Feb 20, 2025 4:49 am
您可能已经注意到，Lou 和我还没有讲述我们的 代金券故事。我们并没有忘记，但最近一直忙于 IGL2018 和几个达到关键点的项目（请在我们的博客或时事通讯上关注有关这些项目的更多信息！）。在此期间，我想分享一些与我们的代金券故事相关的 IGL2018 要点。
在 IG2018 的政策与实践学习实验室期间，Triin、Teo 和我再次聚在一起，举办了一场关于在创新、创业和商业政策中使用随机对照试验 (RCT) 的研讨会。今年的研讨会围绕一个场景展开，参与者必须开发一种新的代金券计划，以帮助促进小企业的发展。以下是我们为这个场景选择代金券的两个原因。
James 出席 IGL2018
在评估代金券计划时，控制选择偏差需要的不仅仅是对谁能获得代金券进行强有力的控制
我们举办研讨会的目标之一是概述为什么 RCT 被视为证明因果影响的“黄金标准”。这其中的大部分内容都体现在其他 IGL 输出中（例如这篇关于试验的博客）。以下是对 RCT 为何能够解决其他方法在评估代金券计划时面临的问题的一些思考，并扩展了研讨会上讨论的要点。
与许多代金券计划一样，研讨会期间设计 RCS数据 的代金券计划的资格标准非常广泛。理论上，它们将向所有中小企业开放申请。但在实践中，虽然数百万人可能符合资格，但可能只有数千人会申请，而申请的人非常不典型。企业年龄、规模和行业等因素可能在很大程度上可以解释谁申请了某个计划。例如，愿意并能够在创新代金券上投资 5,000 英镑的微型企业比例可能远低于大型中小企业。
因此，倾向得分匹配等方法可用于将代金券接受者与看似相似且同样可能使用代金券的非代金券接受者进行匹配。但是，尽管这些特征在选择方面可能具有很强的意义和解释力，但它们通常与政策评估中感兴趣的结果（例如企业销售额和就业增长）几乎没有联系。
如下面的维恩图所示，在消除选择偏差时，我们需要关注解释选择和结果的因素。
图：影响选择偏差的因素
影响选择偏差的因素
来源： 改编自《Magenta Book》
介于中间的因素可能是什么？我想到了许多候选因素，但它们都难以衡量，而且通常不包含在用于跟踪业务成果的数据集中。
例如，商业网络成员资格不仅会影响企业绩效，还有助于提高对可用政策支持的认识。增长雄心、管理和领导实践以及创新也是与企业绩效相关的因素，我预计这些因素将与申请代金券计划的兴趣和成功有关。
因此，当直接估计影响时，我愿意用维恩图中间的任何变量来替换左边的变量，不管我的模型解释选择的程度变得多么弱。
RCT 的威力在于将所有原本可能位于维恩图中间的因素移到右边，而不管我是否能在数据中观察到这些因素。随机分配成为谁能收到代金券、谁不能收到代金券的唯一决定因素。
这并不是说其他评估方法无法成功应用——有很多成功的例子。但捕捉维恩图中间因素的难度是我开始进行实验的原因之一。
实验有助于做出选择
我们选择代金券作为研讨会场景的政策工具的另一个原因是它可以应用于一系列创新、创业和商业政策。此外，虽然概念很简单 - 代金券用于通过补贴成本来鼓励企业采取行动 - 但代金券计划的设计和实施方式却千差万别。
我们研讨会的目标之一是展示实验如何帮助通知和验证此类决策。
鉴于研讨会时间只有 90 分钟，我们要求各表代表提出其优惠券计划的五个特点：
什么类型的企业可以申请？
此优惠券可用于什么用途？
每张优惠券价值多少？
企业需要做出哪些财务贡献？
你们的优惠券计划名称是什么？
Igl2018 的示例幻灯片
Lou 和我之前在博客中提到的两项代金券试验涉及评估是否为申请人提供代金券的影响。我们希望向参与者展示试验的灵活性，以解决其他选择。
最受争议的特征之一是企业除了公共补贴外还必须做出的贡献。我们概述了如何通过试验来探索这一点，并帮助在额外性和纳税人成本之间取得适当的平衡 - 例如测试提供 100% 补贴的代金券与仅提供 50% 补贴的代金券的影响。
还可以对名称的决定进行测试，有可能使用快速消息传递试验来查看哪个名称可以在目标人群中引起最多的兴趣和参与。
有一张表格不确定初创企业是否应该符合条件，因为人们担心高失败率可能会降低性价比。测试这一决定的实验范围不那么简单——不可能随机确定一家企业是老企业还是新企业。
然而，实际上，通过进行两次试验可以收集证据。一次试验测试向初创企业提供代金券的好处，另一次试验向现有企业提供相同的代金券。这样可以比较公共投资的相对回报——例如，向成熟的中小企业提供代金券是否比向初创企业提供的代金券每磅公共投资创造更大的经济价值。
希望您已经看到，这只是 IGL2018 的众多博客之一，后续还会有更多内容。如需了解这些内容和我们的优惠券故事，请订阅我们的月度新闻通讯。
在 IG2018 的政策与实践学习实验室期间，Triin、Teo 和我再次聚在一起，举办了一场关于在创新、创业和商业政策中使用随机对照试验 (RCT) 的研讨会。今年的研讨会围绕一个场景展开，参与者必须开发一种新的代金券计划，以帮助促进小企业的发展。以下是我们为这个场景选择代金券的两个原因。
James 出席 IGL2018
在评估代金券计划时，控制选择偏差需要的不仅仅是对谁能获得代金券进行强有力的控制
我们举办研讨会的目标之一是概述为什么 RCT 被视为证明因果影响的“黄金标准”。这其中的大部分内容都体现在其他 IGL 输出中（例如这篇关于试验的博客）。以下是对 RCT 为何能够解决其他方法在评估代金券计划时面临的问题的一些思考，并扩展了研讨会上讨论的要点。
与许多代金券计划一样，研讨会期间设计 RCS数据 的代金券计划的资格标准非常广泛。理论上，它们将向所有中小企业开放申请。但在实践中，虽然数百万人可能符合资格，但可能只有数千人会申请，而申请的人非常不典型。企业年龄、规模和行业等因素可能在很大程度上可以解释谁申请了某个计划。例如，愿意并能够在创新代金券上投资 5,000 英镑的微型企业比例可能远低于大型中小企业。
因此，倾向得分匹配等方法可用于将代金券接受者与看似相似且同样可能使用代金券的非代金券接受者进行匹配。但是，尽管这些特征在选择方面可能具有很强的意义和解释力，但它们通常与政策评估中感兴趣的结果（例如企业销售额和就业增长）几乎没有联系。
如下面的维恩图所示，在消除选择偏差时，我们需要关注解释选择和结果的因素。
图：影响选择偏差的因素
影响选择偏差的因素
来源： 改编自《Magenta Book》
介于中间的因素可能是什么？我想到了许多候选因素，但它们都难以衡量，而且通常不包含在用于跟踪业务成果的数据集中。
例如，商业网络成员资格不仅会影响企业绩效，还有助于提高对可用政策支持的认识。增长雄心、管理和领导实践以及创新也是与企业绩效相关的因素，我预计这些因素将与申请代金券计划的兴趣和成功有关。
因此，当直接估计影响时，我愿意用维恩图中间的任何变量来替换左边的变量，不管我的模型解释选择的程度变得多么弱。
RCT 的威力在于将所有原本可能位于维恩图中间的因素移到右边，而不管我是否能在数据中观察到这些因素。随机分配成为谁能收到代金券、谁不能收到代金券的唯一决定因素。
这并不是说其他评估方法无法成功应用——有很多成功的例子。但捕捉维恩图中间因素的难度是我开始进行实验的原因之一。
实验有助于做出选择
我们选择代金券作为研讨会场景的政策工具的另一个原因是它可以应用于一系列创新、创业和商业政策。此外，虽然概念很简单 - 代金券用于通过补贴成本来鼓励企业采取行动 - 但代金券计划的设计和实施方式却千差万别。
我们研讨会的目标之一是展示实验如何帮助通知和验证此类决策。
鉴于研讨会时间只有 90 分钟，我们要求各表代表提出其优惠券计划的五个特点：
什么类型的企业可以申请？
此优惠券可用于什么用途？
每张优惠券价值多少？
企业需要做出哪些财务贡献？
你们的优惠券计划名称是什么？
Igl2018 的示例幻灯片
Lou 和我之前在博客中提到的两项代金券试验涉及评估是否为申请人提供代金券的影响。我们希望向参与者展示试验的灵活性，以解决其他选择。
最受争议的特征之一是企业除了公共补贴外还必须做出的贡献。我们概述了如何通过试验来探索这一点，并帮助在额外性和纳税人成本之间取得适当的平衡 - 例如测试提供 100% 补贴的代金券与仅提供 50% 补贴的代金券的影响。
还可以对名称的决定进行测试，有可能使用快速消息传递试验来查看哪个名称可以在目标人群中引起最多的兴趣和参与。
有一张表格不确定初创企业是否应该符合条件，因为人们担心高失败率可能会降低性价比。测试这一决定的实验范围不那么简单——不可能随机确定一家企业是老企业还是新企业。
然而，实际上，通过进行两次试验可以收集证据。一次试验测试向初创企业提供代金券的好处，另一次试验向现有企业提供相同的代金券。这样可以比较公共投资的相对回报——例如，向成熟的中小企业提供代金券是否比向初创企业提供的代金券每磅公共投资创造更大的经济价值。
希望您已经看到，这只是 IGL2018 的众多博客之一，后续还会有更多内容。如需了解这些内容和我们的优惠券故事，请订阅我们的月度新闻通讯。