AI如何影响技能形成：基于随机对照实验的编程技能学习研究

AI辅助编程虽能提升生产力，但会显著损害学习新技能的能力，尤其是调试和概念理解。

前置知识

认知卸载

认知卸载是指将原本由人类大脑执行的认知任务转移给外部工具（如AI助手）的过程。在本文中，当开发者使用AI生成代码时，他们将部分编程认知任务（如理解API用法、设计算法逻辑）卸载给AI，这可能导致自身相关认知能力的退化。认知卸载理论认为，长期依赖外部工具会削弱个体在该领域的技能形成和问题解决能力。

理解认知卸载是本文的核心理论基础，它解释了为什么AI辅助可能损害技能形成。论文通过实证研究验证了这一理论在编程学习场景中的适用性。

异步编程与Trio库

异步编程是一种编程范式，允许程序在等待I/O操作（如网络请求、文件读写）时执行其他任务，从而提高并发性能。Trio是Python的一个异步编程库，它引入了结构化并发（structured concurrency）的概念，通过nursery（ nursery）管理并发任务的生命周期。与传统的回调或Promise模式不同，Trio强调代码的可读性和错误处理的清晰性。

本文选择Trio作为学习任务，因为它相对新颖且概念独特（如结构化并发），能够有效测量参与者对新技能的掌握程度。Trio的学习曲线适合作为实验的技能形成测量工具。

随机对照试验

随机对照试验（RCT）是因果推断的黄金标准方法。在本文中，参与者被随机分配到AI辅助组（处理组）和无AI辅助组（对照组），两组完成相同的编程任务，然后接受相同的技能评估。通过随机分配，研究者可以控制混杂变量，从而推断AI辅助对技能形成的因果影响。

RCT方法使本文能够超越相关性研究，提供AI辅助影响技能形成的因果证据。这是本文方法论上的重要优势，增强了结论的可信度。

效应量与统计显著性

效应量（如Cohen's d）衡量干预效果的大小，而不受样本量影响。Cohen's d = 0.2为小效应，0.5为中等效应，0.8为大效应。统计显著性（p值）表示观察到的效应由随机因素导致的概率。p < 0.05通常被认为是统计显著的。本文报告了Cohen's d = 0.738，p = 0.010的结果，表明AI辅助对技能评估分数有中等偏大的负面影响，且具有统计显著性。

理解这些统计概念对于解读本文的实验结果至关重要。它们帮助读者评估AI辅助影响的实际大小和可信度。

研究动机

现有研究一致表明AI辅助能显著提升生产力：在软件工程领域，使用Copilot的开发者任务完成速度提升55.5%（Peng et al., 2023），企业环境中AI代码补全带来26.8%的生产力提升（Cui et al., 2024）。在客服、咨询等领域，AI助手帮助工人解决的问题数量增加15%（Brynjolfsson et al., 2025），任务完成数量增加12.2%（Dell'Acqua et al., 2023）。然而，这些研究主要关注生产力的即时提升，却忽略了一个关键问题：当工作者依赖AI完成需要新技能的任务时，他们的技能形成过程会受到怎样的影响？特别是对于初级工作者，他们本应在工作中快速学习新技能，但AI辅助可能让他们跳过必要的学习阶段，导致技能发展受阻。医疗领域已有研究发现，使用AI辅助训练的医生可能无法发展出识别某些病症的敏锐视觉技能（Macnamara et al., 2024）。在知识工作者中，频繁使用AI与更差的批判性思维能力和更多的认知卸载相关（Gerlich, 2025）。这些观察性研究提示了潜在问题，但缺乏因果证据。

本文的目标是本文旨在通过随机对照实验，系统研究AI辅助对技能形成的影响。具体目标有两个：第一，评估AI辅助是否能提升需要新技能的编程任务的生产力（研究问题1）；第二，评估AI辅助如何影响这些新技能的形成（研究问题2）。研究者希望回答一个根本问题：AI辅助带来的生产力提升是否以牺牲技能发展为代价？或者AI辅助能否同时提升生产力和技能形成？

与已有工作不同的是，本文的独特切入角度在于关注技能形成过程而非仅仅是生产力结果。与以往研究不同，本文设计了一个需要学习新技能（Python Trio库）的实验场景，模拟现实工作中工程师学习新工具的过程。研究者不仅测量任务完成时间（生产力指标），还通过专门设计的测验评估参与者对Trio库的概念理解、代码阅读和调试能力（技能形成指标）。此外，本文通过深入的定性分析，识别出六种不同的AI交互模式，揭示了为什么不同使用者从AI辅助中获得的学习效果差异巨大。这种结合定量实验和定性分析的方法，为理解AI辅助的复杂影响提供了更全面的视角。

核心方法

本文采用随机对照实验设计，研究AI辅助对编程技能形成的影响。整体思路是让参与者学习一个相对新颖的Python异步编程库（Trio），比较有无AI辅助的两组参与者在任务完成时间和技能掌握方面的差异。研究者首先通过试点研究优化实验设计，解决参与者不合规、测验题目局部依赖性等问题。在主要研究中，52名有经验的Python开发者被随机分配到AI辅助组（使用GPT-4o助手）和对照组（仅使用网络搜索和说明文档），完成两个Trio编程任务。任务完成后，所有参与者接受相同的技能评估测验（14道题，27分）。研究者不仅分析了量化数据，还通过观看屏幕录像进行定性分析，识别出不同的AI交互模式及其对学习效果的影响。

本文的核心创新点在于将研究焦点从“AI是否提升生产力”转向“AI如何影响技能形成”。与以往研究不同，本文特别设计了需要学习新技能的任务场景，而不是仅仅测量现有技能下的生产力。另一个关键创新是识别了AI交互模式的异质性：并非所有使用AI的方式都会损害学习。研究者发现，高认知参与的AI使用模式（如只问概念问题、要求解释生成的代码）能保留学习效果，而低认知参与的模式（如完全委托AI生成代码）则导致学习效果差。这一发现挑战了“AI辅助必然损害学习”的简单假设，为设计更有利于技能形成的AI工具提供了理论依据。

方法步骤详情

实验步骤如下：1）参与者招募与筛选：通过众包平台招募有1年以上Python经验、每周至少使用Python一次、曾使用过AI编程助手且从未使用过Trio库的开发者。2）热身阶段：所有参与者完成一个不涉及异步编程的Python边界绘制任务，用于校准Python熟悉度并熟悉实验界面。3）任务阶段：参与者被随机分配到AI辅助组或对照组，在35分钟内完成两个Trio编程任务。AI辅助组可使用基于GPT-4o的聊天助手，对照组只能使用网络搜索和说明文档。所有参与者被要求尽快完成任务。4）评估阶段：所有参与者完成技能评估测验（14道题，27分，涵盖调试、代码阅读和概念理解）和调查问卷。5）数据分析：量化分析使用t检验和效应量计算；定性分析通过观看屏幕录像，标注参与者的行为事件（如错误、AI交互、查询类型），识别出六种AI交互模式。

技术新颖性

本文的技术新颖性体现在多个方面。首先，在实验设计上，研究者通过四轮试点研究解决了关键方法论问题：参与者不合规（通过屏幕录像监控）、测验题目局部依赖性（通过题目分页设计）、Python语法干扰（通过提供语法提示）。其次，在数据分析上，研究者结合了定量和定性方法：不仅使用统计检验评估总体效应，还通过深入的定性分析揭示了AI使用模式的异质性。他们识别出六种AI交互模式，并发现其中三种（概念询问、混合代码-解释、生成-然后理解）能保留学习效果，而另外三种（AI委托、渐进AI依赖、迭代AI调试）则导致学习效果差。第三，在理论贡献上，本文提出了一个框架，将AI辅助视为不同的“学习路径”，不同使用方式导致不同的学习结果。这一框架为理解AI在教育和工作场所中的复杂影响提供了新视角。

实验结果

本文的主要发现是：AI辅助显著损害了参与者对新技能的掌握，但并未显著提升生产力。具体而言，AI辅助组在技能评估测验中的得分比对照组低17%（4.15分/27分），相当于两个等级（Cohen's d = 0.738，p = 0.010）。这一负面影响在不同编程经验水平的参与者中均一致存在。然而，在任务完成时间上，AI辅助组（平均23.2分钟）与对照组（平均24.8分钟）没有显著差异（p = 0.391）。定性分析揭示了这种看似矛盾的结果的原因：AI辅助组中，部分参与者花费了大量时间与AI交互（最多达11分钟），询问了多达15个问题，这抵消了AI可能带来的效率提升。进一步分析显示，AI辅助对技能评估的不同方面影响不同：调试问题上的差距最大，代码阅读问题上的差距最小。这可能是因为对照组在独立解决错误的过程中获得了更多调试经验。研究者还发现，AI交互模式对学习效果有巨大影响：高认知参与模式（如概念询问）的参与者平均得分65%-86%，而低认知参与模式（如AI委托）的参与者平均得分仅24%-39%。

**Figure 1**: 结果概览：AI辅助对编程速度和知识测验的影响，以及AI使用模式

查看结构化数据

任务	指标	本文	基线	提升
Trio编程任务完成时间	平均时间（分钟）	23.2	24.8（对照组）	无显著差异（p=0.391）
技能评估测验分数	平均得分（百分比）	55%	72%（对照组）	降低17%（Cohen's d=0.738，p=0.010）
调试问题得分	平均得分（百分比）	约45%	约70%（对照组）	差距最大
代码阅读问题得分	平均得分（百分比）	约60%	约75%（对照组）	差距最小

局限与改进

本文存在几个重要局限性。首先，任务选择单一：研究仅关注一个Python库（Trio）和一个聊天界面，而现实中的AI编程工具包括代码补全、智能体工具等，这些工具可能产生更大的认知卸载效应。其次，任务时间短：技能形成通常需要数月甚至数年，而本研究仅测量了一小时内的学习效果。第三，参与者激励不足：参与者是众包工作者，没有真实工作中学习新技能的动机和压力。第四，未测量提示技巧：研究收集了参与者对AI工具的自评熟悉度，但未实际测量他们的提示技巧差异。第五，评估方式单一：技能评估通过测验进行，其他评估方式（如完成另一个任务、设计编码）可能提供不同视角。第六，缺乏人类辅助的对照：研究未比较AI辅助与人类辅助（如导师、同事）对技能形成的影响。第七，样本量有限：每组仅26人，可能限制了统计效力，特别是对亚组分析。

独立分析的弱点

本文存在几个值得改进的弱点。首先，实验任务过于简单：两个Trio任务各需10-20分钟完成，可能无法充分代表现实工作中复杂的学习场景。改进方向是设计更复杂、需要多步骤学习的任务。其次，AI助手基于GPT-4o，但未比较不同AI模型的影响。不同模型的代码生成质量和解释能力可能不同，进而影响学习效果。改进方向是比较多模型效果。第三，参与者主要是经验丰富的开发者（53.8%有7年以上经验），对初级开发者的代表性不足。改进方向是专门招募初级开发者。第四，未考虑个体学习风格差异：不同学习者可能从AI辅助中受益不同。改进方向是测量学习风格并分析其调节作用。第五，定性分析虽然深入，但样本量小（每个交互模式仅2-7人），限制了结论的普适性。改进方向是扩大样本量，特别是AI辅助组。

未来方向

本文提出了几个重要的未来研究方向。首先，研究更长时间的技能形成：通过纵向研究跟踪AI辅助对工作者数月甚至数年技能发展的影响。其次，研究不同AI工具的影响：特别是智能体编码工具，它们可能产生更大的认知卸载效应。第三，在真实工作环境中研究：在企业中跟踪新员工使用AI工具学习新技能的过程。第四，比较AI与人类辅助：研究AI辅助与人类导师、同事辅助对技能形成的差异影响。第五，研究提示技巧的影响：测量并分析不同提示技巧如何调节AI辅助的学习效果。第六，跨领域研究：将研究扩展到其他需要技能形成的领域，如数据分析、设计等。第七，研究AI工具设计：探索如何设计AI工具以促进技能形成，例如内置学习提示、逐步引导等功能。

复现评估

本文的复现性较好。研究者公开了注释后的屏幕录像数据（GitHub仓库），详细描述了实验设计、参与者筛选标准、测验设计过程（基于项目反应理论的5次迭代）。实验使用在线编程平台和AI助手界面，但未提供具体平台名称。复现需要：1）众包平台访问权限；2）基于GPT-4o的AI聊天助手集成；3）在线编程环境；4）Trio编程任务和测验题目（论文提供了详细描述）。主要复现挑战在于参与者招募和筛选，以及确保实验控制（如防止对照组使用AI）。算力需求不高，主要是实验执行和数据分析成本。总体而言，复现难度中等，关键挑战在于实验设计的细节控制。

AI如何影响技能形成：基于随机对照实验的编程技能学习研究 How AI Impacts Skill Formation