从以下鼠标线中使用了2至7个月大的雄性和雌性小鼠：C57BL/6 J Wild-Type（Charles River），DRD1-CRE（GENSAT：EY262），ADORA2A-CRE（GENSAT：GENSAT：KG139），SLC6A3-CRE（SLC6A3-CRE（jax：0066660），jax：006660），ai o），ai;AI35（Arch-GFP，JAX：012735）和AI32（ChannelRhopopsin-2/eyfp，JAX：024109）。

　　将小鼠放在HVC笼中，并在12 h：12 h倒光的光线：黑暗循环并在黑暗相中进行测试。房间的环境温度保持在20–24°C之间，湿度保持在45-65％之间。在COT任务中使用的小鼠被剥夺了水。每次训练期间，小鼠都可以进入水，否则每只小鼠1毫升水。如果小鼠的重量低于85％，则根据需要补充水。所有实验均根据1986年《 1986年英国内政部法》（Scientific Prosistions Action Animal Animal Animal Animal Andial Action Andial and Animal Felfare and Ethical Review Bodict）（AWERB）进行。测试组和对照组的小鼠是窝窝，并随机选择。

　　除PAAV5-CAG-DLIGHT1.1（Addgene，111067）外，所有病毒均在室内生产，该病毒用于光度计记录。Dlight1.1的表达是通过在TS中注入30-100 nl的PAAV5-CAG-DLIGHT1.1的诱导的，而Vs中的90 nl诱导。通过在1014个病毒基因组（VG）和AAV2/5-EF1A-DIO-DIO-TACASP3-T2A-TEVP时，以1014 VG ML-1的1014个病毒基因组（VG）注入AAV2/1-HSYN-CRE 1：1通过在1014个病毒基因组（VG）中注入1：1的慢性病变。在注射之前，将混合物在盐水缓冲液中稀释了五次。对照组使用了使用病毒AAV2/5-CAG-EGFP（3×1012 VG ML-1）的相同外科手术。对于所有慢性病变实验，在每个半球中以4或5个不同的深度在每个半球中进行4次注射（每次30 nL），以尽可能均匀地分布病毒并提供足够的覆盖范围。

　　用异氟烷（氧气为0.5-2.5％，1 L/min）麻醉小鼠，也用于维持麻醉。在手术前先皮下施用腕类（5 mg kg -1）。使用1毫米牙齿钻（Meisinger，HP3104001001004）制造颅骨型。坐标是从顶骨和额骨之间的冠状缝合线的外推交点进行的。这一点通常位于核桃的额叶略微，并且比章脑本身相对于大脑本身更具刻板印象。使用以下坐标：TS：1.8后部，3.45–3.55侧面，3.4-3.5深度；VS：1.0-1.1前部，1.65侧面，4.4-4.5深度；DMS：0.5后部，1.45侧面，-2.0深度。在注射系统中使用拉动玻璃移液器（Drummond，3.5英寸）在注射系统中输送病毒式注射，该注射系统与液压微型负电管（Drummond，nanoject III）在立体定位框架（Leica，Angle 2）上耦合，约为10 nl min -1。对于光遗传实验，我们使用了直径为200μm的平坦光纤（FOC-C-200-1.25-0.37-7）和直径为1.5 mm活性长度的锥形光纤（Optogenix，Lambda Fiber Stubs）的锥形光纤（Optogenix，Lambda纤维固态）。对于光度法实验，垂直植入扁平纤维（Doric镜头0.57NA，200或400μm，长4至7 mm），在Dlight1.1的注射位点的背侧0.1至0.15 mm。在任何实验中都没有使用八只针对TS记录的小鼠，因为初步研究表明它们具有TS44,45中未观察到的奖励反应。为了确认这些纤维在TS之外的八分之一的小鼠中，我们进行了串行的两光子显微镜，并确认在所有情况下，纤维都位于TS外。对于慢性-AP5插管实验，我们使用了26尺寸的指导插管（塑料一号，C200GS-5），这些插管被切为基座以下5 mm。我们将导向插管植入TS（坐标：1.82后部，3.55侧面， 3.0深度），然后用一个没有投影的虚拟套管（塑料一，C200DC）安装它们。所有植入物均使用轻固化牙齿水泥（3 M ESPE REYX U200）固定，该牙齿也用于固定头腰。在仅接受注射的小鼠中，伤口是缝合的（6-0，vicryl Rapide）或胶合（Vetbond）。对于光度法实验，小鼠的子集植入了TS和VS中的纤维，以比较这些区域中的信号如何在整个学习过程中发展。

　　对于麝香醇注射，在DMS和TS上进行了双侧颅骨开口，并立体定位地定位了头腰。与Bregma保持一致的地标允许将来在立体定向位置进行注射。通过用Duragel（Cambridge Neurotech）覆盖暴露的大脑，可以防止颅骨开口的关闭。头骨被Kwiksil（世界精密仪器）覆盖，该仪器在每次注射之前都被删除。在每次训练课程之前，将小鼠固定在醒着和30 nl的肌酚（Sigma-Aldrich）为0.2 mg ml-1或盐水分别进行实验和对照疗程，并与霍乱毒素B（cambridge Bioscience）共同注射，用于在组织学期间注射不同的痕迹。经过15分钟的时间，小鼠开始了训练课程。

　　对于慢性-AP5输注实验，我们将小鼠固定6分钟，然后使用上述方案在前两天将它们习惯在训练盒中。从第3天开始，我们使用内部插管（塑料一号，C200IS）在TS中以0.6 mm投影使用定制设置，在TS中施用了盐水或20 mm -Ap5（Tocris，0106）。在输注过程中，小鼠醒着并固定了头部，并在3分钟内接受了每半球20 mm -ap5的500 nL，随后是3分钟的等待时间，然后再缩回内部插管以再次被虚拟的插管代替。然后立即将小鼠放入行为框中以在听觉协议中训练。小鼠完成≥3,000次试验后，我们在下一组中均在两组中施用盐水。对于急性-AP5输注实验，我们让这些小鼠不输注训练，直到它们达到专家级的性能为止。然后，我们使用上述相同的方法在不同的会话中注入了盐水和-ap5，并在感知听觉的两种强制选择任务中测量了它们的性能。

　　对于多巴胺神经元消融，我们遵循参考文献中的方案。44。简而言之，我们首先注射腹膜内（10 mg kg-1），该溶液由28.5 mg desipramine（Sigma-Aldrich，d3900-1g），6.2 mg Pargyline（Sigma-Aldrich（Sigma-Aldrich）（Sigma-Aldrich，P8013-500mg），10 ml Water和NaOH和NaOH至7.4。随后，注入了溶解在盐水缓冲液中的小鼠接受手术和10 mg ml-1 6-羟基多巴胺的溶液（6-OHDA； Sigma-Aldrich，H116-5MG）。准备后，我们将溶液保存在冰上覆盖的冰上，并在3小时内注入。如果溶液变成棕色，则将其丢弃。对于控件，我们仅注入盐水缓冲液。对于所有操纵实验，将笼子序列分配到手术前的对照组或操纵组，这不是通过明确的随机过程来完成的。在实验之前，不使用功率计算来定义组的大小。实验者对小鼠是对照组还是操纵组没有视而不见的。

　　小鼠接受了致命的腹膜内注射（每10 g 0.1 mL），诱发无意识和死亡。一旦无反应，小鼠首先被磷酸盐缓冲盐水（PBS）灌注，然后是4％多聚甲醛（PFA）。将小鼠斩首，并在4°C下萃取大脑并将其固定在4％PFA中24至48小时。随后，将大脑存储在PBS中，直到进一步加工。

　　小鼠训练是在一个包含行为室的声音盒中进行的，该箱子由一个19厘米×15厘米的封闭舞台组成，其中3个端口位于墙壁（距地板1.95 cm，每个端口3 cm）中。为了更好地分开线索和动作并增加运动时间的变化，这三个端口被进一步分开以进行光度法实验。中心端口位于竞技场长侧之一的中间，选择端口位于较短的侧面。这些端口配备了LED，因此可以照亮它们，并且光伏红外传感器可检测POKE事件。可以通过每个侧端口输送水。港口是从Sanworks购买的，或者在房屋中建造的标准。控制芯片是从Sanworks购买的。室被专门用红外光照明。通过没有红外过滤器的标准网络摄像头对小鼠进行监测。声音是通过一个中央扬声器（Digikey：HPD-40N16PET00-32-ND）和放大器（Digikey：668-1621-ND）传递的。BPOD（Sanworks）用于控制状态机，该软件是使用MATLAB运行的。

　　COT任务是一个自我启发的两种选择范式。对于行为实验，通过打开中心端口LED来表示启动新试验的可能性。对于用于光度法的小鼠，该LED提示不存在。小鼠通过在中心端口戳戳并保持其位置100至300毫秒开始试验。经过所需的时间后，中央端口LED被关闭。在中心端口戳后0到50毫秒之间，触发声音，持续500毫秒。从中心港口戳出来后，对小鼠进行了训练，可以在两个侧端口中的任何一个中戳。仅在两个端口之一中输送了两个微量的水，这取决于刺激。

　　根据训练阶段的不同，错误的港口中戳了par倒审判。在训练的第一天，通过执行视觉版本的任务，将小鼠习惯于盒子和戳戳序列，在每个试验中，两个侧端口都供水。在训练的前3天，水量从5μl减少到2μl。所有的光度计记录均在初始习惯之日和奖励量减少之后开始，但是在小鼠的性能改善之前，就会超出机会。

　　对于任务的简单版本（不是心理测量值），我们包括了一个反偏置协议，迫使鼠标从两个端口进行采样。协议每十个试验示例错误试验的比例，并计算这些试验中端口选择的百分比，并在接下来的十个试验中调整目标端口，以克服与错误和偏见成比例地克服任何潜在偏见。因此，随着鼠标变得更加偏差并脱离鼠标，该协议会逐渐参与，如果鼠标变得公正。该协议仅在学习的初始阶段才活跃，因为它使用了错误试验的比例进行参与和校准。一旦小鼠成为专家，就进行了使用心理测量版的所有实验（在简单任务上的性能> 85％）。该任务的简单版本仅提供了最简单的试用类型，其中98％的音调来自两个八度音阶之一。对于心理测量实验，使用了七个高音调或低音调的比率。从训练开始时，试验类型是随机交织的，受上述反偏置方案的影响。

　　在光度计记录中使用了COT任务的几种变体。在结果价值变化实验中，意外的大奖励（6μl）和遗漏在两侧随机引入，每个概率为0.1。小鼠经历了该协议的多次会话，以获得每种类型的足够试验。

　　在预测的价值变化实验中，一个端口的值将100个试验更改为会议。该端口输送了6μL而不是2μL，而另一个端口仍输送2μL。小鼠进行了多次该协议的会话，并经历了双方的奖励规模。

　　每只鼠标仅进行一次状态变化实验。150次试验进行了一次训练课程，以前与记录纤维对侧选择相对应的声音已更改以进行白噪声刺激。这种新的白噪声刺激与原始的COT频率重叠。这种白噪声比背景白噪声响亮，可以清楚地检测到。需要小鼠对白噪声做出对侧反应以获得奖励。

　　为了测试多巴胺信号是否取决于存在的听觉刺激，在专家小鼠中省略了表明对侧转弯的声音（静音试验）。

　　在返回返回的任务中，声音表明在从任一侧端口而不是中心端口的返回时进行了对侧转弯。声音一直持续到鼠标返回并戳入中心端口或最多为2.5 s。如果鼠标在5秒内没有返回中心端口，则随后的试验将是经典的COT任务试验，声音播放到中心端口。

　　在经典婴儿床的结尾或返回会话中，对被动声音的响应总是经过测试。小鼠在训练盒中持续了10分钟，而所有三个端口都被定制的盖子覆盖。在此期间，以随机时间间隔（平均间隔5 s）和随机序列显示高频和低频声音或持续500 ms的白噪声。

　　声音由以100 Hz呈现的30毫秒纯音的流组成（在上一张后10毫秒引入了每种音调）。选择了两个八度音（5至10 kHz或20-40 kHz）的一个目标八度，以指示该试验中有水的侧端口。每个30 ms音调都会从每个八度的16个对数间隔频率中随机绘制。试验的难度是通过改变每个八度的30毫秒音调的比例来控制的。例如，在一项针对高音调的82％的试验中，对于每30毫秒的音调，有82％的音调从20-40 kHz八度的八度音调中发挥作用，而在5-10 kHz八度的试验中，有18％（100％ - 82％）的音调机会。这些概率是独立计算的，因此来自不同八度的两个音调可以同时听起来。声音的总体幅度在60到80 dB之间随机选择。被动暴露实验期间声音的幅度也为60-80 dB，声音持续时间为0.5 s。

　　使用经过精心校准的电磁阀将水输送到两个侧端口，以进行正确的选择。正如先前的研究表明，TS中的神经元对阀门有响应，请单击Noises45，对于光度法实验，我们将阀门放在训练盒外面，并使用声音绝缘泡沫将其掩盖。此外，我们在训练框中不断发挥安静的白噪声。我们用麦克风确认，通过这些预防措施无法检测到阀门点击。

　　使用465 nm和405 nm LED（Thorlab）的最大功率0.2 MW刺激荧光团。使用211和531 Hz的正弦曲线调节465 nm和405 nm LED振幅。405 nm的光落在本研究中使用类型的荧光团的同学点。这可以使信号与移动人工制品和Reaach进行分离，如Ref所做的。61。通过换向器（Doric镜头，FRJ 1×1 pt 0.15），通过Na 0.57的光纤从LED源传递到光纤维转移到贴片线（Doric镜头，FC-ZF1.25 LAF）。使用迷你立方体和光电探测器（Doric镜头）来收集信号。然后，信号传递给NIDAQ（国家仪器），并使用“统计分析”中所述的自定义Python脚本记录和分析。行为是用BPOD控制的，该BPOD在每个试验开始时将TTL脉冲发送到NIDAQ。

　　使用Basler ACA640-750UM USB 3.0相机在训练和录制过程中从上方拍摄小鼠。以30 Hz的形式获得视频，并使用NIDAQ同步获得光度法。为了易于分析，始终在同一盒子中对小鼠进行训练，并且相机从未移动。

　　在此实验中，我们使用了40 cm×40 cm方形的竞技场，并用环境光进行了实验。会议持续了30分钟。有关触发刺激的细节，请参见“光遗传操作”。

　　对于此实验，我们使用了50 cm×20 cm×28 cm（L×W×H）竞技场。允许小鼠探索设置20分钟，在此期间获取视频录像和光度计记录。

　　为了抑制D1或D2 SPN，在15-25％的试验中，随机选择，在小鼠发起试验后，持续的绿色（532 nm）光持续脉冲，始终在声音传递开始之前至少50 ms，并且持续时间更长，并且持续时间更长。在纤维尖端将光强度校准至12 MW。

　　在COT任务期间，对于多巴胺启动启动，每个疗程的第一个150次试验是没有刺激以获得基线行为的，随后，使用这些参数引入了刺激的试验：蓝色（473 nm）的光线从poking开始时交付的蓝色（473 nm）光，在poking时交付，在5毫秒的速度中持续150毫秒，在33 Hz of 4 hz of 4或8 mw intsitive art puls中持续150毫秒。对于状态实验，在中心端口单方面进行刺激以进行试验，在该试验中，该州预测了刺激半球对侧的运动。对于状态实验，每次小鼠选择该端口（正确且不正确的试验）时，在两个侧端口之一（在整个会议的整个过程中）双侧进行刺激（在整个会议的整个过程中），并在正确试验中与水结合。在这些实验过程中，未使用反偏置方案。为了测试对运动启动的影响，我们进行了与参考文献中类似的实验。9。我们将小鼠放置在一个空旷的场中，如果小鼠在500毫秒的4或8 mW强度下在纤维尖端测量的500毫秒的33 Hz处接受蓝色（473 nm）的光刺激（5 ms脉冲），则如果它们固定至少固定一秒钟。对于每个事件，都有50％的机会触发激光。未传递光的试验用作动物内对照。

　　在实验之前的三到四个星期中，在威胁实验中使用的所有小鼠均分别容纳。将小鼠放在带有白色不透明地板的竞技场（50 cm×20 cm×28 cm，L×W×H）中，可靠地跟踪深色涂层小鼠。在一端，竞技场包含由红色有机玻璃制成的矩形庇护所（10 cm×20 cm）。竞技场的另一端构成了威胁区（20 cm×20 cm），其中在计算机显示器（51 cm×33 cm）上显示了视觉刺激，该刺激位于竞技场上方，高度为30 cm。IR LED提供了竞技场的扩散照明。允许小鼠探索整个竞技场，包括庇护所至少7分钟，然后再进入威胁区时触发任何迫在眉睫的刺激。使用PsychToolbox和Matlab产生视觉刺激。一个迫在眉睫的刺激由五个高对比度扩展的斑点组成，该斑点在0.2 s（235°s -1）上从3°–50°线性扩展，并保持最大半径为0.25 s。点间间隙为0.4 s。在一个会话中向每只鼠标呈现了三个迫在眉睫的刺激。所有迫在眉睫的刺激试验都是为这些小鼠手动触发的。最小试验间隔为90 s。

　　数据采集​​是使用Matlab或Python和NIDAQ（国家仪器）中的自定义脚本控制的。如上所述刺激荧光团。使用IR敏感摄像头（Basler ACA460-750 UM USB 3.0）以每秒30帧的速度以每秒30帧的速度获取视频，距离竞技场70厘米，其地板上方70厘米。使用NIDAQ生成的TTL触发框架采集，该TTL也被记录并用于事后同步。实时刺激呈现术后使用光电二极管（Thorlabs apd430c），并在10 kHz处获得TTL触发器。

　　我们使用串行截面的两光孔64显微镜对固定的大脑进行了成像。我们的显微镜使用BakingTray通过ScaniMage Basic（Vidrio Technologies）来控制，这是一种定制软件包装器，用于设置成像参数（https://github.com/sainsburywellcomecentre/bakingtps，https://doi.org/10.org/10.5281/zenodo.36666609.99）。使用Stitchit（https://github.com/sainsburywellcomecentre/stitchit，https://zenodo.org/badge/badge/latestdoi/57851444）组装图像。注射和光纤放置的3D坐标是通过将大脑与Allen参考Atlas-Mouse大脑对齐（可从https://atlas.brain-map.org获得的），并使用brainreg65来确定，并使用自定义功能和brainrender和brainrender和Brainrender和Brainrender进行可视化。

　　按照相同的步骤对脑切片进行染色：在染色溶液（PBS+1％BSA+0.5％Triton X-100）中进行阻塞15分钟。将一抗（染色溶液中的1：1,000）在室温下孵育2-4小时，或在4°C下在摇摆下过夜。用染色溶液进行洗涤15分钟。在循环时，在室温下将二抗（染色溶液中的1：500）和DAPI在室温下孵育2小时。然后将切片在PBS中洗涤，并使用安装培养基安装。使用的原代抗体为NeuN（ABCAM，AB104225），酪氨酸羟化酶（Th）（Sigma-Aldrich，AB152）和GFP（Aves Labs，GFP-1020）（揭示表达戴光细胞）。所使用的二抗是Alexa-488抗小鼠（Invitrogen，AB_2534069），Alexa-567抗Chicken（Invitrogen，AB_2535858）和Alexa-647抗鼠（ALEXA-647抗兔（Invitrogen）（Invitrogen，AB_25355813）。

　　使用冷冻体切成30μm的冷冻体。选择定期覆盖整个纹状体的15至20片用于Neun染色。使用标准安装介质将切片安装在标准的载玻片中，然后使用20倍物镜在幻灯片扫描仪（Zeiss）中成像。使用ABBA（https://github.com/biop/ijp-rimagetoatlas）注册了Allen参考Atlas – Mouse脑（https://atlas.brain-map.org）的单个切片，并且根据Cortex的强度，根据Slice，自动阈值是自动阈值的。确定每个切片中纹状体中Neun染色的覆盖率，并确定为病变区域。

　　按照慢性病变的描述对大脑进行切割和安装，但染色以特异性标记多巴胺细胞过程。使用Axio扫描（Zeiss）成像切片。为纹状体，皮层和每个切片的背景绘制了感兴趣的手动区域。对于每个切片，在背景减法后将纹状体中的平均强度标准化为皮质，并计算了纹状体和皮层之间的相对强度。为了分析与性能的相关性，将数据在每只小鼠（后纹状体比/前纹状体比）中进行了归一化。由于缺乏消融，将一只小鼠从分析中删除（扩展数据图3J除外）。

　　省略了少于60次试验的会议，每个会话的前5个试验被丢弃，并且没有参与小鼠的试验（定义为具有该课程中位值的3倍的审判间隔的时间超过3倍）。总之，丢弃数据的不到2％。其余的试验按时间顺序排序。从分析中丢弃了没有学习任务的小鼠（最终性能少于55％）。在整个研究中，这总计为三只小鼠。

　　Python中Scikit-Learn软件包中的LogisticRegressionCV用于拟合任务心理测量版的数据。这仅用于可视化目的。

　　每只鼠标的前5,000次试验用于分析。为了计算单个学习参数，我们使用修改后的Weibull函数67,68对每只鼠标的性能进行了建模：最大性能定义为试验中位数的最大值，使用尺寸200的窗口进行了bin。使用Python中的Scipy软件包拟合参数（Optimize.Minimimize函数）。这些参数之间的统计差异是使用Scipy.stats.kruskal的非参数测试Kruskal – Wallis计算的。使用scipy.stats.linregress函数进行行为与病变大小的行为相关性的重要性。为了计算学习不同时间的性能差异，我们首先删除了小鼠对两个端口之一极为偏见的试验。如“行为程序”中所述确定偏差，并将极度偏见的试验定义为具有大于整个数据集的标准偏差的两倍的值。该校正不应用于计算观察到的差异的重要性。由于根本没有学习任务，因此除去了两只小鼠（一只实验性和一个对照）进行慢性病变实验，我们怀疑它们是聋的。此外，随着性能降至偶然，将去除一个对照和一只实验鼠标的最后两个会话。一只实验小鼠从多巴胺细胞消融实验中排除，因为病变定量没有消融（该小鼠的性能与对照相媲美）。在训练中的每个点，性能被定义为过去100次试验的性能。为了评估两组之间差异的重要性，使用100个试验的窗口对数据进行了归入，并计算了每组平均值之间的差异。为了生成洗牌数据集，实验标签（例如，病变或控制） 被随机分配给每只鼠标，始终保持原始数据集上的标签比例，并且组之间的差异以相同的方式计算。我们做了10,000次。使用相同的过程来分析双控制器模型比较中的数据。与洗牌组相比，数据集的全球意义被评估为同类人群在任何时候都不同的可能性。使用Pingouin包装中使用了混合的方差分析。

　　每个课程都包含数百个试验，七种试验类型，介于15％至25％的刺激试验之间。针对特定类型的300次试验的会议可能只有6（300×1/7×0.15）的刺激试验。在计算二元选择的比例时，这可能会产生较大的可变性，因为每个单独的试验都会产生很大的影响（在我们的示例中为17％）。为了评估由光学遗传操作引起的偏见的重要性，我们在每种未刺激的试验类型（高音调比例与低调的比例相比）的基线分布（1,000张港口选择比例），使用该试验类型刺激的试验数量相同。这产生了每种试验类型的潜在选择的自然变异性，并用于评估各个会话的偏见的重要性。每个会话的总偏差定义为所有试验类型的光刺激和未刺激试验之间的平均差异。仅选择了总共超过150次试验的会议进行分析。对于可以使用多个会话和刺激类型的数据的小鼠，我们选择了具有最佳性能的小鼠，这是鼠标对任务的表现的好指标，我们认为将提供最稳定的控制以将刺激的效果与之进行比较。从数据集中删除了3个会话，总共30个会话。包括所有会话或更改会话选择方法不会改变结果的重要性。使用Scipy.stats.kruskal的非参数测试Kruskal – Wallis计算每个组的统计显着性，比较了使用上述方差比较每个会话的观察到的偏置值与每个会话的随机偏采样值。该分析中只包括小鼠进行心理测量版本的会话。

　　使用自定义Python脚本将原始数据脱机解调，以产生与信号（465 nm）和背景（405 nm）通道相对应的轨迹61。然后根据参考文献中描述的方法处理数据。69。简而言之，使用中位过滤器和低通毛沃尔沃思滤波器（切断10 Hz）将解调的痕迹降解。将所得的信号和背景通道轨迹在0.001 Hz处进行高通滤波，以校正拍照。为了纠正运动人工制品，使用线性回归将背景通道数据拟合到信号通道数据。然后从信号通道组件中减去背景通道解释的信号比例，以便仅保留针对465 nm激发频率的信号。最后，通过将该信号除以基线荧光（使用低通滤波器滤波，以0.001 Hz的切断）来计算DF/F。所有痕迹均被Z得分，以便在小鼠和会话之间进行更好的比较。

　　使用Python封装峰值计算峰多巴胺反应，或者如果在给定窗口中找不到峰值，则通过取痕迹的最大值来计算。对于提示响应，窗口是在提示开始和进入选择端口之间的窗口。为了进行操作（APE）响应，窗口是在离开中心端口的时间和进入选择端口之间的。对于结果响应（用于结果值操纵实验中），窗口是在进入选择端口的时间到200毫秒之后的。由于VS多巴胺显然会降至省略的奖励，而不是计算峰值，因此该窗口中多巴胺反应的平均值被用作响应的估计值。

　　以下参考。12，我们构建了一个线性回归模型，以预测这次行为事件的每个时间点的光度法信号。在此模型中，预测的Dlight响应被计算为时间序列A，B等的卷积，代表不同的行为事件为0 s和1 s的序列，其中1 s代表行为事件的发生。这意味着，在时间t，预测的dlight响应g（t）由设置窗口内的时间随时间变化的加权总和给出。该模型可以表示如下：

　　在其中给出了移动的时间窗口，其中允许行为事件X影响预测的光度法信号。KA，KB等是行为事件的内核，或等效地，每个不同时间移动的事件的线性回归权重。当绘制为时间序列时，这些回归权重构成了由于给定的行为事件引起的Dlight信号的估计响应曲线。使用Python封装Scikit-Learn的线性回归函数估算这些回归系数。

　　从鼠标没有重复事件的试验中选择了行为事件（例如，没有反复在中心端口中戳头）。每个鼠标的模型是为TS和VS中的信号而随着学习而演变的。由于选择运动启动时间尚不清楚，并且可能在检测到头部从中心端口撤离之前开始，因此允许运动内核在事件发生前延伸0.5 s。由于运动持续时间比提示和结果响应更长，因此允许运动内核延伸1.5 s，而事件后的提示和结果内核窗口仅限于1 s。

　　每鼠的每节课进行了完整模型所解释的百分比差异的计算，然后在跨会话中平均。为了计算每个回归器所解释的百分比差异，重新计算了没有该特定回归剂的预测的Dlight信号，受参考的启发。70。然后计算出与真实信号相比的新预测的解释方差。最后，通过将整个模型Vfull的解释差异与解释方差进行比较时，通过将回归器从预测计算VPartial中删除，使用以下方程式来计算解释的差异的百分比差异。

　　尽管该方法确实给出了一个不错的比较度量，可以通过预测对每个回归器对数据解释的差异的贡献进行贡献，但如果没有该回归器的预测dlight信号在解释数据时的截距差，则可能会导致大于100的百分比。对于没有结果回归的一些VS录音，可以看到这一点。

　　在图2G中，全部光度法迹线用于估计全部模型和单个回归器所解释的百分比方差。由于任务是自定进度的，这包括没有行为事件的延长期。这可能导致低估了由任务解释的光度法信号的百分比。为了解决这个问题，所解释的百分比差异仅在有行为事件的光度法轨迹的部分重新计算，我们称之为“修剪”。此修剪仅在扩展数据中进行。图4M。

　　此外，我们探索了内核回归模型的行为事件，包括返回中心运动。这些事件是从鼠标时代开始离开选择端口的时间，并以“直接”路线返回中心端口。为了评估鼠标到中心端口所采取的路径的直接路径，我们使用了跟踪数据（请参见下文），并计算了从侧端口到中心的最佳路径与小鼠采取的路径之间的余弦相似性。具有余弦相似性≥0.9的返回向量与最佳矢量（在离开选择端口的前10秒内，或者在鼠标进入中心端口的前10秒内）包含在扩展数据中图4J，K中，并考虑将其包含在回归中。返回事件内核有一个窗口，从0.2 s开始，离开侧端口后1.5 s。选择这是保守的，以避免与下一个试验/先前选择运动进行交叉，并与任务中的选择运动相当，该任务的平均持续时间为0.68±0.53 s（IPSI）（IPSI）（IPSI）和0.68±-0.61 S（相反），为此，kernel窗口在离开端口后也扩展了1.5 s。

　　为了易于可视化和对齐，在扩展数据中的平均值图4J，k中仅包括短返回运动（≤1s）。

　　我们在正确的对侧试验中，从先前选择的正确对侧试验中进行了线性回归（使用StatsModels.api.ols）预测多巴胺反应的大小（选择时TS多巴胺，而在提示时与多巴胺相对于多巴胺）。我们包括了整个培训的数据进行此分析。正面回归系数意味着当前试验中的多巴胺信号较大时，当对当前试验中选择的侧面选择是针对过去的相同刺激的响应（过去X轴给出了多远）。负回归系数意味着，当选择对相同刺激的响应选择侧面时，多巴胺反应较小。对每个“滞后”进行了单独的回归（试验次数的回归价值数）。

　　使用DeepLabcut71跟踪小鼠的位置，并使用Python中的自定义脚本计算速度，加速度，角速度和角加速度等变量。由于自由移动实验的视频以微小的角度拍摄，因此使用自定义Python脚本将坐标转换为标准空间。在COT任务期间拍摄的视频是从上面拍摄的，因此不需要这种转换。使用鼻子作为标记来计算速度和加速度。对于角速度和加速度，用鼻子形成了一个三角形，两只耳朵和一条线从两个耳朵标记之间的线绘制。从鼻子到头部后部的这条线被视为鼠标的标题方向。使用累积角速度计算转弯角。在任务中，0°定义为小鼠离开中心端口时的角度。为了计算任务中的最大转弯角，对于声音发作和输入选择端口之间的每个试验的累积角速度，sigmoid曲线拟合到累积的角速度。然后，将Sigmoid的上部平台（最大拟合累积的角速度）视为试验的转弯角。

　　为了确定多巴胺反应的转弯角度和大小之间的粗糙关系，根据小鼠离开中心端口并进入选择端口以进行对侧选择的小鼠之间的多巴胺响应大小，将试验分为四个分位数。使用从多巴胺响应的大小中产生的分位数将转弯角分开。在每个阶段的每个鼠标的平均分位数转弯角度和平均分位数多巴胺响应之间，安装了一个回归坡度（使用python packagy scipy的函数统计信息）。然后将拟合斜率与拟合斜率进行比较，如果将X和Y的位于X和Y的斜坡进行洗牌。将数据改组为100次，并将实际数据中的拟合斜率分布与洗牌分布进行比较。

　　在自由移动的实验中，转弯被定义为角速度超过±0.5 s.d的阈值的时刻。需要转弯至少持续0.06 s，并且只有在上述或随后的0.5 s中没有其他转弯时才包括进行分析。然后使用转弯开始时的头角来定义0°转弯角，并使用此时间点的累积角速度确定转弯角。

　　为了调查转弯角度和速度的变化是否可以解释TS多巴胺响应大小的减小，图3中的试验号，对于每只鼠标，我们构建了一个线性回归模型，可预测所有试验的多巴胺响应大小，从速度和转弯角度开始。从每次试验的实际信号中减去所得的预测信号，然后再对对数试验号的残差进行回归。为了计算速度，转角和试验数的相对贡献，我们还建立了一个带有所有三个预测指标的回归模型，以估计所解释的各个方差。

　　为了量化每个会话的偏见，我们计算了前150个试验（刺激前）与随后的试验之间的选择差异，只要有100多次试验。从分析中删除了小鼠对任何一个端口的初始偏置大于2：1的会话。如果在相同的刺激条件下为同一小鼠存在几个会话，我们将偏差平均，以便我们每个条件只有一个观察结果。我们使用非参数两侧Wilcoxon标志统计量（Scipy.stats.wilcoxon）来计算观察到的偏见的重要性。

　　对于开放场刺激，我们将小鼠的速度计算为每个帧中鼠标位置之间的差异，并用大小5的内核进行平滑目的。考虑到小鼠移动的总阈值是通过经验确定的，但所介绍的结果在测试的大量值范围内是不变的。即时速度被计算为从运动开始到300毫秒后的平均速度。平均运动是从刺激到5 s后计算的。我们在两个相关样本（如上）上使用t检验来评估每个参数的重要性。

　　数据分析的灵感来自参考。72。在此分析中考虑的多巴胺反应是对TS的VS和运动一致响应的奖励反应。多巴胺反应分别大于或小于第65个百分位数，将多巴胺反应分为大还是小。对于当前试验中每个感觉不确定性级别的大型和小型多巴胺反应，计算了对侧选择百分比的平均变化（这对应于“行为程序”中所述的音调云的不同百分比混合物）。进行了逻辑回归（使用STATSMODELS.API.LOGIT）来研究当前试验中先前试验，感知不确定性和选择（重复或转换）的多巴胺响应大小之间的关系。

　　对于此分析，我们使用了任务心理测量版本的数据。需要小鼠满足某些行为标准，以包括其数据：主观平等点的心理测量曲线斜率以测量边缘的灵敏度和偏见（“易于”试验）。偏差是通过在两种简单试验类型上正确正确的百分比差异来计算的。需要小鼠的斜率≥1，并且要包括一个偏差≤0.09，这是小鼠学习任务的程度。这确保了分析中的所有小鼠的行为相似，刺激之间几乎没有偏见和强烈的歧视。

　　对于此分析，遵循Lak等人72，仅包括小鼠做出正确选择的试验。请注意，由于在运动开始和奖励交付之间采取了尾巴的反应，对于含糊的试验（高和低），小鼠在此时间点没有信息的信息。因此，包括所有此类试验。

　　对于VS小鼠，使用多巴胺奖励反应，因此只能使用正确的试验。对于TS，除了模棱两可的刺激以外，所有刺激都使用了正确的试验。对于模棱两可的刺激，使用了正确和不正确的试验。在奖励交付之前，将TS多巴胺反应与运动保持一致。

　　我们在选择时进行了当前试验TS多巴胺响应与当前试验和随后试验的轨迹之间的Fréchet距离之间进行了线性回归（使用StatsModels.api.ols）（这提供了两个轨迹之间的相似性，这些轨迹衡量了两个轨迹之间的相似性，这些轨迹在曲线沿曲线沿曲线的位置和较高的相似度指示了两个轨迹，并指示了两个轨迹。递归计算Fréchet距离。

　　对于在学习的不同点进行了光电抑制作用的实验，小鼠只做了最简单的任务版本（刺激是高音调的98％或低调的98％）。每个会话的最初20个试验都被丢弃，并且选择比例的基线分布和会话偏差的计算如上所述。由于在此任务的此版本中，小鼠进行了接近完美，因此我们仅在分析中包括了预期发生偏见的端口的选择，与我们先前的结果一致（在未刺激试验中始终选择对侧端口的试验中，不可能测量任何积极的对侧偏见，在该试验中，我们无法测量任何正面偏见）。小鼠全部都是双侧植入的，并且每天训练刺激的植入物是交替的。我们仅在分析中包括了至少导致一个显着偏见的植入站点（p <0.05，计算如上所述）。从17分的分析中除去了4个植入物。为每个植入物完成了回归模型，并计算了每个基因型的平均斜率。全局结果的重要性是针对随机数据集评估的，该数据集是由与每个会话相关的性能值的洗牌产生的。P值的计算为“随机斜率”的比例较大（D1-ARCH和A2A-ARCH的负面和正对侧偏差分别为负和阳性）。

　　RL模型使用了具有软马克斯（反温度= 5.0）策略选择的Actor-Critic框架。该模型使用了半马多夫状态表示，以前引入了BY74来捕获实验任务中常见的多巴胺的时间表变化。在半马尔科夫形式主义中，代理商跟踪其当前状态以及在该状态内的“住宿时间”的代表。然后，只有在国家过渡发生时才更新演员，评论家和刺激 - 行动的优势。它具有额外的优势，即模型中的状态直接对应于任务的审判内部行为阶段，同时允许时间表示时间。这种形式主义以前曾在具有可变时间的任务中的多巴胺信号建模为75,76的任务中，它使我们能够以比以前的其他研究更现实的方式对多巴胺的时间过程进行建模，而多巴胺的时间过程通常是在任务的行为阶段中经常假设每个时间点是一个独立状态的行为阶段（请参阅参考文献77，请参见参考）。

　　状态包括开始，高音调，低调，结果以及与每个声音和动作配对的每个动作时间相关的动作状态（为了与数据匹配以匹配数据）。动作由左，右，中间和空闲组成，以表示要进入左，右和中心端口的运动（而不是采取行动）。当代理在上述状态之一之间移动时，发生了状态过渡，例如开始状态到高调状态。这种行为是对小鼠的自节奏，有时在试验之间的时间上有多秒钟的变化。评论家的尺寸为1×N州。演员具有尺寸n状态×n动作。非值依赖性模型具有尺寸n状态×n动作。

　　根据该州的停留时间，将RPE按照半马尔可夫代表所需的近似时间折扣74进行缩放。RPE在每个状态过渡K中计算为

　　在新状态下收到的奖励是每个时间步的平均奖励，也是在过渡之前花费的时间。通过查看最后一个N（我们模型中的n = 500）状态过渡中的平均奖励。

　　然后使用RPE信号更新评论家的价值函数：

　　并以类似的方式更新了Actor刺激值函数：

　　α和β都是设置为0.005的学习率。

　　如参考。74，然后将RPE信号视为在哪里，如果在哪里。设置为0.2，代表多巴胺的基线水平。

　　在状态转换处，非价值依赖模型计算了APE（请参见扩展数据图6B，以查看模型任务中的全套动作和状态），因为根据方程，鉴于刺激的动作，AK和刺激动作强度之间的差异

　　对猿进行了校正，从而导致猿类向量的一个分量为非零，基本上提供了标量更新信号。这种纠正也可以更好地匹配数据，因为在作用时从未观察到TS多巴胺中的下降。重要的是，这种纠正并没有改变算法的一般特性。然后使用猿更新刺激 - 表现配对强度：

　　ε是形成刺激 - 行动关联的速率，除了预测的值变化实验模拟外，所有模拟的速率设置为0.01，该模拟设置为0.001，以模仿无值控制器应如何缓慢更新。对于其他模拟，这与我们旨在显示更改APE和RPE信号的方向，而不是其更新的相对速率（扩展数据图8）。

　　每当老鼠重新审视以前访问过的州时，都会增加计数器，以跟踪访问该州的次数：

　　这被用来计算新颖性n，该n在暴露于状态的情况下呈指数衰减。

　　显着性L被计算为国家的价值和新颖性的加权组合：

　　在上述方程式中，分别设置为0.01和0.5。

　　在所有模拟中，除了模拟先前选择对随后多巴胺反应的影响（图3i，l）之外，软最大值的反度次数设置为5.0。对于图3i，将其设置为0.5，以更好地捕获小鼠行为的探索性质，并确保在整个学习过程中都有足够的试验。

　　多巴胺的运动模型包括一个载体，其长度等于可用的动作数量。采取动作时，将向量中的相应元素设置为1。其他所有元素均为0。

　　在所有多巴胺光度法信号的候选模型中，学习率和常数均不适合以匹配用于学习实验数据中所见任务的试验数量，因此应将趋势解释为一般模式的近似值，而不是确切行为的模型。

　　我们模拟了一个具有两个状态的任务（第一个元素s = 1，对应于低音调，第二个元素，s = 2，对应于高音）和两个动作（第一个元素对应于右，第二个元素对应于左，a = 1或a = 2）。我们对两个并行系统建模，一个用于由RPE更新的基于价值的控制器，其中有两个组件，一个演员和一个评论家。第二个系统具有由APE更新的无值控制器。基于值的控制器和无价值控制器中的参与者被建模为重量矩阵（维度2×2），该权重矩阵从感觉状态投影到可以采取的两个可能采取的两个可能的动作，这些矩阵中的权重被注明为和。基于值的控制器中的评论家被建模为2×1矩阵，每个感觉状态都投射到矩阵中的一个单元格。每个试验的输出计算为重量矩阵×状态输入，即，也就是。

　　为了计算模型采取的实际操作，我们首先计算由两个控制器的输出之和预测的动作。添加了一个额外的噪声项（从0到1之间的均匀分布绘制）：

　　与最大值相关的动作是模型采取的动作A（对应于鼠标的选择），即。

　　该模型获得了奖励，r = 1，如果采取的动作的索引（a）对应于奖励的动作（此处为r = 1，如果：s = 1和a = 1或a = 1或s = 2和a = 2）。

　　然后，我们计算了RPE和APE信号。对于RPE信号，我们首先计算了评论家的预测价值。然后，我们将奖励预测错误计算为

　　为了计算APE并将其表示为标量值，我们首先将瞬时预测的动作向量二进制：，使得与最大值相对应的索引为1和0。然后，我们将预测的动作（在0处初始化）计算为该二进制选择向量的低通滤波器：

　　有一个时间常数。然后根据采取的动作计算猿。

　　最后，我们对三因素学习规则的函数更新了和权重，该规则包括感觉状态，所采取的动作（即基于价值的演员和无价值控制器，都会收到所采取的动作的效率副本）和当前试验中的APE/RPE信号：

　　其中β= 0.02是学习率；

　　其中α= 0.04是一个学习率。

　　重量是通过两因素学习规则更新的，该规则包括当前试验中的感觉状态和RPE信号：

　　演员的RPE权重还以一个时间常数为1的稳态值为1：

　　将重量和权重为正并初始化为1。将值初始化为0，并且也被限制为正。

　　我们模拟了100次试验。试验持续了1,000个时间步长（灭活2,000个）。为了绘制性能，我们低通用时间常数为上午10点，从0.5开始过滤奖励。在时间30、100和1,000时进行灭活，然后将（用于RPE系统）或（对于APE系统）设置为0，重量不再是塑料。对于心理测量曲线，我们将难度D级别从0变化为1，并设置了第一个元素和第二个元素的元素。对于TS多巴胺刺激模拟，我们将APE信号加倍。

　　有关研究设计的更多信息可在与本文有关的自然投资组合报告摘要中获得。