算法黑箱

1. 专家解读《互联网信息服务算法推荐管理规定》

为规范互联网信息服务算法推荐活动，维护国家安全和 社会 公共利益，保护公民、法人和其他组织的合法权益，促进互联网信息服务 健康 发展，近日，国家网信办等四部门联合发布《互联网信息服务算法推荐管理规定》（以下简称《规定》）。《规定》有哪些创新亮点？又有何重要意义？本文邀请专家为你解读。

许可

对外经济贸易大学数字经济与法律创新研究中心主任

“算法协同治理”的中国道路悄然成型

随着信息技术的发展、商业应用的演进和政府管理的迭代，我们已经进入到了一个“算法 社会 ”。其中，算法为我们规划道路，为我们筛选搜索结果，为我们选择朋友，甚至还能为我们打出 社会 信用分值，或者决定我们能否出行。在某种意义上，算法决定了我们是谁，我们看到什么，以及我们如何思考。

正因如此，新年伊始出炉的这个《规定》才显得意义重大。从去年年初的研究酝酿，到去年10月份的征求意见，再到新年的正式发布，中国对算法推荐服务的治理路径也日渐清晰，“算法协同治理”的中国道路悄然成型。

一方面，算法协作治理是各监管机构的协作。 作为一个通用技术，当今的算法不但是一种商业活动，也是一种 社会 建构。算法的复杂性使其治理必须依托于多个监管机构的分工合作。与征求意见稿相比，正式稿第三条特别明确了“国家网信部门负责统筹协调，国务院电信、公安、市场监管各自监督管理”的监管框架，将保护消费者与 社会 公益的监管与攸关企业经营活动的监管相结合，使得算法治理成为国家网信办与其他机构共同的合作事业。

另一方面，算法协作治理是技术、法律和 社会 规范的协作。 算法的底层是技术，正所谓“解铃还须系铃人”，对于算法黑箱、算法歧视等痼疾，需要从技术入手为算法安全内生机理、算法安全风险评估、算法全生命周期安全监测提供科学依据，就此而言，行业标准、行业准则、行业自律是治理的优先工具。同时，算法并不中立，它始终带有算法开发者与使用者的价值立场。为此，正式稿第一条开宗明义，将“弘扬 社会 主义核心价值观”作为首要的立法目标，鼓励使用算法传播正能量、抵制违法和不良信息，不得设置诱导用户沉迷、过度消费等有违伦理道德的算法模型，推动算法向上向善。

作为全球“第一部”全面规范“算法推荐”的法规，《规定》的影响深远。但是，这只是中国算法治理的“第一步”，放眼未来，一系列算法法律文件正在起草之中，我们期待着治理机制健全、监管体系完善、算法生态规范的中国算法协同治理格局早日形成。

方禹

中国信息通信研究院互联网法律研究中心主任

科学构建算法综合治理体系

近年来，新一轮 科技 革命和产业变革快速兴起，人工智能、云计算、大数据等新技术新应用新业态方兴未艾。作为人工智能的底层架构，算法被广泛应用于新闻传媒、电子商务、生活出行等千行百业，在极大提升 社会 生产效率、丰富公众生活形态的同时，也为公众利益、 社会 稳定和国家安全带来巨大挑战。《规定》准确把握“时间差、空白区”，强化信息服务领域算法推荐技术治理，科学构建了算法综合治理体系。

第一，明确了算法治理体制机制。 算法治理涉及信息内容管理、电信服务、网络犯罪、市场竞争等多方面内容，对此，《规定》确立了网信部门统筹协调，电信、公安、市场监管等有关部门依据各自职责负责的综合治理格局，形成有法可依、多元协同、多方参与的治理机制。同时，《规定》创新性构建了算法安全风险监测、算法安全评估、 科技 伦理审查、算法备案管理和涉算法违法违规行为处置等多维一体的监管体系。

第二，明确了算法推荐服务相关保护法益。 落实《个人信息保护法》、《数据安全法》等立法要求，《规定》针对算法歧视、算法霸权、算法黑箱等问题进行回应，重点从三个层面维护用户权益：一是维护个人自主权益，规定算法透明度和用户自主选择机制，要求应当以适当方式公示算法推荐服务的基本原理、目的意图和主要运行机制等，并规定了退出算法推荐、用户标签管理、算法说明解释义务等内容；二是维护用户平等权益，规定不得利用算法在交易价格等交易条件上实施不合理的差别待遇等违法行为；三是维护特殊群体权益，包括未成年人网络沉迷问题、老年人智能适老化服务、劳动者劳动权益保障等内容。

第三，将算法监管纳入网络综合治理体系。 当前，我国以《网络安全法》《个人信息保护法》《数据安全法》等立法为基础的网络法律体系初步建成，逐步形成较为完备的法律工具箱机制。《规定》以上述立法为依据，将算法监管纳入网络综合治理体系，建立了算法备案、巡查、评估等法律义务，强调企业风险责任意识，要求健全算法安全管理组织机构，加强风险防控和隐患排查治理，提升应对算法安全突发事件的能力和水平，科学构建了网络平台责任体系。

总体来看，《规定》聚焦重点、抓纲带目，有效落实了党中央关于压实网络平台主体责任、加大舆论引导力度等方面的治理要求，对于推动算法 健康 有序发展提供了坚实法治保障。

2. 可解释AI，如何打开算法的黑箱

随着以机器学习为代表的新一代人工智能技术不断朝着更加先进、复杂、自主的方向发展，我们的经济和 社会 发展都纷纷迎来了变革性的机遇。但与此同时，AI算法的透明度、可解释性问题也为公众信任、公共安全等诸多领域带来了前所未有的挑战。

1月11日 14日，“腾讯 科技 向善创新周”在线上举办。“透明可解释AI——打开黑箱的理念与实践”专题论坛即聚焦于此。论坛发布了《可解释AI发展报告2022》，随后由专家学者（见文末）共同参与了圆桌讨论。以下为整理文章：

可解释AI的概念共识

姚新：

大家在讨论AI算法的透明性和可解释性的时候，首先应该考虑三个W的问题——Who，What和Why的问题。

首先，到底是对谁讲透明和可解释？因为从科学研究来说，任何一个研究都必须透明，都必须可解释，否则这个论文是发不出来的。所以我猜过去讲透明性和可解释性，可能不是对科学家来说的可解释性或者透明性，因为对科学家的透明性和可解释性，不一定对大众透明和可解释。第二是解释什么？解释模型做出来的结果还是解释这个模型的工作原理。第三，解释总是有一个目的，目的是要追责还是理解这个模型的科学原理。

根据对这三个W不同的答案，会得出非常不一样的透明性和可解释性，相应的解决办法可能也完全不一样。不管怎样，考虑透明性和可解释性的时候，首先大家要有一个概念上的共识，使得我们知道我们是讲同样一件事情，而不是用了同样一个名词，大家在不同的抽象层次讲不同的问题。

吴保元：

可解释是可信AI的重要组成部分，是可信的前提条件之一，但是相比于鲁棒性、公平性等可信特性，我觉得可解释不是独立存在的概念。就是姚老师刚才提到的，我们到底在解释什么？其他的特性都是有自己明确的数学定义，比如鲁棒性、公平性等，但是可解释性是没有的，因为我们单独提到它的时候，背后默认的更可能是对模型准确度的可解释性。或许这也可以解释为什么当前的可解释研究思路这么多，但是好像没有一个明确的框架，我觉得最主要的原因是它的解释对象不一样，没有办法统一到一起。

基于这种理解，我个人有一点小的想法，不应该把它称为可解释性，把它称为可解释力或许更准确。可解释性，大家可能误认为它是一种独立存在的性质；可解释力是一种可解释的能力，就像我们说的理解力、领导力等等，它是一种手段，一种行为，一种操作存在，需要跟别的绑在一起。我觉得以后提到它的时候，应该准确地描述它是针对什么特性的可解释力，而不是笼统地说可解释性如何。

可解释AI的价值何在？

朱菁：

人们对于人工智能系统可解释性、透明性的要求，大致有四个层次：

第一个针对的是直接用户，用户需要了解人工智能产品、服务背后的原理是什么，这是建立可信任AI的重要基础。可解释AI，实际上支撑了可信任AI。

第二个层次，对于政策和监管部门，他们希望通过解释原理来了解人工智能产品的公平性、可问责性，归因的过程是我们进一步问责、追究责任的基础。所以，可解释AI也与负责任的AI、可问责的AI是联系在一起的。

第三个层次就是技术工程与科学层次，我们希望了解为什么某些算法能够成功，它成功背后的奥秘是什么，它的应用范围是什么，它能否在更大的范围内使用这样一些算法或者是一些技术。

第四个是公众理解AI，如果 社会 大众大多数关心的话，他也能够在这方面了解相应的技术、系统大体的工作原理方式是什么。

何凤翔：

在现在的AI系统中，其实很多算法背后运作机制是未知的，是不清楚的，这种未知带来了未知的、难以管理的风险，包括安全性、鲁棒性、隐私保护、公平性等等。

这些点关系到了 社会 运转中非常关键、人命关天的领域，比如医疗、自动驾驶。这会带来很大的应用方面的困难，以及 社会 对AI的不信任。因为当AI算法运作机制是未知的时候，它的风险机制、风险大小、风险尺度就是未知的，我们就难以去管理风险，进而去控制风险。

可解释AI的挑战何在？

姚新：

原来我一个学生跟我做了一点关于公平性的工作，跟其他的文献发现的点非常一致，就是说模型的准确性和公平性之间是相互矛盾的。性能最好的模型从公平性的角度来说，按指标来测量不见得最好，你要把模型做得都是最公平，用指标来衡量的话，它的性能就会受到损失。实际上可解释性非常类似现在有各版的可解释性指标，但是要真正考虑这些指标的话，模型的性能总是会掉下来，要考虑在实际过程中怎么来找一个折中的方案。

吴保元：

针对可解释性本身的不可行、不可取，这也是值得我们思考的问题。比如说我们在研究犯罪率或者说疾病的传播率、发病率等，如果我们就拿现成的统计数据，比如在不同种族、不同地域采集的数据，很有可能会得出来某些种族或者某些地域犯罪率很高，这是因为数据采集的时候就是这样的。这样一来，如果可解释给出的类似结论被公开，可能会造成种族或者地域歧视。但实际上数据背后是我们在采集的时候没有采集其他特性，比如说为什么这个地域的传播率很高呢？很有可能是政府投入不足，或者说其他的因素。

所以这也启发我们可解释性本身它的可信性是什么，它的准确性，它的公平性，它是否忽略了某些特征，或者夸大了某些特征，它的鲁棒性，是不是把样本变化一点，它的可解释性截然相反，这些需要我们进一步思考。

另外，我跟很多研究可解释的专家聊过，他们的困惑在于现在的可解释性方法是不可印证的，甚至是矛盾的，这就引出了可解释性方法本身的可信度的问题。

何凤翔：

在我看来，理解深度学习算法的运作机制，大致有理论和实践两条路径。在理论方面，当前的研究无法完全解释理论上泛化性较差的深度模型为何能在多领域取得如此的成功。这种理论与实践的矛盾，就像曾经物理学中的乌云一样，反映出来了人们对于机器学习理解的缺失，而这是现在在理论上提升算法可解释性的一个难点。

而在实验角度上，很多实验学科中的做法可以作为对于机器学习研究的启发，比如说物理学、化学，以及刚才提到的医疗。比如说药物研发流程中的合格检验，要做双盲实验；在物理学、化学的研究中，对控制变量实验有严格要求。类似的机制是否能在AI研究中严格执行呢？我觉得这可能是另外一条路径。在我看来，现有的很多对于AI算法的解释是启发式的，而在关键领域中我们需要的是证据，这需要在理论和实验两方面做很多工作。

可解释AI如何实现？

朱菁：

前面很多专家都指出对于解释有不同的目标，不同的对象，不同的要求，所以实际上关于人工智能的可解释性问题可能是属于多元性的，就是要允许有多种不同层次不同方式的解释在这里面起作用，针对不同的领域、不同的对象，使用不同解释的方式。

当可解释性有它的局限或者和其他的目标、要求，需要做出权衡取舍的时候，我们想也可以从多个层面来进行替代性的，或者说是补偿性、补充性的策略。比方说针对监管部门，它对于可解释性的要求，和面向公众或者专家层面的，会有所不同，所以这个可以通过若干个层次，比如说监管部门的，行业的，市场的，以及传播普及层面的，对于安全性、鲁棒性要求更高一些，或者在专家层面上有更好的沟通理解，而对于 社会 公众而言，这里面就需要有一些转换，同时有需要一些权威部门，有公信力的部门，向 社会 做一些说明和认定。

姚新：

深度神经网络可以解决特别复杂的问题，我觉得现在大家用深度网络有一个原因，即所针对的问题本身可能就比较复杂。这是一个假设。假如这个假设是对的话，那么相应的可解释性不会特别好理解。因为需要对付这些复杂性，相应的模型就必然是要复杂。

所以我总觉得透明性、可解释性和性能之间是有一个固有的矛盾，如果现在把从技术上讨论的方向，是怎么找一个折中方案，根据不同的场景、可解释的目的，找不同折中方案，这样导致有可能会出来一些比较具体的技术，或者可以促进这些技术往落地的方向走。

吴保元：

我们尝试过一些从技术上可行的方案去量化各种可信特性，但是，要实现统一量化很困难，比如说公平性和鲁棒性都有不同的量化准则和指标。当把不同的特性简单组合到一起的时候很难优化，因为它们的准则是高度不对齐的，差异非常大，这就涉及怎么去对齐这些特性坐标。我认为想要找到一个全局坐标系是非常困难的。我们可以从局部出发，针对某种场景，比如医疗场景，首先把隐私性当做前提，在金融或者自动驾驶，我们把鲁棒性当做前提，然后再去研究其他特性，或许一步一步能够找到这种坐标系。

可解释AI的技术现状？

郑冶枫：

总体来说，因为我们现在还缺乏非常好的理论框架，所以可能针对问题，我们创造性地想一些算法，试图提高本身这个系统的可解释性，给大家举两个例子来说明一下我们天衍实验室在这方面的 探索 。

深度学习可能有千亿、万亿的参数，这对于医生来说太复杂了，他很难理解这个算法的底层原理，算法本身可能缺乏一个全局的可解释性。但是深度学习框架准确率非常高，所以我们不可能不用。而可解释性非常好的模型就是回归模型，这类模型主要的问题就是准确率太低。所以我们做了一个 探索 ，我们希望把这两个模型结合起来，它具有非常高的准确率，还有一定的可解释性，不是完全可解释性。

我们把这个混合模型用于疾病风险预测，就是根据病人历次的就诊记录，我们预测病人在未来6个月之内得某个重大疾病的概率，比如他得卒中的概率。病人每一次的就诊记录包含大量信息，这里面我们需要提取一些跟预测目标相关的重要信息，我们知道生物学习网络最擅长的就是自动特征学习。所以我们利用深度学习网络把一次就诊记录压缩成一个特征的向量，接着我们利用回归模型，把病人多次就诊记录综合起来预测未来6个月之内这个病人得脑卒中的风险。

杨强：

我们在审视各个算法和它对应的可解释性的关联问题上，发现一个有趣的现象，比方说在机器学习里面，深度学习就是属于效率非常高的，但是它却对应的可解释性很差。同样，线性模型没有那么高，但是它的可解释性相对强一些，树状模型也是，因果模型更是这样。所以往往我们确实得做一个取舍，就是我们在可解释这个维度和高效率这个维度，在这个空间里面选择哪一个点，现在并没有在两个维度都高的这样一个算法。

可解释AI的行业实践

郑冶枫：

各行业对可解释性和透明性的要求不同，我结合医疗AI这个场景给大家分享一下我的体会和理解。大家知道医疗在全世界范围内都是被强监管的领域，一款医疗产品要上市必须拿到医疗器械注册证，辅助诊断算法AI产品属于三类医疗医疗，也就是监管最严格的级别，所以我们要披露的信息很多，大致包括数据集和临床算法验证两方面。前者主要强调数据集的公平多样性和广泛覆盖性，后者则重视披露我们的算法真正在临床试验中、真正临床应用的时候它的性能。

此外，我们的测试样本也需要有很好的多样性，覆盖不同医院，不同区域，不同病人群体、厂商、扫描参数等等。临床实验更加严格，首先我们要固化算法的代码，在临床试验期间是不能改代码的，因为你不能一边做实验一边改代码，这就失去了临床试验的意义。

所以医疗AI的监管是非常强的，药监局需要我们披露很多信息，提高医疗AI产品的透明性，它有非常严格甚至苛刻的书面要求。因为我们知道智能学习网络天然不具有很好的解释性，虽然你可以做一些中间增强，可以一定程度上改善这些事情，监管也可以理解这个解释性差一点，正因为解释性差，要求的透明性就越高。

何凤翔：

我觉得提供AI系统的说明书有两个路径：第一个路径从生成AI系统的过程出发。这一点现在有一些实践，比如开源代码，说明使用了什么数据，数据是如何使用的、如何预处理的。这会提升人们对AI的信任和理解，这也像刚才郑老师提到，申请医疗相关的资质的时候，我们需要把生产细节汇报给相关机构。

第二种方式就是从生成的AI系统所做出的预测以及决策的指标来入手做算法的说明书。比方对AI系统做一些测评。对于刚才我们提到的指标，包括可解释性、鲁棒性、准确性、隐私保护、公平性，找到一些比较好的量化指标、找到一些评测算法，把这些指标作为AI系统的使用说明书。

可解释AI的未来发展

杨强：我期待在未来人工智能的治理，在人工智能，人和机器这种和谐共存，共同解决我们要解决问题的前提下，会越来越成熟。我是非常看好这个领域的。

朱菁：我期待这个领域进一步的探讨，不同领域的学者都能够参与进来。比如说像我自己做的主要是哲学， 科技 哲学。在 科技 哲学，实际上对于解释有将近一百年的积累和 探索 ，这里面应该有很多可以发掘借鉴的资源，参与到目前这样一个很有意思很有挑战性的话题里面。

何凤翔：AI本身是一个跨学科领域，它可能会用到很多数学、统计、物理、计算机等各个知识的领域，今天提到的很多点，包括隐私保护、公平性，很多也是来源于人文学科、法律、 社会 学这些方面。所以这就意味着研究可信AI以及可解释性等等方面会需要各个学科领域的人合作起来一起去做的一件事情，会非常需要大家的通力合作，共同推进这个领域的发展。

姚新：对于做研究来说，我希望将来可以有一点聚焦的讨论。我刚才讲的3W，到底我们要解决透明性、可解释性的哪一部分，对谁而言。假如对医疗而言，是对法规的制定者来说还是对医生来说，还是对病人来说，还是对这个系统的开发者来说？我觉得在这里面有非常多可以发挥自己的想象力和能力的地方。

郑冶枫：对算法人员来说，当然我们希望将来科学家们找到非常好的，具有良好可解释性，同时准确性非常高的算法，真正做到鱼和熊掌兼得。

3. 算法管理：组织管理转型、企业高效决策的制胜利器

以下文章来源于蜜蜂学堂

“小李，你本周的表现非常出色。您的销售额增长了70％，从而帮助你的团队在排行榜中取得第一的好成绩。但是你仍然有很多开放的机会，所以请继续努力哦！” 

接收绩效反馈有助于员工成长，它鼓励学习并奖励良好的表现。  但是，如果是算法提供反馈而不是人，该怎么办？这就是组织中算法管理的基础。

什么是算法管理？

算法管理是通过算法对员工进行战略跟踪、评估和管理。组织通过算法接管了过去由管理者执行的任务。

这种管理创新在零工经济中尤为常见。 例如，Uber，Deliveroo和UpWork之类的平台使用算法来管理和密切监视其全球员工。

算法给员工分配任务并评估其绩效。他们还提供反馈和有关如何提高绩效的建议。

但是，使用算法管理员工慢慢地不再局限于零工经济。传统组织越来越发现提高效率和以数据为依据的决策的好处。

大数据和自动化已成为大多数业务部门变革的首要方向，而人力资源部门也将其重点放在了数据驱动的决策上。

人力资源中使用的算法可以提高效率，甚至胜过人类的决策制定。 实际上，根据普华永道的研究报告，跨国公司中已有40％的人力资源部门使用基于AI的工具 （相关报告可以私聊我获取）。

例如，算法的使用在员工选拔中变得非常普遍，该算法被用于简历筛选，使求职者与职位匹配之中。

他们正在通过自然语言处理来分析视频面试中的面部表情或申请人的书面申请中所体现的动机。此外，算法还向员工和经理提供关于绩效方面的反馈。

随着算法在组织决策中的影响力越来越大，这样就容易导致一个问题：利用算法的决策是否具备相应的客观性和准确性？

像其它辅助决策的技术一样，算法决策也是一把双刃剑，它会带来一系列的挑战。

• 求职者会如何看待一家通过机器自动完成部分面试和人员选拔过程的公司？

• 员工对自动绩效反馈有何反应（反馈不再来源于直接上级）？员工在多大程度上会接受这类反馈？

• 管理者在多大程度上会依赖算法做出的决策？

事实是：实施算法会改变组织和人际关系的动态。  因此，必须仔细研究算法管理的优势和挑战，并搞清楚组织实现算法管理的最佳做法。

我们将在下面详细讨论在您的组织中实施算法管理的建议。

01

组织实施算法管理的三大优势

1.启动组织绩效

提高生产率和工作效率是算法管理的最重要优势之一。例如，一个小时内，比较算法与一个招聘人员可以扫描的简历数？

结果是：算法基本能把人类招聘者按在地上摩擦，两者之间的差异巨大，这样可以帮助公司在人才竞争中保持领先地位。

将手动的任务转变为自动化，将为管理人员腾出更多的时间和资源，以专注于有更高战略影响力的任务，从而帮助提高组织绩效。 未能将分析和人工智能集成到其战略事务中的公司将面临落后他人的风险。

欧莱雅集团，是一间总部位于法国巴黎的皮肤护理、化妆品公司，在全球拥有80000名员工，每个职位空缺平均会收到130份职位申请。

欧莱雅每年开放约15000个职位，需要处理近百万份申请，因此其开始尝试利用AI技术帮助招聘人员摆脱令人头痛的简历筛选工作。

Mya是一款聊天机器人，它能够处理候选人提出的问题，从而在招聘早期帮助欧莱雅节约大量宝贵的时间。 此外，它还能够检查各项重要细节，例如求职者是否尚未找到工作，以及签证的当前状态等。

接下来，求职者需要面对Seedlink，这款AI软件负责评估他们在开放式面试问题中给出的答案。 这款工具能够找到在简历评审过程中被忽略的求职者。

该公司招聘人员表示，在一次从12000名候选人中选出80名实习生的过程中，该软件帮助他们节约了200个小时的工作时间。AI技术帮助欧莱雅能够更快地招聘10倍的员工，并增加25％的求职者面试机会。

2.改善管理决策和远程管理

近年来，基于证据和数据驱动的决策已变得越来越普遍。算法可以帮助处理管理者每天面对的日益复杂的问题。算法系统的数据处理能力远远超出了人类的能力范围。

他们可以考虑所有相关数据并排除不相关因素。这样就可以进行客观、公正、数据驱动的决策。而且，它可以减少决策过程中的偏见。

例如，认知偏见可能会导致零售商相信需要对其员工进行不稳定的安排。零售中不稳定的安排是指零售商通过工作计划的变化来减少人工成本。

许多零售商认为这种类型的计划是有效的，因为他们看到了直接的短期收益（例如削减工资），却忽略了长期的负面影响（例如对客户服务的影响）。

在这里，可以根据客户流量和其他数据预测人员需求的算法开始发挥作用。 研究表明，“将算法与管理者的直觉相结合可以导致更好的人员配置决策”。

算法对于远程办公也可能是有益的。劳动力将变得越来越分散，在某种程度上，远程和混合办公将成为常态。

这可能给员工带来巨大的好处。但是，管理人员可能很难跟上员工的进度和绩效。 绩效监控算法可能是成功进行远程管理的重要工具。

3.接收个性化的见解和反馈

算法管理不仅为管理人员带来好处，而且为员工带来好处。算法可以提供个性化的绩效反馈。

Deliveroo向其快递员发送个性化的月度绩效报告。 他们获得有关其平均“接受订单时间”，“到餐厅的路程时长”，“到客户处的路程时间”以及算法跟踪的其他指标的信息。

算法可以洞察员工的工作进度、待办事项和开展的项目。它们还用于改善员工的福祉。 这种算法分析员工的需求和目标，并推荐培训和发展计划。

算法还可以跟踪和评估对员工的福祉和动力最重要的因素，在此基础上，他们可以就如何提高员工福利向管理人员提供建议。

02

组织运用算法管理的三个最重要的挑战

1. 关于算法管理的伦理问题

除了算法管理的好处之外，还有几个重要的伦理问题。

算法的主要目标是改进决策，使决策更加客观公正。然而，情况可能恰恰相反，由于算法可以消除或减少决策过程中的人工干预，因此，人们可能认为算法是不公平的。

主要的关注点是算法所依据的数据。在样本数据上训练算法来预测事件并做出决策，因此，数据的质量是一个重要的因素。

例如，一个组织可以训练一种关于历史人才数据的算法，在这些数据中，很少有女性担任管理职位，然后，该算法可能会做出预测：女性在公司管理岗位上取得成功的可能性较低。因此，女性可能被排除在组织的人才管理计划之外。

算法通常是在“黑箱”中操作，它们并不透明，而且算法的工作精度通常也不清楚。这可能会对算法的信任度提出挑战，并为算法的决策提出问责性问题。

美国一些州已经在研究算法和人工智能在招聘中的使用，以及如何确保它们的公平性和透明度。

纽约州正在立法，要求招聘技术供应商进行反偏见审计，并确保遵守就业歧视法。

伊利诺伊州颁布了 《人工智能视频面试法》 (AI Video Interview Act)，对使用人工智能分析应聘者视频面试的公司施加了限制。

利用算法管理不是一个是或否的问题。通常，只有部分决策是自动化的。 因此，公平和责任问题取决于公司在多大程度上依赖算法决策。

真正的问题是：算法的作用是增强还是完全自动化？你是用算法来给你提供建议，还是用它来代替人类决策，这都是有区别的。

2. 算法管理挑战管理者和人力资源的角色

算法管理减少或取代了不同流程中的人工参与和交互。这对管理者和人力资源构成了挑战。当个人和同理心的一面消失后，员工管理会发生怎样的变化?

管理者和人力资源从业者都需要适应算法管理带来的新动态，他们需要新的技能和能力，为负责任地使用算法做准备。

管理者和人力资源管理者也需要采用(潜在的)员工的观点。例如，当候选人不相信算法能看出自己有多独特时，招聘中使用的算法可能会出现问题。

那么，管理者和人力资源部门如何面对算法管理运用后，带来的自动化程度的提高和人际交往的减少呢?

他们如何成功地创造数据驱动文化的变革呢?所有这些都是人力资源和管理人员必须找到答案的问题。

3.算法管理对员工福利的风险

算法管理也可能对员工的福祉构成风险。一些人将实时行为跟踪、反馈和评估与泰勒主义的监视进行了比较，算法管理可以被视为对员工的一种侵入式控制形式。

这似乎也与赋予员工更多自主权、灵活工作和时间表的趋势相冲突。公司必须密切关注员工对引入算法管理的反应。

一些员工可能认为这是对他们心理安全和自主的威胁，这样导致的结果是，由于引入算法管理，员工的幸福感可能会下降。

例如，一家国际连锁酒店使用软件工具来管理客房服务员。他们需要不断更新下一个要打扫的房间，该公司还能跟踪他们打扫一个房间需要多长时间。

然而，工作人员指出，该算法没有考虑到他们工作的细微差别，使工作变得更加困难。 他们变得无法安排自己的一天，工作也变得更吃力，因为算法“指挥着”他们“在酒店各个楼层里拼命的跑来跑去”。

03

实施算法管理的建议

好消息是：在减少算法管理挑战的同时，也有可能获得算法管理的好处。 以下策略可以帮助管理者负责任地在组织中实施算法管理。

1. 战略

首先，确定算法管理的使用程度是至关重要的。Gig平台完全依赖算法管理，但对于更传统的公司来说，这可能不是正确的解决方案。

因此，这不是非此即彼的问题，而是在哪里、在什么程度上的问题。

公司可以找出成本高且相对标准化的流程，并从那里开始。在那里，你可以期待算法管理能获得最大的收益。

在任何情况下，将算法集成到业务和决策过程中都需要一个明确的战略：确定它们是增强还是自动化人类决策。

2. 变革管理

在实施算法管理时，考虑员工的福祉也很重要。在组织中引入算法是一个实质性的转变，变革管理的视角可能会很有帮助，主动的变革管理是引入算法的决定性因素。

你需要确保已经做好变革的准备。通过帮助你的员工和经理理解算法所增加的价值，可以让他们准备好迎接变革。

人们也可能对算法管理的引入感到威胁。这可能是由于缺少关于算法管理的广泛且深入的交流。

同样，员工可能会担心机器正在取代他们，为了克服这一点，在变革过程的早期就把员工和管理者纳入进来是很重要的。建立开放的沟通渠道有助于解决人们所关心的问题。

这包括主动沟通数据的用途以及谁对算法决策负责。它可以防止员工或管理者感到自己被蒙在鼓里。

沟通和变革管理应该与培训齐头并进。培训可以让人们轻松地处理与算法的关系，并移交决策。

如果人们不了解算法是如何工作的，他们可能不想使用它。培训员工和管理人员使用算法所需的技能和能力是至关重要的。

3.不断评估

最后，公司需要采用一种持续评估的文化。跟踪算法的执行情况的必要性。只有当决策是准确的、高质量的，人们才会接受算法带来的附加值。

并不是每一种算法都能提高效率，所以监控其质量是很重要的。 这一变化对员工的影响也需要跟踪，组织可以为员工提供表达关切和提供反馈的机会，特别是那些由算法管理的员工。这为组织调整和改进算法管理提供了有价值的信息。

算法管理的好处以及它如何帮助企业在竞争中保持领先地位是显而易见的。

算法不仅能提高效率，还能增强决策能力。不过，这不应该以牺牲员工福祉为代价。

自动化执行的任务(比如提供反馈)代表了一个巨大的变化，但我们对把这种变化转变成积极和可持续的事情具有主动权，管理者和人力资源需要在创造变革准备方面发挥重要作用。

没有一刀切的方法，每个组织都需要仔细评估算法的引入给他们带来的好处和挑战。

本文提出的策略可以帮助指导组织完成这一转变。算法管理的前景是巨大的。然而，有必要始终关注组织所拥有的最有价值的资产： 我们的员工。

了解更多： 方云数字化创新绩效，数据智能驱动创新型增长