端科技您的位置:首页 > 通信 >

纽约市的算法任务组正在破碎

2017年,纽约市通过了一项法律,以控制城市的自动化系统。地方法49是该国第一部此类法律,它成立了一个工作组,负责研究纽约生活中隐藏的算法,并为专家提供了一种研究错误和偏见工具的方法。

纽约市的算法任务组正在破碎

随着自动化系统在全国各城市接管越来越多的决策,新组织可能会询问有关纽约使用的系统的关键问题。哪些工具决定谁是第一个 - 或最后一个 - 符合政府服务?自动化是否比其他社区更有利于某些社区?如果是这样,谁被抛在后面?新的工作队可以审查这些问题,并在必要时提出建议。

一些成员公开批评了这座城市

但纽约特遣部队现在显示出了磨损的迹象,为全国范围内的算法问责运动提出了令人不安的问题。一些成员公开批评该市,指责官员未能提供透明的信息获取,有效地将工作组转变为宣传工作而不是问责制来源。

在本月早些时候的市议会听证会上,市政府官员表示,他们还没有提出自动决策系统(ADS)的定义,这是工作组要检查的工具,他们无法确定单个实例。一个自动化系统,工作组可以详细研究。一位官员在听证会上承认,“它花了比我们原先想象的更多的时间。”

批评人士说,没有任何东西需要研究,专责小组没有任何意义,只能提供广泛的政策建议 - 专家们在没有召集任务组的情况下能够提出的建议。纽约大学助理教授和特别工作组成员朱莉娅斯托扬诺维奇告诉The Verge,如果没有任何例子,“那么根本没有必要组建特遣部队。”

“如果我知道这只是一种正式的练习,我就不会报名参加这个工作组,”她说。

“如果我知道这只是一种正式的练习,我就不会报名参加这个工作组。”

虽然可能永远不会产生纽约市使用的完整ADS列表,但专家已经在城市和美国各地发现了很多,尽管这些工具对他们所影响的城市居民来说基本上是不可见的。随着工作组的继续,AI Now Institute发布了一些公开承认的城市自动化工具示例,指出了用于确定学生将被送往学校的地方,如何为邻里消防部门提供资金以及建筑检查的系统优先。

在一次采访中,市长办公室的任务组主席兼主任Jeff Thamkittikasem表示,一些不同意见是这一过程的一个自然组成部分,而且工作组一直是“进行富有挑战性对话的绝佳机会。”这座城市,他他说,正在努力提供新的具体例子,其中包括交通部和教育部的两个例子。“我希望在几周内我们能够做到这一点,”他说,并补充说,该工作组“正在明智地采取行动,以获得建议”,并有望在12月发布报告。

Thamkittikasem说,特别工作组在他们最早的会议上有几个问题,关于法律适用的系统类型。官员在会议上说,该市通过的法律写得如此广泛,以至于可以读到包括计算器等工具。他们说,对隐私和安全的担忧也使他们无法提供有关该市使用的系统的详细信息。斯托扬诺维奇称这是一个“借口”,并且有办法提供信息。

对于曾经受到法律约束的法律来说,语调是一个转折点。在去年宣布成立特别工作组的声明中,市长Bill de Blasio称赞该计划是将纽约市纳入技术政策前沿的一种方式。“自动决策系统工作组的建立是提高我们使用技术的透明度和公平性的重要的第一步,”de Blasio在声明中说。

该市表示即将举出具体的例子

作为美国同类型的第一个计划,纽约法律建立了一个模型,其他地方政府也在此时推出了类似的计划。但内部异议引发了对使该模型发挥作用所必需的透明度的质疑。

支持者说现在时间可能很短,无法做出任何重大改变。在本月底,工作组将举行两次公众参与会议中的第一次。Thamkittikasem说,该市正在努力让居民参加公开会议,并证明他们可能受到ADS的影响。除了收集自动化系统的意见外,法律还要求工作组编写一份报告,提出在年底使用这些系统的建议。“我不清楚公众是否真的会参与其中,”AI Now Institute政策研究主任Rashida Richardson表示。

理查德森与几位当地支持者一起,在8月份签署了一封信,概述了工作组如何有效地与公众合作。但是上个月,许多同样的人发了另一封信,这次要求这个城市加快他们的外展,写道,“我们担心,鉴于这个时间表,这种有意义的公众参与的机会之窗将为工作组提供信息。工作正在迅速结束。“

斯托扬诺维奇担心这些问题可能是系统性的,法律基本上允许城市官员管理自己的问责制。该法律没有向外部专家提供任何机制来要求自动化系统的信息,这可能会发现可能损害该城市声誉的信息。

“我很有希望,但仍然有些充满希望,”她说,“虽然现在远不如此。”