一个悲伤的故事，一个14岁的英国女孩 Molly Russell 在2017年意外选择自杀，我们可能很难想象什么样的事情会让一个没有深入世界的小女孩走上绝路。
之后发现，在Molly在自杀之前，我在网上搜索了自杀和自残的照片，甚至通过一些她喜欢的社交平台推荐。即使在 Molly 死后几个月，Pinterest 还在自动推给她一些关于自残的电子邮件，甚至打开Molly 的Instagram，Feed流中也充斥着大量的相关内容。
悲剧发生后，Molly 父亲认为Instagram和Pinterest 是杀害女儿的帮凶。
我一直坚持技术无罪。但是当算法认为你想死的时候，我们该怎么办呢？
Molly 的悲剧让人有一种说不出的无奈，甚至有些愤怒。因此，衍生出一个新的论点——Instagram和Pinterest社交平台正在加剧年轻人“ 精神健康危机 ” 。英国青少年的自杀率是八年前的两倍，社交媒体被认为是英国“自杀一代”崛起的原因之一。
Molly许多人注意到了所谓的大数据和算法。英国卫生部长 Matt Hancock 表示，社交媒体需要清除这些极其负面的内容，而不是面临重大诉讼。在此之前，Instagram规则只是反对“美化”现在直接禁止自杀和自残。
然而，简单的禁令并不能解决这些问题。社交平台不仅会托管这些负面内容，还会在推荐算法的指导下呈现给最容易受到影响的人。推荐是一种更积极的行为，而不仅仅是简单的可获得性。越来越多的学术文献证实了这一点:无论是自残、谣言、 *** *** 还是阴谋论，平台所做的不仅仅是让这些内容容易找到，因为算法的存在，社交平台在一定程度上有助于扩大这些内容的传播。
我们试图探索Instagram，Pinterest和Tumblr如何向用户推荐这些负面内容，发现这些社交平台对自杀和自残的内容有一些有限的规则，用户更难通过屏蔽一些关键词或标签找到，但这些内容仍然存在，算法将根据某些规则推荐。Pinterest上被称为“你可能喜欢的东西”，这些都是根据算法驱动的用户浏览习惯来判断用户感兴趣的内容。对于企业来说，他们更喜欢称之为“智能化推荐”、“个人化服务”等等，被视为提升使用体验。
例如，当你搜索家居装饰的灵感时，你很快就会在信息流中看到与各种油漆样本相关的图片，并进一步推荐业余室内设计师。这意味着用户搜索自杀或自残的负面内容越频繁，算法就会判断你喜欢什么，并以不同的方式推荐给你。
正如Molly父亲发现社交平台的推荐算法没有区别对待。社交平台显示“你可能喜欢的”内容本身可能违反了自己的规则。
想象一下，如果你试图在社交平台上找到自残类型的负面内容，系统推荐算法在了解这一趋势后，但推荐阳光积极的内容，教你重塑健康的心理状态，算法建议可能不是你想看到的，但它会引导你走向更正确的状态，也许这是算法真正应该做的。
在当今的互联网世界里，许多人更愿意在社交媒体平台上交谈或发泄自己的想法。社交媒体将成为他们面前的一面镜子，它可以直接反映用户的心理状态，放大或扭曲用户的心理状态。这两个完全不同的方向取决于如何引导算法。当算法认为你想死的时候，我们希望算法能成为思想的指导者，而不是继续把用户带到死亡面前。
算法应该有价值观的底线。
当然，前提是社交平台设定的禁令规则是***是的，算法建议只提供用户最可接受的内容，但实际情况并非如此。
内容审计非常困难，可接受和厌恶这两个规则之间的界限可能很模糊。即使建立了人工审计机制，大型社交平台每天发布成千上万的新内容，审计师需要在几秒钟甚至更短的时间内判断是否影响用户的心理健康，这样的内容太多，不仅是自残类型，日复一日，总会有遗漏的内容。
以Molly以悲剧为例，社交平台的禁令不仅不完善，甚至可能间接导致更多的悲剧。许多试图自残或自杀的人通过互联网找到了巨大的情感支持和继续生活的动力。通过建立一个小的社交圈来相互温暖，甚至最终走出阴霾。对这些人来说，社交媒体平台是寻求帮助的唯一渠道。盲目的禁令会挤压这些群体的存在，当缺乏类似的沟通和接受时，他们会陷入自己的消极精神世界，最终导致悲剧。
因此，当前的问题不仅仅是让这些内容消失。相反，平台需要更好地识别哪些内容更适合呈现给哪些群体。当搜索内容和算法推荐的内容不同时，平台还需要判断这些内容是否对某人有利，但对整个公众构成潜在威胁。
我们没有充分讨论推荐系统，也许是因为它们现在非常普遍，或者大多数用户不了解它们的工作方式。我们可能会嘲笑它Facebook 推荐给我们已经购买的亚马逊产品，也许不喜欢Spotify 认为我们喜欢悲伤的音乐，因为即使你只有一个特定的行为，算法也开始根据你的兴趣推荐更多的东西。
在压迫算法中，Safiya Umoja Noble 批评谷歌在其搜索结果中放大了种族刻板印象；《Twitter and Tear Gas》的作者Zeynep Tufekci 强调了YouTube 放大阴谋理论和极端主义内容的倾向，推荐算法“以不断增加风险的方式宣传、推荐和传播视频”。
类似的讨论越多越好。人们对心理不健康的人有不同的看法。有些人认为自残的照片很容易看到，有些人认为很难遇到，而且更难看到很多次。
现在经营者Instagram的Adam Mosseri承认平台不是简单的“自杀和自残问题需要处理”。Pinterest发言人说：“我们现有的规则不允许任何内容鼓励自我伤害。然而，我们知道这些政策是不够的。我们刚刚做出了重大改进，以防止我们的算法在用户的主页上Feed推荐敏感内容。我们将很快以更积极的方式检测和删除它，并为寻找它的人提供更多的情感支持。这是我们与心理健康专家合作使我们的 *** 更有效的原因。“
然而，这些变化将变得越来越困难。算法推荐已成为社交媒体将用户留在自己平台上的主要手段，不太可能消失。为了满足个人用户的需求，优化这些算法要困难得多。社交媒体公司还需要更多的心理健康知识，以更好地区分令人厌恶和有价值的内容，并更好地了解这些平台可能对精神疾病患者的影响。Instagram 他们必须坚持承诺的措施。
人们不仅在寻找内容，还在等待答案，甚至寻找生活的动力。当算法认为一个人想死时，它至少应该学会告诉他：不，你不想。
版权声明
本文仅代表作者观点，不代表本站立场。
本文系作者授权发表，未经许可，不得转载。