Facebook a mis au point un « logiciel de reconnaissance des tendances suicidaires chez ses utilisateurs ». L’entreprise récoltait déjà de « nombreuses données sur ses 2,1 milliards d’utilisateurs à des fins publicitaires », mais « n’était pas jusque-là réputée pour scruter les discussions dans le but de détecter les comportements dangereux, hormis les conversations suspectes entre des enfants et des adultes pouvant être des prédateurs sexuels ».

Le logiciel, dont on ne connait rien ou presque des aspects techniques, recherche dans les publications ou les commentaires des expressions annonciatrices d’un suicide. « S’il détecte un potentiel passage à l’acte », des employés de Facebook sont alertés ; ils peuvent faire appel aux autorités locales. Le système propose aussi à l’utilisateur concerné ou à ses amis des moyens d’aide comme un numéro d’assistance téléphonique.

Analyser les conversations dans d’autres circonstances que les actes violents « comme les meurtres ou les suicides » serait juridiquement « difficile à justifier » selon Ryan Calo, professeur de droit à l’Université de Washington. « Une fois que vous ouvrez la porte, vous pourriez vous demander ce qu’on va chercher d’autre. »

Les tests aux Etats-Unis s’étant révélés concluants, l’entreprise a commencé à déployer son système dans d’autres pays sans annoncer quels étaient les états concernés. Il a cependant été précisé que l’Europe ne ferait pas l’objet du dispositif : le droit européen « plus protecteur des données personnelles que le droit américain », rend « difficile ce genre de traitement big data ».