Adam Mosseri, người đứng đầu của Instagram cho biết trong một thông cáo báo chí. “Chúng tôi hiện đang sử dụng công nghệ học máy để chủ động phát hiện các hành động bạo lực trong ảnh, hoặc chú thích được đăng tải và gửi chúng đến nhóm Hoạt động cộng đồng của chúng tôi để xem xét”.
Công ty mẹ của Instagram, Facebook, cũng đã giới thiệu các công cụ chống quấy rối trong tháng này. Những tính năng này cho phép người dùng xóa “nhận xét không hay” khỏi nguồn cấp dữ liệu của họ, với các tùy chọn xóa hoặc ẩn nhận xét “hàng loạt” và bình luận thay mặt cho người dùng.
Các công ty truyền thông xã hội đã chịu nhiều áp lực để có thể quản lý tốt hơn vấn đề quấy rối và thù địch, đó là một thách thức khó khăn vì nhiều người trong số họ có hàng triệu người dùng. Trước đó, Facebook cũng thuê hơn 7.500 nhân viên phục vụ cho kiểm duyệt các nội dung trên hai nền tảng chính Facebook và Instagram. Mạng xã hội này cũng đưa vào nhiều công nghệ mới nhằm phát hiện những ngôn từ kích động hoặc mang tính chất thù địch và loại bỏ chúng
Theo Fiona Brown, người đứng đầu bộ phận truyền thông tại Instagram, việc phát hiện yếu tố bạo lực trong hình ảnh khó hơn rất nhiều so với các nội dung bằng chữ. Tuy nhiên, với hệ thống mới, một hình ảnh hoặc chú thích sau khi tải lên sẽ được AI so sánh, xếp hạng và phân tích, sau đó tham chiếu đến cơ sở dữ liệu có sẵn trước khi đánh giá nó là tích cực hay tiêu cực. Đồng thời, hệ thống cũng phát hiện dựa trên các bình luận của bạn bè của chủ tài khoản.
Bên cạnh hệ thống trên, Instagram còn được bổ sung các công cụ chống bạo lực khác, gồm bộ lọc nhận xét mới khi phát video trực tiếp và các hiệu ứng camera.
Việc vận dụng AI cho Instagram là nỗ lực mới nhất của Facebook trong việc ngăn chặn bạo lực và quấy rối trên các nền tảng mà họ điều hành. Trong tháng này, mạng xã hội đã giới thiệu công cụ chống bạo lực riêng, trong đó cho phép người dùng tùy chọn xóa hoặc ẩn hàng loạt các bình luận trêu chọc, công kích hoặc gây tổn thương tinh thần khỏi nguồn cấp dữ liệu. Bên cạnh đó, nếu tần suất các bình luận tăng, hệ thống sẽ thay nạn nhân tự động báo cáo (report) lên Facebook.
Công ty đã ra mắt các tính năng mới của họ vào đầu tháng 10, là tháng phòng chống đe dọa quốc gia.
