Cuộc tấn công và phòng thủ AI đằng sau email lừa đảo

Nguồn gốc: Kiến thức mới về Khoa học và Công nghệ

Tác giả: Trương Đạo

Nguồn hình ảnh: Được tạo bởi AI‌ không giới hạn

AI sáng tạo đang biến lĩnh vực thương mại điện tử xuyên biên giới thành "Bắc Myanmar mới" trên Internet. Gần đây, nhiều người bán đã báo cáo việc nhận được "email lừa đảo" được ngụy trang thành email chính thức của Amazon, trích xuất thông tin tài khoản quan trọng của người bán thông qua các liên kết độc hại được cung cấp. Một số người đã bị lừa và mất tới 400.000 chỉ trong một đêm. Sudan là một trong những nạn nhân may mắn. Trong email anh nhận được vào đầu tháng 9, địa chỉ gửi rất giống với địa chỉ chính thức của Amazon và nội dung là sự bắt chước khéo léo phong cách thông báo của Amazon, kêu gọi người bán cập nhật thông tin liên hệ khẩn cấp. Làm theo hướng dẫn trong email, bạn sẽ được chuyển đến một trang web có vẻ là "Amazon" và được yêu cầu nhập email, mật khẩu và mã xác minh hai bước của bạn. Một khi bạn bị lừa, bạn sẽ sớm nhận được thông báo "đăng nhập cửa hàng từ xa" từ quan chức thực sự của Amazon.

Kết quả phát hiện sát thủ ChatGPT GPTZero

**Sultan ngay lập tức dừng thua lỗ khi nhận ra có điều gì đó không ổn, đồng thời sử dụng các công cụ kỹ thuật để phân tích nội dung email, cho thấy có 90% khả năng nó được tạo ra bởi AI. **Công nghệ mới một lần nữa đứng ở ngã ba đường giữa thiện và ác.

01 Generative AI đang “làm điều ác”

Sudan thường lướt Internet trong và ngoài nước, anh không xa lạ gì với ChatGPT và đã trải nghiệm nó nhiều lần, anh cũng nghe nói rằng ChatGPT bằng cách nào đó có thể vượt qua cơ chế bảo mật và tạo ra nội dung bất hợp pháp và trái đạo đức. Điều mà anh ấy vẫn chưa nhận ra là công nghệ "jailbreak" của ChatGPT đã được lặp đi lặp lại nhiều lần và hiện nay trên thị trường thậm chí còn có phiên bản "ác quỷ GPT" tiên tiến hơn, và email lừa đảo gặp phải lần này có thể là do phiên bản này viết ra. . . **Các phiên bản "GPT xấu xa" nổi tiếng hơn là WormGPT và FraudGPT, cả hai đều có thể nhanh chóng thực hiện các hành vi lừa đảo qua email. ** Vào tháng 3 năm 2021, WormGPT ra mắt và các nhà phát triển của nó bắt đầu bán quyền sử dụng trên các diễn đàn hacker vào tháng 6 năm nay. Không giống như ChatGPT, WormGPT không đặt ra các hạn chế ngăn cản việc trả lời các câu hỏi liên quan đến hoạt động bất hợp pháp, được xây dựng trên mô hình GPT-J nguồn mở năm 2021 hơi lỗi thời và được đào tạo đặc biệt về dữ liệu liên quan đến phát triển phần mềm độc hại. Để đánh giá những rủi ro tiềm ẩn, nhóm nghiên cứu tại công ty phân tích bảo mật Slashnext đã thử nghiệm các cuộc tấn công BEC (Lừa đảo qua email doanh nghiệp). Trong thử nghiệm, họ yêu cầu WormGPT tạo một email với mục tiêu gây áp lực lên người quản lý tài khoản không nghi ngờ để thanh toán hóa đơn giả.

Email lừa đảo được tạo bởi WormGPT

Kết quả thật đáng kinh ngạc, các email do WormGPT tạo ra không chỉ rất thuyết phục mà còn rất thông minh trong chiến thuật, thể hiện đầy đủ khả năng thực hiện các cuộc tấn công lừa đảo và BEC phức tạp. Một mô hình ngôn ngữ độc ác khác có tên FraudGPT đã được ra mắt vào tháng 7 năm nay. Bắt đầu từ ngày 22 tháng 7, nhà phát triển đã quảng bá sản phẩm trên nhiều diễn đàn, gọi đây là sản phẩm thay thế ChatGPT không hạn chế. Theo báo cáo, FraudGPT được cập nhật từ một đến hai tuần một lần và sử dụng nhiều mô hình AI khác nhau theo kiến trúc. Công cụ này có giá dựa trên đăng ký và có giá 200 USD mỗi tháng hoặc 1.700 USD hàng năm.

Ảnh chụp màn hình diễn đàn hiển thị chức năng của FraudGPT

Nhóm nghiên cứu bảo mật Netenrich đã mua và thử nghiệm nó. Giao diện của FraudGPT rất giống với ChatGPT, các truy vấn lịch sử của người dùng được hiển thị ở phía bên trái và cửa sổ trò chuyện chiếm phần lớn giao diện. Người dùng chỉ cần nhập câu hỏi vào ô “Đặt câu hỏi”, hệ thống sẽ đưa ra câu trả lời tương ứng cho câu hỏi đó.

FraudGPT tạo email lừa đảo

Trong quá trình thử nghiệm, các nhà nghiên cứu đã hướng dẫn FraudGPT tạo một email lừa đảo liên quan đến ngân hàng. Người dùng chỉ cần định dạng câu hỏi để bao gồm tên của một ngân hàng cụ thể và FraudGPT sẽ xử lý phần còn lại. Công cụ này cũng hướng dẫn người dùng nơi đặt các liên kết độc hại trong nội dung email và có thể tạo thêm trang đăng nhập để lừa đảo, khiến nạn nhân cung cấp thông tin cá nhân. **Các nhà phân tích cho biết FraudGPT có thể trở thành một công cụ lý tưởng để khởi động các cuộc tấn công lừa đảo và BEC có sức ảnh hưởng lớn, dẫn đến gian lận tài chính và đánh cắp dữ liệu quy mô lớn. ** Có nhiều hơn hai “GPT ác” đang hoạt động. Vừa vào giữa tháng 8, các chuyên gia trong lĩnh vực an ninh mạng đã tiết lộ một công cụ tội phạm mạng dựa trên GPT khác có tên EvilGPT. Ứng dụng này tương tự như FraudGPT và WormGPT, nó có thể giúp tạo phần mềm độc hại, email lừa đảo, bẫy liên kết và phát hiện điểm yếu trong bảo mật mạng doanh nghiệp. Nếu GPT ở trên bị cấm hoặc bị xóa vì lý do nào đó, nó sẽ có sẵn trên thị trường như một giải pháp thay thế. Đồng thời, nó cũng áp dụng mô hình định giá dựa trên đăng ký để thu hút người dùng tiềm năng mua hàng. EvilGPT chỉ là phần nổi của tảng băng chìm được phát hiện trong những tuần gần đây. **Theo thời gian, nhiều công cụ và ứng dụng độc hại dựa trên công nghệ trí tuệ nhân tạo có thể xuất hiện. **

02 Với sự “phù hộ” của AI, email lừa đảo khó bị phát hiện

Email lừa đảo không còn xa lạ với những người hoạt động thương mại điện tử xuyên biên giới, nhưng lần này Sudan suýt rơi vào tình trạng đó, ngoài việc thỉnh thoảng sơ suất thì sự “phù hộ” của AI sáng tạo cũng đóng một vai trò quan trọng. Trước đây, một cách hiệu quả để xác định email lừa đảo là chú ý đến lỗi chính tả và ngữ pháp của các từ trong nội dung. Theo dữ liệu, khoảng 50% email lừa đảo có nguồn gốc từ Nga, Đức và Trung Quốc. Hầu hết nội dung giả mạo được gửi từ các khu vực không nói tiếng Anh này đều chứa ngữ pháp hoặc từ ngữ bất thường, không phù hợp với phong cách email trang trọng và tiêu chuẩn.

Email lừa đảo không được chứng minh

Trên thực tế, để ngăn nhân viên nhấp vào email có liên kết độc hại hoặc rò rỉ thông tin đăng nhập, nhiều công ty thương mại điện tử sử dụng chương trình đào tạo để nhắc nhở họ về lỗi chính tả, ngữ pháp bất thường và các lỗi khác mà những người không nói tiếng Anh bản xứ có thể mắc phải. **Tuy nhiên, công nghệ AI hiện đại có thể loại bỏ hoàn toàn các tính năng nhận dạng truyền thống này. Email lừa đảo Amazon này không chứa bất kỳ lỗi ngữ pháp nào. ** Evan Reiser, Giám đốc điều hành của công ty bảo mật email Abnormal Security, gần đây đã chỉ ra điều này trong một cuộc phỏng vấn: Các email lừa đảo tinh vi được tạo ra bởi nền tảng AI tổng quát gần giống với các email thật, khiến chúng khó được xác định khi nhìn qua. Ông nói: “Khi bạn xem những email này, không có gì xảy ra trong não bạn cảnh báo bạn rằng đây có thể là một cuộc tấn công lừa đảo”. **Điều đáng sợ là tránh lỗi ngôn ngữ chỉ là kỹ năng cơ bản được AI tổng hợp thể hiện trên các email lừa đảo. Khả năng lừa dối và nhầm lẫn càng mạnh thì càng nguy hiểm. ** Nhờ khả năng bắt chước chữ viết của con người của AI, nội dung của email lừa đảo có thể bao gồm việc tạo cảm giác cấp bách, khuyến khích người nhận nhấp vào liên kết hoặc email kỹ thuật xã hội được ngụy trang dưới dạng yêu cầu chuyển tiền. Khi người nhận nhấp vào liên kết, hệ thống của họ có thể bị nhiễm mã độc. Tình huống giả mạo email Amazon nêu trên là tình huống do AI tạo ra và rất cấp bách đối với người bán. Nhiều người bán cảm thấy có gì đó không ổn sau khi xem kỹ nội dung email, tuy nhiên họ vẫn làm theo hướng dẫn trong email vì lo ngại có thể bỏ sót một số thông tin quan trọng. **Ngoài ra, AI tổng hợp cũng có thể khiến các email lừa đảo trở nên hung hãn hơn. **Họ có thể lấy thông tin cá nhân từ các nền tảng xã hội, cổng tin tức, diễn đàn trực tuyến và các nguồn khác để tạo các email hấp dẫn có mục tiêu hơn. Đây là một nhiệm vụ thường phải mất hàng tháng để hoàn thành trong quá khứ. Nếu kẻ tấn công có quyền truy cập vào thông tin độc quyền này, chúng có thể chèn các chi tiết thuyết phục hơn vào email hoặc bắt chước cách ai đó viết. Evan Reiser chỉ ra: “Hiện tại, bọn tội phạm chỉ cần lấy những email này, tự động đưa chúng vào một mô hình lớn và sau đó hướng dẫn nó tạo một email tham chiếu đến 5 cuộc trò chuyện trực tuyến gần đây nhất”. bây giờ chỉ mất tám giây. Ngay cả những kẻ tấn công có khả năng kỹ thuật hạn chế cũng có thể tận dụng AI để viết mã VBA. Họ chỉ cần hướng dẫn AI nhúng URL độc hại vào mã và khi người dùng mở tệp như Excel, hệ thống sẽ tự động tải xuống và thực thi phần mềm độc hại.

Trước đây, các hệ thống như ChatGPT và Bard đã tích hợp sẵn các biện pháp bảo vệ để ngăn chặn việc tạo ra nội dung độc hại nhiều nhất có thể, nhưng khi ngày càng có nhiều phiên bản GPT độc ác xuất hiện, bảo mật email đang phải đối mặt với một thách thức rất lớn. Vào ngày 21 tháng 8 năm 2023, nhóm nghiên cứu bảo mật quốc tế Perception Point và Osterman Research đã cùng nhau công bố một báo cáo có tiêu đề “Vai trò của trí tuệ nhân tạo trong bảo mật email”. Báo cáo cho thấy một xu hướng đáng báo động về cách tội phạm mạng đang tận dụng AI để gia tăng và làm phức tạp các mối đe dọa email như lừa đảo và tấn công BEC. **Nghiên cứu này lưu ý rằng tội phạm mạng đang nhanh chóng áp dụng các công cụ AI để phục vụ lợi ích của chúng, với 91,1% tổ chức báo cáo rằng họ đã phải chịu các cuộc tấn công qua email do AI tăng cường. **

**03 Giải pháp: Dùng AI để chống lại AI? **

**Trước sự đe dọa của AI, phương pháp dựa vào kinh nghiệm để tránh bẫy email lừa đảo trước đây không còn hiệu quả nữa, biện pháp đối phó mới có thể nằm ở việc sử dụng AI để chống lại AI. **Một số công ty an ninh mạng đã tích hợp AI tổng quát vào sản phẩm của họ nhằm nỗ lực thực hiện các bước trước khi chúng có thể bị lạm dụng trên quy mô lớn. Các nhà cung cấp đang sử dụng AI để cải thiện khả năng và quy trình bảo mật email. Ví dụ: để hiểu rõ hơn về thói quen và đặc điểm của từng người gửi và người nhận, một mô hình AI được thiết kế để ánh xạ các mô hình giao tiếp tới từng thành viên trong tổ chức. Cụ thể, ai sẽ nhắn tin cho họ? Nội dung tin nhắn là gì? Những tin nhắn này được gửi khi nào và từ đâu? Những người khác thường là CC hay chỉ có một người nhận dự định? Mỗi người gửi sử dụng địa chỉ email nào? Nói tóm lại, AI được sử dụng để xây dựng hồ sơ về hành vi thường xuyên của mỗi người. Ngoài ra, để phát hiện các mẫu gửi email bất thường, nhà cung cấp kết hợp các chiến lược sau: phân tích các mẫu gửi cơ bản bằng công nghệ biểu đồ xã hội; xác định các địa chỉ email tương tự hoặc có liên quan chặt chẽ; xác định các thư có chứa kỹ thuật lừa đảo xã hội và phát hiện kẻ mạo danh. các yếu tố hình ảnh liên quan và phân loại giọng điệu, cảm xúc và phong cách trong email. Các chiến lược trên đều giúp phát hiện các email bất thường được thiết kế nhằm gây nhầm lẫn cho tâm trí con người. Mặc dù con người được đào tạo nâng cao nhận thức về bảo mật cũng có thể tìm thấy những tín hiệu bất thường này, nhưng chỉ AI mới có thể tích hợp tất cả các chiều phân tích ở tốc độ mạng để đảm bảo phát hiện liên tục và đáng tin cậy khi đối mặt với lượng lớn tin nhắn. Các giải pháp AI cũng có thể tận dụng nhiều mô hình học máy để xác định thông tin có nội dung độc hại. Các mô hình này được phát triển, điều chỉnh và cập nhật dựa trên tập dữ liệu thông tin được gắn nhãn là độc hại hoặc vô hại. Một số nhà cung cấp sử dụng công nghệ AI tổng hợp để tạo dữ liệu mẫu bổ sung từ thông tin độc hại đã biết, cung cấp dữ liệu đào tạo chất lượng cao phong phú hơn cho các mô hình học máy. **Người duy nhất có thể đánh bại AI là AI. ** Trên thực tế, nhiều tổ chức đã sử dụng AI để bảo vệ bảo mật email. Theo Osterman Research, 4/5 tổ chức đã triển khai hoặc đang tích cực quảng bá các giải pháp bảo mật email dựa trên AI trong hai năm qua như một phần bổ sung cho các biện pháp bảo vệ thông thường.

Trong số đó, có hai cách chính để giới thiệu AI nhằm tăng cường bảo mật email: một mặt, các nhà cung cấp bảo mật email hiện có tích hợp tính năng bảo vệ AI vào sản phẩm của họ; mặt khác, các tổ chức đang cố tình tìm kiếm giải pháp mới hỗ trợ AI. Trong hai năm qua, 1/5 số người được hỏi vẫn chưa áp dụng các giải pháp đó: 12,7% chưa thực hiện bất kỳ giải pháp nào, trong khi 6,0% đang tích cực tìm hiểu và đánh giá các phương án khả thi. **Theo dữ liệu từ Osterman Research, AI đã cho thấy khả năng tuyệt vời trong việc cải thiện hiệu quả phát hiện và tăng cường khả năng bảo vệ. **

Các tổ chức có hiệu quả phát hiện nhất định trước khi áp dụng các giải pháp bảo mật email được tăng cường bởi AI. Nhưng khi tội phạm mạng sử dụng AI để cải thiện kỹ thuật tấn công của chúng, các tổ chức không có sự bảo vệ bằng AI sẽ thấy hiệu quả phát hiện của họ bị thách thức nghiêm trọng. Chỉ bằng cách mạnh mẽ như quỷ dữ, chúng ta mới có thể đưa những kẻ tấn công và người bảo vệ email lừa đảo trở lại cùng vạch xuất phát của công nghệ AI.

(Các nhân vật trong bài đều là bút danh)

Thẩm quyền giải quyết:

Hơn 91% tổ chức đã trải qua các cuộc tấn công email được tăng cường bởi AI và 84% mong đợi việc tiếp tục sử dụng AI để vượt qua các biện pháp bảo mật hiện có WormGPT-Công cụ AI sáng tạo mà tội phạm mạng đang sử dụng để khởi động các cuộc tấn công xâm phạm email doanh nghiệp WormGPT và FraudGPT - Sự trỗi dậy của LLM độc hại AI sáng tạo có thể cách mạng hóa email dành cho tin tặc