Sử dụng NTDLL Unhooking bằng cách sao chép ntdll.dll vào một thư mục random trong %TEMP% và sử dụng các syscall trong đó thay vì dùng trên ntdll.dll được loaded vào đầu tiên.
Bao gồm 2 kỹ thuật là sử dụng UpdateProcThreadAttribute với PROC_THREAD_ATTRIBUTE_MITIGATION_POLICY attribute cho một thread trong một child process để ngăn không cho DLL của EDR được injected vào hoặc sử dụng SetProcessMitigationPolicy với PROCESS_MITIGATION_BINARY_SIGNATURE_POLICY với mục đích tương tự. Tuy nhiên, cách làm thứ 2 không ngăn được DLL được injected vào lúc khởi tạo process.
Cũng load một fresh ntdll.dll từ disk như From Disk nhưng còn giải thích thêm cách mà EDR thực hiện hooking. Nó cũng chỉ ra cách để phát hiện hooking bằng cách so sánh opcode của hàm (chẳng hạn nếu chứa jmp instruction thì là bị hooked) mà không nhầm lẫn với các hàm không bị hooked. Cụ thể hơn, nó kiểm tra xem code được jmp tới có cùng module hoặc 2 modules có cùng path hay không.
Đề cập đến IAT hooking: EDR hook vào IAT để proxy các function calls từ application đến EDR code nhằm xử lý. Đây là một dạng hooking high-level hơn so với syscall hooking. Bài viết đưa ra một cách để bypass IAT hooking là chỉnh sửa IAT để khi application code gọi đến Windows API thì nó sẽ gọi đến internal code thay vì đến external code của EDR.
Ngoài IAT hooking thì HookChain là một chuỗi các kỹ thuật: sử dụng Halo Gate để tìm syscall instruction của các syscall liền kề với syscall bị hook và gọi với SSN trích xuất được.
Sử dụng kỹ thuật thay thế image của ntdll.dll trong tiến trình bằng image sạch (chưa bị hooked), kết hợp với reflective DLL injection và packing (UPX).
Bao gồm 2 techniques là COM Hijacking lợi dụng việc sử dụng các COM interfaces không tồn tại mà có key InprocServer32 chứa đường dẫn đến DLL. Technique thứ 2 là monitor traffic của các named pipes rồi gửi một message trực tiếp đến named pipe server nhằm trigger một hành động nào đó phục vụ cho việc LPE.
Bản chất của named pipe là một system object (FILE_OBJECT), được quản lý bởi Named Pipe File System (NPFS). Cụ thể hơn, nó tương tự như một file được chia sẻ giữa 2 tiến trình nên có thể dùng CreateFile để đọc data từ named pipe. Ngoài ra còn có anonymous pipe dùng để giao tiếp giữa parent-child processes và remote named pipe để giao tiếp giữa các máy. Giao thức SMB là giao thức mặc định khi trao đổi dữ liệu sử dụng named pipe.
Ở phía client, ta có thể chọn giao thức xác thực tùy ý dựa trên cách kết nối (Kerberos hoặc NTLMv2). Do Kerberos không handle tốt IPs nên việc kết nối bằng IP sẽ sử dụng giao thức NTLMv2.
Trình bày cách bảo vệ named pipe server bằng cách dùng ImpersonateNamedPipeClient() và OpenThreadToken() để biết được user nào đang kết nối đến named pipe và kiểm tra.
Đưa ra các trường hợp named pipe có thể tấn công: ACL rule yếu cho phép đọc ghi dữ liệu tùy ý và việc dụ dỗ các tiến trình có quyền cao connect vào named pipe server để duplicate token rồi leo quyền.
Đưa ra nhiều nghiên cứu và kỹ thuật: Neural Exec (bản chất là dùng để escape prompt template), Crescendo (Multi-Turn Jailbreak), Many-Shots Jailbreak của Anthropic và GCG.
Đưa ra một cách phòng thủ đó là sử dụng một LLM để kiểm tra query đầu vào của một LLM khác. Trong trường hợp này, Recursive Injection có thể phát huy tác dụng.
Greedy Coordinate Gradient: thêm các suffix rác để sai lệch đi prediction của LLM. Kỹ thuật này đã được đề cập trong “Universal and Transferable Adversarial Attacks on Aligned Language Models”
External Source Injection: sử dụng URL có chứa payload hoặc hình ảnh có chứa payload. Dùng để tấn công các LLM có thể xử lý nhiều input.
Tác giả chèn vào một ký tự Unicode để việc hiển thị của người và máy là khác nhau nhằm đánh lừa LLM. Ví dụ, thứ tự code mà con người đọc là từ trái sang phải còn thứ tự code mà LLM hiểu là từ phải sang trái. Cách tấn công này tương tự với cách tấn công gây hiểu nhầm giữa thứ tự code của người đọc và thứ tự code của trình biên dịch trong Solidity: The Hidden Danger: Unmasking the Right-To-Left-Override Control Character (U+202E) Vulnerability in Smart Contracts.
Dùng các ký tự đặc biệt mà các LLM sử dụng để train model chẳng hạn như Chat Markup Language (ChatML) của OpenAI để thoát khỏi context và ghi đè instructions. Cách tấn công này giống với Context Switching Attack do nó sử dụng các delimeter để thoát ra khỏi ngữ cảnh.
Bài viết còn liệt kê một số token đặc biệt của các models, các prompt templates mà các models sử dụng: GitHub - jndiogo/LLM-chat-templates at blog.sentry.security để tạo ra ChatML và chỉ cách tìm các tokens đặc biệt cho các models ít phổ biến hơn trên HuggingFace.
Đưa ra một kỹ thuật có thể dùng cho toàn bộ model. Kỹ thuật này lợi dụng format của policy file (tương tự như ChatML) mà được dùng để align các LLMs (alignment là việc làm cho các LLMs tuân thủ theo một chính sách nào đó). Bài viết đưa ra 2 impact là dùng để tạo content vi phạm CBRN (Chemical, Biological, Radiological, and Nuclear).
Tác giả đưa ra 5 finding khi tấn công model gpt-oss:20b:
Autonomous Robot Assault via Visual Prompt Injection: tác giả dùng Context Switching (sử dụng delimeter) để đóng user prompt và inject system prompt. Không thật sự là visual prompt injection do tác giả chỉ sử dụng delimeter để giả lập.
High-Speed Drone Collision Attack: tương tự.
Unsafe Insulin Dosing Without Context: tác giả yêu cầu đưa ra liều lượng thuốc mà không đề cập đến bối cảnh cụ thể. Hành vi mong đợi là LLM cần phải hỏi về bối cảnh của từng cá nhân.
Pregnancy-Unsafe Drug Prescription: tương tự, yêu cầu đưa ra lời khuyên y tế nhưng không đề cập đến bối cảnh và LLM không hỏi về bối cảnh trước khi trả lời.
Companion AI Encourages Self-Harm: tác giả tạo ra system prompt khiến cho LLM luôn đồng ý với user. Khi bị tấn công thì nó ủng hộ việc tự làm hại thay vì từ chối.
Nhìn chung thì những finding này có hơi gượng ép và đặt rất nhiều trách nhiệm vào người làm ra system prompt. Đồng thời, nó giống như là tác giả đang quy định cho LLM là phải toàn năng nhưng nó vẫn còn quá xa vời với khả năng hiện tại.
Chứa rất nhiều nghiên cứu về cách hoạt động của một số internal tools của ChatGPT. Từ đó, thực hiện indirect prompt injection thông qua các malicious site.
Finding đầu tiên liên quan đến việc indirect prompt injection vào Browsing Context (xảy ra khi user mention một URL cụ thể) của SearchGPT (một tool dùng để search của ChatGPT).
Finding thứ 2 liên quan đến việc làm cho một page nào đó được indexed bởi Bing, search engine mà SearchGPT sử dụng nhằm tấn công SearchGPT khi user chỉ search một keyword nào đó.
Finding thứ 3 chỉ đơn giản là insecure design của ChatGPT do nó cho phép gửi prompt khi click vào link thông qua q parameter.
Finding thứ 5, các tác giả sử dụng kỹ thuật có tên là Conversation Injection với idea giống với kỹ thuật Recursive Injection đã biết: sử dụng output của một LLM làm input của một LLM khác nhằm khai thác sự tin cậy giữa các LLM. Nhờ đó, SearchGPT tấn công được ChatGPT.
Finding thứ 6 tương tự với thứ 5 nhưng SearchGPT yêu cầu ChatGPT lưu vào thẳng memory của người dùng.
Về cơ bản, khi test AI, ta cần xem xét đến toàn bộ hệ thống của nó: model, data pipeline, application, agent, infrastructure chứ không đơn giản chỉ là một application như khi test web thông thường. Bài viết còn đưa ra rất nhiều attack surface và lỗ hổng của AI, thậm chí nằm ngoài Top Ten LLM Vuln của OWASP. Một số lỗ hổng ở web truyền thống thì lại không có impact gì nhưng đối với AI thì lại là rất đáng kể chẳng hạn tạo ra nội dung độc hại, lừa đảo và vi phạm các chính sách hiện có.
Nhìn chung, đây là một bài viết khá hay để nhìn nhận lại cái gì là lỗ hổng đối với AI system.
Đưa ra một mô hình chuyên dụng để tạo ra adversarial suffixes (hậu tố đối kháng) nhằm ép cho LLM luôn trả lời với “Sure, here is …“. Mô hình này hoạt động dựa trên GCG nhưng nới lỏng tiêu chí chấm điểm để có thêm nhiều suffixes hơn.
Tạo ra một attack LLM và dùng nó để tương tác với target LLM để tinh chỉnh payload cho đến khi nào đạt được kết quả mong muốn. Kỹ thuật này được gọi là PAIR. Ngoài ra còn có một judge model để kiểm tra xem attack LLM có tấn công thành công hay không. Kỹ thuật này sử dụng ngữ nghĩa đơn thuần thay vì dùng các token vô nghĩa như các kỹ thuật GCG.
Tương tự với PAIR: tinh chỉnh payload dựa trên việc tương tác nhưng hướng đến mục tiêu là truy xuất thông tin.
cyberark/FuzzyAI Wiki · GitHub: chỉ tương thích với Python 3.10. Có rất nhiều kiến thức về các kiểu tấn công mới, mô tả khái niệm classifier model, auxiliary model. Ngoài ra còn có tập dataset chứa các payload khá phong phú.
Các tác giả thực hiện tấn công indirect prompt injection vào Email Agent của Micrsoft Copilot với payload nằm trong email gửi đến agent. Agent sẽ có trigger giúp theo dõi email nhận được cho một tài khoản nào đó. Bằng cách gửi email có chứa prompt injection payload đơn giản (sử dụng Context Ignoring), attacker có thể khiến cho agent gửi lại danh sách user.
Biết được rằng các LLM agent duyệt web bằng cách parse accessibility tree. của HTML (một dạng giống DOM nhưng có ngữ nghĩa hơn về vai trò của từng element trong HTML).
Để tấn công, attacker sẽ sử dụng indirect prompt injection bằng cách ẩn giấu payload trong accessibility tree và sử dụng GCG để tối ưu hóa khả năng ghi đè được system prompt. Impact có thể rất lớn chẳng hạn như khiến trình duyệt gửi token đến attacker, tự động đóng tab, …
Một bug khá hay liên quan đến việc quên xử lý case-insensitive paths của Windows khiến cho prompt injection payload có thể yêu cầu agent edit settings.json file của VSCode để RCE.