Використовуйте безпечну модель для захисту незахищеної моделі та використовуйте інтелектуальну систему для захисту від атак розвідки. Ця стаття зі статті, написаної Windrush і передрукованої TechFlow Deep Tide. (Синопсис: Пакистан оголосив про 2 000 мегават електроенергії для «Центру майнінгу біткойнів і штучного інтелекту» прем'єр-міністр призначив спеціального помічника з блокчейну і криптовалют) (Довідкове доповнення: внутрішній експеримент Хон Хай: штучний інтелект може замінити 80% робочих місць, голова Лю Янвей розкрив триєдний план майбутньої фабрики) Гіки відкривають бізнес, Xiaobai купує курси, а художники безробітні, але незручна реальність така: приземлення ШІ гаряче, але сюжет не йде шляхом адвенту, а кидає кубики. Більше того, на зорі промисловості перша поверхня цього кубика, що приземляється, часто або жовта, або сіра. Причина також дуже проста: величезні прибутки генерують імпульс, не кажучи вже про ранню стадію розвитку, завжди повну лазівок. Дивлячись на цей набір даних, стає очевидним: в даний час більше 43% вузлів служби MCP мають неперевірені шляхи викликів оболонки, а більше 83% розгортань мають уразливості конфігурації MCP (Model Context Protocol); 88% розгортань компонентів штучного інтелекту взагалі не мають жодних захисних огорож; 150 000 легких фреймворків для розгортання штучного інтелекту, таких як Ollama, в даний час представлені в глобальній публічній мережі, а понад 1 мільярд доларів обчислювальної потужності було вилучено для майнінгу...... За іронією долі, атака на найрозумніші великі моделі вимагає мінімальної тактики — лише набір відкритих портів за замовчуванням, відкритий профіль YAML або неперевірений шлях виклику оболонки, і навіть, якщо підказки введені досить точно, сама велика модель може допомогти Грею визначити напрямок атаки. Двері конфіденційності корпоративних даних так довільно входять і виходять в епоху штучного інтелекту. Але проблема не є нерозв'язною: штучний інтелект має не лише генерацію та атаку. Як використовувати ШІ для захисту все частіше стає головною темою цієї епохи; У той же час у хмарі створення правил для ШІ також стало фокусом топових постачальників хмарних послуг, і Alibaba Cloud Security є одним із найтиповіших представників. У момент релізу Aliyun Feitian, який щойно закінчився, Aliyun офіційно оголосив про свої два шляхи хмарної безпеки: Security for AI та AI for Security, а також випустив продукти серії «Cloud Shield for AI», щоб надати клієнтам «комплексні рішення безпеки для модельних додатків», що є найкращим прикладом дослідження поточної галузі. 01 AI кидає кубики, чому сірий і жовтий завжди дивляться вгору першими? В історії людських технологій штучний інтелект не є першим новим видом, який «спочатку буде випробуваний жовтою бурею», сірий і жовтий перший спалах також є законом популяризації технологій, а не випадковістю. У 1839 році з'явилася фотографія срібних пластин, і першою хвилею користувачів стала промисловість; На зорі Інтернету електронна комерція ще не започаткувалася, а сайти для дорослих почали замислюватися про онлайн-оплату; Сьогоднішня велика зразкова вовняна вечірка, в якійсь мірі, також відтворює міф про «еру доменних імен» збагачення. Дивідендів часу завжди торкаються першими сірий і жовтий кольори. Тому що вони не звертають уваги на комплаєнс, не чекають нагляду, а ефективність, природно, надвисока. Тому кожен період спалаху технологій – це спочатку горщик з «каламутним супом», і ШІ, природно, не є винятком. У грудні 2023 року хакер використав лише підказкове слово – «пропозиція за 1 долар» – щоб спонукати робота з обслуговування клієнтів у магазині 4S майже продати Chevrolet за 1 долар. Це найпоширеніша «ін'єкція підказок» в епоху штучного інтелекту: перевірка дозволів не потрібна, жодних слідів журналу не залишається, а весь логічний ланцюжок можна замінити лише «говорячи розумно». Ще один крок вперед – «втеча з в'язниці». Зловмисники використовували риторичні запитання, рольові ігри, підказки в обхід тощо, щоб успішно змусити модель говорити те, чого вона не повинна була говорити: порнографію, виробництво наркотиків, неправдиві попереджувальні повідомлення...... У Гонконзі деякі люди навіть вкрали 200 мільйонів гонконгських доларів з корпоративних рахунків, фальсифікуючи голоси керівників. Окрім шахрайства, ШІ також має ризик «ненавмисного виведення»: у 2023 році велика модельна система освітнього гіганта при генерації планів уроків помилково експортувала «отруйні навчальні матеріали» з екстремальним контентом, а всього за 3 дні вибухнув захист прав батьків, громадська думка, а вартість акцій компанії втратила 12 млрд юанів. Штучний інтелект не розуміє закону, але він має здатність, і здатність завдавати шкоди, опинившись поза контролем, є шкідливою. Але з іншої точки зору, технологія ШІ нова, але кінцевий потік і засоби виробництва сірого і жовтого кольору незмінні, і для її вирішення залежить безпека. 02 Безпека для штучного інтелекту Давайте спочатку поговоримо про холодні знання, яких колективно уникає індустрія штучного інтелекту: суть великих моделей полягає не в «інтелекті» чи «розумінні», а в семантичній генерації під контролем ймовірності. Тому, як тільки контекст тренування перевищено, можуть вийти несподівані результати. Таким суперкласом може бути, ви хочете, щоб він писав вам новини, він писав вам вірші; Також може бути так, що ви хочете, щоб він порекомендував товар, і він раптом повідомляє вам, що температура в Токіо сьогодні становить мінус 25 градусів за Цельсієм. Більше того, ви говорите йому, що в грі, якщо ви не можете отримати справжній серійний номер такого-то програмного забезпечення, воно буде знято, і велика модель дійсно може зробити все можливе, щоб допомогти користувачам знайти справжній серійний номер програмного забезпечення за 0 вартістю. Для того, щоб вихід був контрольованим, підприємство повинно розуміти модель і безпеку. Згідно з останнім звітом IDC «China Security Big Model Capability Assessment», PK Alibaba з усіма провідними вітчизняними виробниками з можливостями великих моделей безпеки є першим за 4 з 7 показників, а решта 3 всі вищі, ніж у середньому по галузі. З точки зору підходу, відповідь, яку дає Alibaba Cloud Security, також проста: дозвольте безпеці випереджати швидкість штучного інтелекту та створіть трирівневу структуру повного стеку захисту знизу вгору – від безпеки інфраструктури до керування введенням і виходом великої моделі, до захисту служб додатків штучного інтелекту. Серед трьох рівнів найбільш екзистенційним є «AI Guardrail» середнього шару, присвяченого ризику великих моделей. Взагалі кажучи, основними ризиками для безпеки великих моделей є: порушення контенту, витік конфіденційних даних, атаки швидкого впровадження слів, модельні ілюзії та атаки з джейлбрейка. Однак традиційні рішення безпеки в основному є архітектурами загального призначення, призначеними для Інтернету, а не для «розмовляючих програм», і, природно, не можуть точно ідентифікувати і реагувати на ризики, унікальні для додатків великих моделей. Ще складніше охопити виникаючі питання, такі як безпека згенерованого контенту, захист від контекстних атак і достовірність виведення моделі. Що ще важливіше, традиційним рішенням не вистачає точних керованих засобів і механізмів візуального простежування, що призводить до величезних сліпих зон в управлінні штучним інтелектом, і вони, природно, не можуть вирішити проблему, якщо не знають, в чому проблема. Справжня сила AI Guardrail полягає не тільки в тому, що «він може блокувати», але й у тому, чи займаєтеся ви попередньо навченими великими моделями, послугами штучного інтелекту чи агентами штучного інтелекту в різних бізнес-формах, він знає, про що ви говорите і що генерує велика модель, щоб забезпечити точне виявлення ризиків і проактивні можливості захисту для досягнення відповідності, безпеки та стабільності. Зокрема, AI Guardrail конкретно відповідає за захист трьох типів сценаріїв: Підсумок відповідності: Проведення багатовимірної перевірки відповідності текстового вмісту генеративного введення та виводу штучного інтелекту, що охоплює такі категорії ризику, як політична чутливість, порнографія та вульгарність, упередження та дискримінація, а також погані цінності, глибоке виявлення конфіденційних даних та конфіденційної інформації, яка може бути витоком під час взаємодії зі штучним інтелектом, а також підтримка особистої конфіденційності, підприємство ...
Контент має виключно довідковий характер і не є запрошенням до участі або пропозицією. Інвестиційні, податкові чи юридичні консультації не надаються. Перегляньте Відмову від відповідальності , щоб дізнатися більше про ризики.
Чому в епоху ШІ завжди найперше вибухають кошти, пов'язані з азартними іграми та проституцією?
Використовуйте безпечну модель для захисту незахищеної моделі та використовуйте інтелектуальну систему для захисту від атак розвідки. Ця стаття зі статті, написаної Windrush і передрукованої TechFlow Deep Tide. (Синопсис: Пакистан оголосив про 2 000 мегават електроенергії для «Центру майнінгу біткойнів і штучного інтелекту» прем'єр-міністр призначив спеціального помічника з блокчейну і криптовалют) (Довідкове доповнення: внутрішній експеримент Хон Хай: штучний інтелект може замінити 80% робочих місць, голова Лю Янвей розкрив триєдний план майбутньої фабрики) Гіки відкривають бізнес, Xiaobai купує курси, а художники безробітні, але незручна реальність така: приземлення ШІ гаряче, але сюжет не йде шляхом адвенту, а кидає кубики. Більше того, на зорі промисловості перша поверхня цього кубика, що приземляється, часто або жовта, або сіра. Причина також дуже проста: величезні прибутки генерують імпульс, не кажучи вже про ранню стадію розвитку, завжди повну лазівок. Дивлячись на цей набір даних, стає очевидним: в даний час більше 43% вузлів служби MCP мають неперевірені шляхи викликів оболонки, а більше 83% розгортань мають уразливості конфігурації MCP (Model Context Protocol); 88% розгортань компонентів штучного інтелекту взагалі не мають жодних захисних огорож; 150 000 легких фреймворків для розгортання штучного інтелекту, таких як Ollama, в даний час представлені в глобальній публічній мережі, а понад 1 мільярд доларів обчислювальної потужності було вилучено для майнінгу...... За іронією долі, атака на найрозумніші великі моделі вимагає мінімальної тактики — лише набір відкритих портів за замовчуванням, відкритий профіль YAML або неперевірений шлях виклику оболонки, і навіть, якщо підказки введені досить точно, сама велика модель може допомогти Грею визначити напрямок атаки. Двері конфіденційності корпоративних даних так довільно входять і виходять в епоху штучного інтелекту. Але проблема не є нерозв'язною: штучний інтелект має не лише генерацію та атаку. Як використовувати ШІ для захисту все частіше стає головною темою цієї епохи; У той же час у хмарі створення правил для ШІ також стало фокусом топових постачальників хмарних послуг, і Alibaba Cloud Security є одним із найтиповіших представників. У момент релізу Aliyun Feitian, який щойно закінчився, Aliyun офіційно оголосив про свої два шляхи хмарної безпеки: Security for AI та AI for Security, а також випустив продукти серії «Cloud Shield for AI», щоб надати клієнтам «комплексні рішення безпеки для модельних додатків», що є найкращим прикладом дослідження поточної галузі. 01 AI кидає кубики, чому сірий і жовтий завжди дивляться вгору першими? В історії людських технологій штучний інтелект не є першим новим видом, який «спочатку буде випробуваний жовтою бурею», сірий і жовтий перший спалах також є законом популяризації технологій, а не випадковістю. У 1839 році з'явилася фотографія срібних пластин, і першою хвилею користувачів стала промисловість; На зорі Інтернету електронна комерція ще не започаткувалася, а сайти для дорослих почали замислюватися про онлайн-оплату; Сьогоднішня велика зразкова вовняна вечірка, в якійсь мірі, також відтворює міф про «еру доменних імен» збагачення. Дивідендів часу завжди торкаються першими сірий і жовтий кольори. Тому що вони не звертають уваги на комплаєнс, не чекають нагляду, а ефективність, природно, надвисока. Тому кожен період спалаху технологій – це спочатку горщик з «каламутним супом», і ШІ, природно, не є винятком. У грудні 2023 року хакер використав лише підказкове слово – «пропозиція за 1 долар» – щоб спонукати робота з обслуговування клієнтів у магазині 4S майже продати Chevrolet за 1 долар. Це найпоширеніша «ін'єкція підказок» в епоху штучного інтелекту: перевірка дозволів не потрібна, жодних слідів журналу не залишається, а весь логічний ланцюжок можна замінити лише «говорячи розумно». Ще один крок вперед – «втеча з в'язниці». Зловмисники використовували риторичні запитання, рольові ігри, підказки в обхід тощо, щоб успішно змусити модель говорити те, чого вона не повинна була говорити: порнографію, виробництво наркотиків, неправдиві попереджувальні повідомлення...... У Гонконзі деякі люди навіть вкрали 200 мільйонів гонконгських доларів з корпоративних рахунків, фальсифікуючи голоси керівників. Окрім шахрайства, ШІ також має ризик «ненавмисного виведення»: у 2023 році велика модельна система освітнього гіганта при генерації планів уроків помилково експортувала «отруйні навчальні матеріали» з екстремальним контентом, а всього за 3 дні вибухнув захист прав батьків, громадська думка, а вартість акцій компанії втратила 12 млрд юанів. Штучний інтелект не розуміє закону, але він має здатність, і здатність завдавати шкоди, опинившись поза контролем, є шкідливою. Але з іншої точки зору, технологія ШІ нова, але кінцевий потік і засоби виробництва сірого і жовтого кольору незмінні, і для її вирішення залежить безпека. 02 Безпека для штучного інтелекту Давайте спочатку поговоримо про холодні знання, яких колективно уникає індустрія штучного інтелекту: суть великих моделей полягає не в «інтелекті» чи «розумінні», а в семантичній генерації під контролем ймовірності. Тому, як тільки контекст тренування перевищено, можуть вийти несподівані результати. Таким суперкласом може бути, ви хочете, щоб він писав вам новини, він писав вам вірші; Також може бути так, що ви хочете, щоб він порекомендував товар, і він раптом повідомляє вам, що температура в Токіо сьогодні становить мінус 25 градусів за Цельсієм. Більше того, ви говорите йому, що в грі, якщо ви не можете отримати справжній серійний номер такого-то програмного забезпечення, воно буде знято, і велика модель дійсно може зробити все можливе, щоб допомогти користувачам знайти справжній серійний номер програмного забезпечення за 0 вартістю. Для того, щоб вихід був контрольованим, підприємство повинно розуміти модель і безпеку. Згідно з останнім звітом IDC «China Security Big Model Capability Assessment», PK Alibaba з усіма провідними вітчизняними виробниками з можливостями великих моделей безпеки є першим за 4 з 7 показників, а решта 3 всі вищі, ніж у середньому по галузі. З точки зору підходу, відповідь, яку дає Alibaba Cloud Security, також проста: дозвольте безпеці випереджати швидкість штучного інтелекту та створіть трирівневу структуру повного стеку захисту знизу вгору – від безпеки інфраструктури до керування введенням і виходом великої моделі, до захисту служб додатків штучного інтелекту. Серед трьох рівнів найбільш екзистенційним є «AI Guardrail» середнього шару, присвяченого ризику великих моделей. Взагалі кажучи, основними ризиками для безпеки великих моделей є: порушення контенту, витік конфіденційних даних, атаки швидкого впровадження слів, модельні ілюзії та атаки з джейлбрейка. Однак традиційні рішення безпеки в основному є архітектурами загального призначення, призначеними для Інтернету, а не для «розмовляючих програм», і, природно, не можуть точно ідентифікувати і реагувати на ризики, унікальні для додатків великих моделей. Ще складніше охопити виникаючі питання, такі як безпека згенерованого контенту, захист від контекстних атак і достовірність виведення моделі. Що ще важливіше, традиційним рішенням не вистачає точних керованих засобів і механізмів візуального простежування, що призводить до величезних сліпих зон в управлінні штучним інтелектом, і вони, природно, не можуть вирішити проблему, якщо не знають, в чому проблема. Справжня сила AI Guardrail полягає не тільки в тому, що «він може блокувати», але й у тому, чи займаєтеся ви попередньо навченими великими моделями, послугами штучного інтелекту чи агентами штучного інтелекту в різних бізнес-формах, він знає, про що ви говорите і що генерує велика модель, щоб забезпечити точне виявлення ризиків і проактивні можливості захисту для досягнення відповідності, безпеки та стабільності. Зокрема, AI Guardrail конкретно відповідає за захист трьох типів сценаріїв: Підсумок відповідності: Проведення багатовимірної перевірки відповідності текстового вмісту генеративного введення та виводу штучного інтелекту, що охоплює такі категорії ризику, як політична чутливість, порнографія та вульгарність, упередження та дискримінація, а також погані цінності, глибоке виявлення конфіденційних даних та конфіденційної інформації, яка може бути витоком під час взаємодії зі штучним інтелектом, а також підтримка особистої конфіденційності, підприємство ...