Юридическая фирма
Legal Tech
Локальная LLM для анализа юридических документов
Развернули локальную LLM для автоматического анализа контрактов и NDA в юридической фирме
до
3 часа
5 мин
↓ 97%
Анализ контракта
до
85%
98%
↑ 13 п.п.
Точность извлечения
до
Облако
On-premise
100% контроль
Размещение данных
Вызов
Юридическая фирма обрабатывала 200+ контрактов и NDA в месяц. Использование облачных API было невозможно из-за конфиденциальности клиентских данных.
Строгая конфиденциальность — данные не могут покидать периметр
Ручной анализ контракта занимает 2-4 часа
Нехватка юристов для растущего объёма документов
Требования регулятора к обработке персональных данных
Решение
Развернули Llama 3.1 70B на локальной инфраструктуре клиента с специализированным fine-tuning для анализа юридических документов.
Инфраструктура
- 2x NVIDIA A100 80GB
- vLLM для inference
- Air-gapped сеть
- Шифрование at rest
Анализ документов
- Извлечение ключевых условий
- Определение рисков
- Сравнение версий
- Суммаризация
Оптимизация
- Fine-tuning на 5k контрактов
- AWQ квантизация
- Оптимизация промптов
- Батчинг
Производительность
Извлечение условий98% точность
Определение рисков95% recall
Throughput40 документов/час
Латентность< 30 сек на документ
Процесс работы
Аудит
1 неделя- Анализ типов документов
- Определение полей для извлечения
Инфраструктура
1 неделя- Установка GPU-серверов
- Настройка безопасности
Fine-tuning
3 недели- Подготовка датасета
- Обучение модели
- Валидация
Интеграция
2 недели- API для юристов
- Веб-интерфейс
- Обучение команды
Результаты
Скорость
Анализ контракта за 5 минут вместо 3 часов
Точность
98% точность извлечения ключевых условий
Безопасность
Все данные остаются на серверах клиента
Масштаб
Обработка в 10 раз большего объёма документов
“Локальная LLM от QZX решила нашу ключевую проблему — мы получили AI-возможности для анализа документов без компромиссов в конфиденциальности. Скорость работы выросла в десятки раз.”
— Управляющий партнёр, юридическая фирма
Технологический стек
Llama 3.1 70BvLLMPythonFastAPINVIDIA A100AWQDocker
Заинтересовал кейс?
Обсудим как мы можем создать подобное решение для вашего бизнеса.