Разбор и сохранение данных из API нейросети в модели проекта: пошаговое руководство

Django

5 марта 2025 г.

Работа с нейросетевыми API часто требует не только получения ответов, но и их корректного сохранения в структуру проекта. В этой статье разберем, как организовать процесс: от формирования промпта до сохранения данных в модели.

1. Формирование промпта для структурированного вывода

Первым шагом является создание промпта, который явно указывает нейросети формат ответа:

prompt = """
Ты — помощник для анализа данных. Для запроса "{user_query}" верни ответ в формате JSON:
{
  "result": {
    "category": "категория (строка)",
    "confidence": "уверенность (число от 0 до 1)",
    "tags": ["список", "ключевых", "слов"]
  }
}
Пример:
{"result": {"category": "Технологии", "confidence": 0.95, "tags": ["AI", "ML"]}}
"""

Важно:

Укажите типы данных (строка, число, массив)
Добавьте пример для демонстрации структуры
Явно ограничьте глубину вложенности JSON

2. Получение данных через API

import requests

response = requests.post(
    "https://api.neuroservice.com/v1/generate",
    json={"prompt": prompt, "max_tokens": 200},
    headers={"Authorization": "Bearer YOUR_API_KEY"}
)

try:
    data = response.json()["result"]
except KeyError:
    raise ValueError("Неверный формат ответа API")

Лайфхак:

Используйте pydantic для валидации структуры JSON

3. Создание моделей данных

SQL (SQLAlchemy):

from sqlalchemy import Column, String, Float, ARRAY

class AnalysisResult(Base):
    __tablename__ = 'results'
    id = Column(Integer, primary_key=True)
    category = Column(String(50), nullable=False)
    confidence = Column(Float, nullable=False)
    tags = Column(ARRAY(String))

NoSQL (MongoDB):

from pymongo import MongoClient

db = MongoClient().mydatabase
collection = db.results

collection.insert_one({
    "category": data["category"],
    "confidence": data["confidence"],
    "tags": data["tags"]
})

4. Парсинг и сохранение данных

SQLAlchemy:

result = AnalysisResult(
    category=data["category"],
    confidence=data["confidence"],
    tags=data["tags"]
)
session.add(result)
session.commit()

Django ORM:

AnalysisResult.objects.create(
    category=data["category"],
    confidence=data["confidence"],
    tags=data["tags"]
)

5. Best practices

Всегда проверяйте статус ответа API
Логируйте некорректные ответы
Тестируйте граничные случаи
Используйте миграции при изменении структуры

Заключение

Правильная организация процесса сохранения данных из нейросетевых API позволяет:

Избежать потери информации
Упростить интеграцию с системами
Обеспечить целостность данных