Ottimizzazione della route per la gestione degli endpoint

Questo articolo descrive come abilitare l'ottimizzazione del percorso per il servizio del modello o il servizio delle caratteristiche degli endpoint. Gli endpoint di serving ottimizzati per il routing riducono drasticamente la latenza di overhead e consentono miglioramenti sostanziali del throughput supportato dall'endpoint.

Gli endpoint ottimizzati per la route vengono sottoposti a query in modo diverso dagli endpoint non ottimizzati per la route, tra cui l'uso di un URL e l'autenticazione diversi usando token OAuth. Per informazioni dettagliate, vedere Eseguire query sugli endpoint di gestione ottimizzati per la route.

Che cos'è l'ottimizzazione della route?

Quando si abilita l'ottimizzazione della route in un endpoint, Databricks Model Serving migliora il percorso di rete per le richieste di inferenza, con conseguente comunicazione più rapida e diretta tra il client e il modello. Questo routing ottimizzato sblocca query al secondo (QPS) più elevate rispetto agli endpoint non ottimizzati e offre latenze più stabili e inferiori per le applicazioni.

Requisiti

• L'ottimizzazione della route negli endpoint di servizio del modello ha gli stessi requisiti degli endpoint di servizio del modello non ottimizzati per la route.
• L'ottimizzazione della route sugli endpoint di gestione delle funzionalità ha gli stessi requisiti degli endpoint non ottimizzati per la route.

Abilitare l’ottimizzazione della route in un endpoint di gestione del modello

Interfaccia utente di gestione

È possibile abilitare l'ottimizzazione della route quando si crea un endpoint di gestione del modello usando l'interfaccia utente di gestione . È possibile abilitare l'ottimizzazione della route solo durante la creazione dell'endpoint, non è possibile aggiornare gli endpoint esistenti per l'ottimizzazione della route.

1. Nella barra laterale fare clic su Serve per visualizzare l'interfaccia utente di servizio.
2. Fare click su Crea l'endpoint di servizio.
3. Nella sezione Ottimizzazione del percorso selezionare Abilita ottimizzazione del percorso.
4. Dopo aver creato l'endpoint, Databricks invia una notifica sugli elementi necessari per eseguire query su un endpoint ottimizzato per la route.

REST API (Interfaccia di Programmazione delle Applicazioni REST)

Per configurare l'endpoint di servizio per l'ottimizzazione delle rotte usando l'API REST, specificare il parametro route_optimized durante la creazione dell'endpoint di servizio del modello. È possibile specificare questo parametro solo durante la creazione dell'endpoint, non è possibile aggiornare gli endpoint esistenti per l'ottimizzazione della route.

POST /api/2.0/serving-endpoints

{
  "name": "my-endpoint",
  "config":
  {
    "served_entities":
    [{
      "entity_name": "ads1",
      "entity_version": "1",
      "workload_type": "CPU",
      "workload_size": "Small",
      "scale_to_zero_enabled": true,
    }],
  },
  "route_optimized": true
}

Pitone

Se utilizzi Python, puoi usare il notebook seguente per creare un endpoint di serving ottimizzato per il routing.

Crea un endpoint di serving ottimizzato per il percorso tramite un notebook Python

Prendi il taccuino

Databricks SDK

Per configurare l'endpoint di servizio per l'ottimizzazione della route usando Databricks SDK, specificare il parametro durante la route_optimized creazione dell'endpoint di gestione del modello. È possibile specificare questo parametro solo durante la creazione dell'endpoint, non è possibile aggiornare gli endpoint esistenti per l'ottimizzazione della route.

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import EndpointCoreConfigInput, ServedEntityInput

workspace = WorkspaceClient()

workspace.serving_endpoints.create(
  name="my-serving-endpoint",
  config = EndpointCoreConfigInput(
    served_entities=[
    ServedEntityInput(
        entity_name="main.default.my-served-entity",
        scale_to_zero_enabled=True,
        workload_size="Small"
      )
    ]
  ),
  route_optimized=True
)

Abilitare l’ottimizzazione della route in un endpoint di gestione delle funzionalità

Per utilizzare l'ottimizzazione dell'instradamento per Feature and Function Serving, specificare il nome completo della specifica della feature nel campo entity_name nelle richieste di creazione di endpoint di serving. entity_version non è necessario per FeatureSpecs.

POST /api/2.0/serving-endpoints

{
  "name": "my-endpoint",
  "config":
  {
    "served_entities":
    [
      {
        "entity_name": "catalog_name.schema_name.feature_spec_name",
        "workload_type": "CPU",
        "workload_size": "Small",
        "scale_to_zero_enabled": true
      }
    ]
  },
  "route_optimized": true
}

Limiti

• L’ottimizzazione del percorso è disponibile solo per gli endpoint di distribuzione di modelli personalizzati e per gli endpoint di distribuzione delle funzionalità. La gestione degli endpoint che usano le API del modello di base o i modelli esterni non è supportata.
• I token OAuth interni di Databricks sono l’unica autenticazione supportata per l’ottimizzazione della route. I token di accesso personali non sono supportati.

Risorse aggiuntive

• Eseguire query sugli endpoint di servizio ottimizzati per la routing
• Ottimizzare gli endpoint di gestione dei modelli per la produzione