Model garden

Llama 2 13b chat hf

Direct via de EU-router of als dedicated GPU-deployment. Data blijft in Europa.

Llama 2 13b chat hf is een open-source taalmodel van Meta met 13B parameters, gehost op Europese GPU's via een OpenAI-compatibele API.

meta-llama/Llama-2-13b-chat-hf
text->text · meta-llama · EU-hosted
13B
Parameters
Contextvenster
30GB
Minimale VRAM
POST /api/v1/chat/completions200 OK

Specificaties

Parameters 13B
Minimale VRAM 30 GB
Architectuur LlamaForCausalLM (vLLM)
Licentie llama2
Modaliteit text->text
Uitgebracht July 2023
Uitgever meta-llama ↗

Prijzen

€0.10
Input (per 1M tokens)
€0.18
Output (per 1M tokens)

Gedeelde EU-router, pay-per-token, scale-to-zero. Dedicated GPU-deployments worden per uur afgerekend — zie prijzen.

Direct aanroepen

Drop-in vervanger voor OpenAI: wijzig alleen de base-URL en de API-key. Ook het Anthropic-formaat (/v1/messages) wordt ondersteund.

curl https://hostyourai.com/api/v1/chat/completions \
  -H "Authorization: Bearer hyai-..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "meta-llama/Llama-2-13b-chat-hf",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Veelgestelde vragen

Kan ik Llama 2 13b chat hf in de EU draaien?

Ja. HostYourAI draait Llama 2 13b chat hf op GPU's in Europese datacenters via vLLM. Prompts en outputs verlaten de EU niet en er is geen Amerikaanse cloudprovider in de keten.

Is Llama 2 13b chat hf hosten AVG/GDPR-compliant?

Ja. Alle verwerking vindt plaats binnen de EU, er is een verwerkersovereenkomst (DPA) beschikbaar en de subprocessor-lijst is openbaar. Open-source gewichten betekenen ook: geen training op jouw data.

Wat kost Llama 2 13b chat hf?

Via de gedeelde EU-router betaal je €0.10 per miljoen input-tokens en €0.18 per miljoen output-tokens, zonder vaste kosten. Voor hoge volumes of isolatie kun je Llama 2 13b chat hf ook als dedicated GPU-instance per uur draaien.

Is de API compatibel met OpenAI?

Ja. Je gebruikt de standaard OpenAI-SDK's met een aangepaste base-URL (https://hostyourai.com/api/v1). Ook de Anthropic Messages API wordt ondersteund als drop-in.

Andere modellen van Meta

Probeer Llama 2 13b chat hf gratis

Account aanmaken duurt een minuut. Test Llama 2 13b chat hf direct in de playground.

Start gratis