Animator2D

Animator2D è un modello di intelligenza artificiale progettato per generare animazioni di sprite in pixel-art a partire da una descrizione testuale. Il modello utilizza un encoder di testo basato su BERT per estrarre caratteristiche testuali e una rete generativa convoluzionale per creare sprite animati.

Descrizione del Modello

Nome: Animator2D
Input:
- Descrizione del personaggio
- Numero di frame dell'animazione
- Azione del personaggio
- Direzione di visualizzazione
Output: Sprite animato in formato immagine

Dataset

Il modello è stato addestrato utilizzando il dataset spraix_1024, che contiene sprite animati con descrizioni testuali dettagliate.

Installazione

Per utilizzare il modello, assicurati di avere installato torch, torchvision, transformers e huggingface_hub:

pip install torch torchvision transformers huggingface_hub

Utilizzo

Caricamento del Modello

import torch
from huggingface_hub import hf_hub_download
from model import Animator2D  # Assicurati di avere il codice del modello

# Scarica il modello
model_path = hf_hub_download(repo_id="tuo_username/Animator2D", filename="animator2d_model.pth")

# Inizializza il modello
model = Animator2D()
model.load_state_dict(torch.load(model_path, map_location=torch.device('cpu')))
model.eval()

Generazione di uno Sprite

from transformers import AutoTokenizer
import torch

# Tokenizer per il testo
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")

def generate_sprite(model, description, num_frames, action, direction):
    text = f"{num_frames}-frame sprite animation of: {description}, that: {action}, facing: {direction}"
    encoded_text = tokenizer(text, return_tensors="pt", padding="max_length", max_length=128, truncation=True)
    
    with torch.no_grad():
        generated_sprite = model(encoded_text['input_ids'], encoded_text['attention_mask'])
    
    return generated_sprite.cpu()

Esempio di utilizzo:

sprite = generate_sprite(model, "red-haired hobbit in green cape", 17, "shoots with slingshot", "East")

Licenza

Questo modello è distribuito sotto la licenza MIT.

Contatti

Per qualsiasi domanda o contributo, contatta Lod34.