Новые сообщения в профилях


⛵
Ладожский тест‑драйв: приключение на Кошкинском фарватере!


С 29 по 31 мая в живописном загородном яхт-клубе «Кошкинский фарватер» уже в четвёртый раз прошло главное весеннее событие для любителей активного отдыха на воде — «Ладожский тест-драйв».

Ладожский тест‑драйв»- незабываемое событие для всех любителей яхтинга!
🌊
🧭


Это отличная возможность:
испытать ходовые качества разных яхт в реальных условиях Ладоги;
отработать манёвры на сложном участке фарватера;
обменяться опытом с единомышленниками;
насладиться красотой ладожских пейзажей и свежим ветром больших вод.

На мероприятии были представлены различные модели катеров от нескольких производителей: «Триера», Vboats, KFboats, Albakore, Searene Yachts, СПЭВ, Victory, Berkut, River Brothers, «Салют», КАЗ «Север» и многие другие

На территория яхт-клуба : веревочный парк, конный клуб, спортивные и детские площадки, а также была представлена уникальная возможность покататься на досках SUP!

В Ладожском тест-драйве приняли участие катер "Великолепный" и Алексей Баронов и катер "Хемуль" от компании "Невская судоверфь"

Спасибо всем, кто стал частью этого события. До новых встреч на воде!
💙


📍
Место: Кошкинский фарватер, Ладожское озеро
🛥
Формат: тест‑драйвы яхт, практические тренировки, обмен опытом, неформальное общение у костра.


Indite написал в профиле ВЕЛИКОЛЕПНЫЙ.
При бронировании прогулки через сервис Indite https://indite.dev/dbtech-ecommerce/1/,
Зарегистрированный пользователь повышается в правах до уровня Indite Premium, что позволяет участвовать в реферальной программе, получая 20% от последующих заказов рефералов.
Иконка ресурса

DALLE-pytorch 2021-01-21

Нет прав для скачивания
DALL · E представляет собой версию GPT-3 с 12 миллиардами параметров, обученную генерировать изображения из текстовых описаний с использованием набора данных из пар текст-изображение.

DALL · E принадлежит OpenAI которая не открывает код.
Данный репозиторий — это реализация/репликация DALL-E с открытыми исходниками.


Реализация / репликация DALL-E, трансформатора текста OpenAI в изображение, в Pytorch. Он также будет содержать клип для ранжирования поколений.

Сид, Бен и Аран в Eleuther AI работают над DALL-E для Mesh Tensorflow! Пожалуйста, протяните им руку помощи, если вы хотите увидеть, как Далл-и тренируется на ТПУ.

Прежде чем повторить это, мы можем довольствоваться глубоким оцепенением или глубоким сном

Статус
Ханну удалось натренировать небольшой 6-слойный DALL-E на наборе данных всего из 2000 ландшафтных изображений! (2048 визуальных маркеров)

756


Устанавливать
$ pip install dalle-pytorch

Usage
Train VAE

import torch
from dalle_pytorch import DiscreteVAE

Код:
vae = DiscreteVAE(
    image_size = 256,
    num_layers = 3,          # number of downsamples - ex. 256 / (2 ** 3) = (32 x 32 feature map)
    num_tokens = 8192,       # number of visual tokens. in the paper, they used 8192, but could be smaller for downsized projects
    codebook_dim = 512,      # codebook dimension
    hidden_dim = 64,         # hidden dimension
    num_resnet_blocks = 1,   # number of resnet blocks
    temperature = 0.9,       # gumbel softmax temperature, the lower this is, the harder the discretization
    straight_through = False # straight-through for gumbel softmax. unclear if it is better one way or the other
)

images = torch.randn(4, 3, 256, 256)

loss = vae(images, return_recon_loss = True)
loss.backward()

# train with a lot of data to learn a good codebook
Train DALL-E with pretrained VAE from above



import torch
from dalle_pytorch import DiscreteVAE, DALLE

vae = DiscreteVAE(
    image_size = 256,
    num_layers = 3,
    num_tokens = 8192,
    codebook_dim = 1024,
    hidden_dim = 64,
    num_resnet_blocks = 1,
    temperature = 0.9
)

dalle = DALLE(
    dim = 1024,
    vae = vae,                  # automatically infer (1) image sequence length and (2) number of image tokens
    num_text_tokens = 10000,    # vocab size for text
    text_seq_len = 256,         # text sequence length
    depth = 12,                 # should aim to be 64
    heads = 16,                 # attention heads
    dim_head = 64,              # attention head dimension
    attn_dropout = 0.1,         # attention dropout
    ff_dropout = 0.1            # feedforward dropout
)

text = torch.randint(0, 10000, (4, 256))
images = torch.randn(4, 3, 256, 256)
mask = torch.ones_like(text).bool()

loss = dalle(text, images, mask = mask, return_loss = True)
loss.backward()

# do the above for a long time with a lot of data ... then

images = dalle.generate_images(text, mask = mask)
images.shape # (2, 3, 256, 256)
Ranking the generations
Train CLIP

Код:
import torch
from dalle_pytorch import CLIP

clip = CLIP(
    dim_text = 512,
    dim_image = 512,
    dim_latent = 512,
    num_text_tokens = 10000,
    text_enc_depth = 6,
    text_seq_len = 256,
    text_heads = 8,
    num_visual_tokens = 512,
    visual_enc_depth = 6,
    visual_image_size = 256,
    visual_patch_size = 32,
    visual_heads = 8
)

text = torch.randint(0, 10000, (4, 256))
images = torch.randn(4, 3, 256, 256)
mask = torch.ones_like(text).bool()

loss = clip(text, images, text_mask = mask, return_loss = True)
loss.backward()

To get the similarity scores from your trained Clipper, just do

images, scores = dalle.generate_images(text, mask = mask, clip = clip)

scores.shape # (2,)
images.shape # (2, 3, 256, 256)

# do your topk here, in paper they sampled 512 and chose top 32
Or you can just use the official CLIP model to rank the images from DALL-E

Scaling depth
In the blog post, they used 64 layers to achieve their results. I added reversible networks, from the Reformer paper, in order for users to attempt to scale depth at the cost of compute. Reversible networks allow you to scale to any depth at no memory cost, but a little over 2x compute cost (each layer is rerun on the backward pass).

Simply set the reversible keyword to True for the DALLE class

Код:
dalle = DALLE(
    dim = 1024,
    vae = vae,
    num_text_tokens = 10000,
    text_seq_len = 256,
    depth = 64,
    heads = 16,
    reversible = True  # <-- reversible networks https://arxiv.org/abs/2001.04451
)

Sparse Attention
You can also train with Microsoft Deepspeed's Sparse Attention, with any combination of dense and sparse attention that you'd like. However, you will have to endure the installation process.

First, you need to install Deepspeed with Sparse Attention

$ sh install_deepspeed.sh

Next, you need to install the pip package triton

$ pip install triton

If both of the above succeeded, now you can train with Sparse Attention!

Код:
dalle = DALLE(
    dim = 512,
    vae = vae,
    num_text_tokens = 10000,
    text_seq_len = 256,
    depth = 64,
    heads = 8,
    sparse_attn = (True, False) * 32  # interleave sparse and dense attention for 64 layers
)

Citations
Код:
@misc{unpublished2021dalle,
    title   = {DALL·E: Creating Images from Text},
    author  = {Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray},
    year    = {2021}
}
@misc{unpublished2021clip,
    title  = {CLIP: Connecting Text and Images},
    author = {Alec Radford, Ilya Sutskever, Jong Wook Kim, Gretchen Krueger, Sandhini Agarwal},
    year   = {2021}
}
@misc{kitaev2020reformer,
    title   = {Reformer: The Efficient Transformer},
    author  = {Nikita Kitaev and Łukasz Kaiser and Anselm Levskaya},
    year    = {2020},
    eprint  = {2001.04451},
    archivePrefix = {arXiv},
    primaryClass = {cs.LG}
}

Those who do not want to imitate anything, produce nothing. - Dali
Автор
CodePlace
Скачивания
0
Просмотры
1,231
Первый выпуск
Обновление
Рейтинг
0.00 звезд Оценок: 0

Другие ресурсы пользователя CodePlace

интеллектуальный помощник

cat > /var/www/indite_dev_usr/data/www/indite.dev/qwen_proxy.php << 'PROXY_EOF' 'Метод не разрешен']); } function verifyUserById($userId) { if (!$userId || $userId <= 0) return false; try { require_once XF_PATH . '/src/XF.php'; \XF::start(XF_PATH); $app = \XF::app(); $app->setup(); $user = \XF::em()->find('XF:User', (int)$userId); return $user !== null && $user->user_state === 'valid'; } catch (\Throwable $e) { return false; } } function checkAuthViaCookie() { try { require_once XF_PATH . '/src/XF.php'; \XF::start(XF_PATH); $app = \XF::app(); $app->setup(); $visitor = \XF::visitor(); $userId = $visitor->user_id ? (int)$visitor->user_id : 0; return ['is_logged_in' => $userId > 0, 'user_id' => $userId, 'username' => $visitor->username ?: '', 'method' => 'cookie']; } catch (\Throwable $e) { return ['is_logged_in' => false, 'user_id' => 0, 'username' => '', 'method' => 'cookie_failed']; } } $rawInput = file_get_contents('php://input'); $input = json_decode($rawInput, true); if (json_last_error() !== JSON_ERROR_NONE) { http_response_code(400); sendJson(['error' => 'Некорректный JSON']); } $userMessage = trim($input['message'] ?? ''); $imageData = $input['image_data'] ?? null; $imageMime = $input['image_mime'] ?? 'image/jpeg'; $mode = $input['mode'] ?? 'text'; $history = $input['history'] ?? []; $domUserId = $input['user_id'] ?? null; $seed = isset($input['seed']) ? (int)$input['seed'] : null; $auth = checkAuthViaCookie(); if (!$auth['is_logged_in'] && $domUserId && $domUserId > 0 && verifyUserById($domUserId)) { $auth['is_logged_in'] = true; $auth['user_id'] = (int)$domUserId; $auth['method'] = 'dom'; } $generateKeywords = ['нарисуй','нарисовать','сгенерируй','сгенерировать','создай изображен','создать изображен','изобрази','покажи картинк','создай картинку','make an image','generate image','draw','paint','create an image','иллюстрац','рису','нарис','сгенери','созда']; $videoKeywords = ['создай видео','сгенерируй видео','анимируй','анимация','видео','video','animation','animate','сделай видео','покажи видео','оживи','оживить','анимируй картинку','оживи картинку','оживи фото']; $msgLower = mb_strtolower($userMessage); $looksLikeVideo = false; $looksLikeImage = false; foreach ($videoKeywords as $kw) { if (mb_strpos($msgLower, $kw) !== false) { $looksLikeVideo = true; break; } } if (!$looksLikeVideo) { foreach ($generateKeywords as $kw) { if (mb_strpos($msgLower, $kw) !== false) { $looksLikeImage = true; break; } } } // Приоритет: видео > генерация картинки > анализ фото > текст if ($looksLikeVideo) { $mode = 'video'; } elseif ($looksLikeImage) { $mode = 'generate'; } elseif ($mode === 'text' && $imageData) { $mode = 'vision'; } if (!$auth['is_logged_in'] && in_array($mode, ['vision', 'generate', 'video'])) { http_response_code(403); sendJson(['error' => 'auth_required', 'message' => 'Для использования этой функции необходимо зарегистрироваться на Indite.']); } if (empty($userMessage) && $mode !== 'generate' && $mode !== 'video') { http_response_code(400); sendJson(['error' => 'Сообщение пустое']); } if (mb_strlen($userMessage) > 4000) { http_response_code(400); sendJson(['error' => 'Сообщение слишком длинное']); } $negEnc = urlencode(POLLINATIONS_NEG); // === ВИДЕО: мгновенно отдаём 3 URL (БЕЗ проверок!) === if ($mode === 'video') { $enc = urlencode($userMessage); $base = $seed !== null ? $seed : rand(1, 999999); $urls = []; for ($i = 0; $i < 3; $i++) { $urls[] = 'https://image.pollinations.ai/prompt/' . $enc . '?width=1024&height=1024&seed=' . ($base + $i * 777) . '&nologo=true&model=' . POLLINATIONS_MODEL . '&enhance=true&negative_prompt=' . $negEnc . '&referrer=indite.dev'; } sendJson([ 'choices' => [['message' => ['content' => '🎬 Создаю видео: "' . $userMessage . '"']]], '_video_urls' => $urls, '_video_mode' => 'kenburns', '_auth' => $auth, '_mode' => 'video', '_auto_detected' => true, '_source' => 'pollinations' ]); } // === ГЕНЕРАЦИЯ КАРТИНКИ: мгновенно, с enhance === if ($mode === 'generate') { $enc = urlencode($userMessage); $s = $seed !== null ? $seed : rand(1, 999999); $url = 'https://image.pollinations.ai/prompt/' . $enc . '?width=1024&height=1024&seed=' . $s . '&nologo=true&model=' . POLLINATIONS_MODEL . '&enhance=true&negative_prompt=' . $negEnc . '&referrer=indite.dev'; sendJson([ 'choices' => [['message' => ['content' => '🎨 Изображение: "' . $userMessage . '"']]], '_image_url' => $url, '_seed' => $s, '_auth' => $auth, '_mode' => 'generate', '_auto_detected' => true, '_source' => 'pollinations' ]); } // === TEXT / VISION === function callOpenRouter($requestData) { $ch = curl_init(); curl_setopt_array($ch, [ CURLOPT_RETURNTRANSFER => true, CURLOPT_POST => true, CURLOPT_URL => OPENROUTER_API_URL, CURLOPT_TIMEOUT => 90, CURLOPT_CONNECTTIMEOUT => 15, CURLOPT_HTTPHEADER => ['Content-Type: application/json', 'Authorization: Bearer ' . OPENROUTER_API_KEY, 'HTTP-Referer: ' . SITE_DOMAIN, 'X-Title: ' . SITE_NAME] ]); curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($requestData, JSON_UNESCAPED_UNICODE)); $response = curl_exec($ch); $httpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE); curl_close($ch); return ['response' => $response, 'httpCode' => $httpCode]; } $messages = []; if ($mode === 'vision' && $imageData) { $content = []; foreach ($history as $msg) { if (($msg['role'] ?? '') === 'user' && !empty($msg['content'])) $content[] = ['type' => 'text', 'text' => 'Previous: ' . $msg['content']]; } $content[] = ['type' => 'text', 'text' => $userMessage ?: 'Опиши это изображение подробно на русском языке.']; $content[] = ['type' => 'image_url', 'image_url' => ['url' => 'data:' . $imageMime . ';base64,' . $imageData]]; $messages[] = ['role' => 'user', 'content' => $content]; $requestData = ['model' => VISION_MODEL, 'messages' => $messages, 'max_tokens' => 1024]; } else { $systemPrompt = 'Ты — дружелюбный и компетентный интеллектуальный помощник на медиахостинге Indite. Отвечай на русском языке, кратко и по делу. Не выдумывай факты.'; $messages[] = ['role' => 'system', 'content' => $systemPrompt]; $recentHistory = array_slice($history, -10); foreach ($recentHistory as $msg) { $role = $msg['role'] ?? 'user'; $content = $msg['content'] ?? ''; if (in_array($role, ['user', 'assistant']) && !empty($content)) $messages[] = ['role' => $role, 'content' => $content]; } $messages[] = ['role' => 'user', 'content' => $userMessage]; $requestData = ['model' => TEXT_MODEL, 'messages' => $messages, 'temperature' => 0.7, 'max_tokens' => 1024]; } $result = callOpenRouter($requestData); if ($result['httpCode'] !== 200) { $requestData['model'] = ($mode === 'vision') ? VISION_FALLBACK : TEXT_FALLBACK; $result = callOpenRouter($requestData); } if ($result['httpCode'] !== 200) { http_response_code($result['httpCode'] ?: 502); sendJson(['choices' => [['message' => ['content' => '⚠️ Не удалось получить ответ от AI-сервиса. Попробуйте ещё раз.']]], '_auth' => $auth, '_mode' => $mode]); } $parsed = json_decode($result['response'], true); if (!is_array($parsed) || !isset($parsed['choices'])) { sendJson(['choices' => [['message' => ['content' => '⚠️ Сервис вернул некорректный ответ.']]], '_auth' => $auth, '_mode' => $mode]); } $parsed['_auth'] = $auth; $parsed['_mode'] = $mode; $parsed['_auto_detected'] = $looksLikeImage || $looksLikeVideo; $parsed['_model_used'] = $requestData['model']; sendJson($parsed); ?> PROXY_EOF chown indite_dev_usr:indite_dev_usr /var/www/indite_dev_usr/data/www/indite.dev/qwen_proxy.php chmod 644 /var/www/indite_dev_usr/data/www/indite.dev/qwen_proxy.php php -l /var/www/indite_dev_usr/data/www/indite.dev/qwen_proxy.php echo "✅ Прокси v12 — точная генерация + мгновенное видео"