Gemini ➜ OpenAI API прокси. Serverless

Моя цель - предложение широкого ассортимента товаров и услуг на постоянно высоком качестве обслуживания по самым выгодным ценам.

Демо

Демо здесь.

Зачем

API Gemini бесплатен, но существует множество инструментов, которые работают исключительно с API OpenAI.

Проект openai-gemini позволяет с лёгкостью создать персональный Gemini API-endpoint, совместимый с OpenAI, бесплатно.

Serverless?

Хотя прокси и работает в облаке, для его функционирования не требуется обслуживание сервера.

Его легко развернуть у различных провайдеров бесплатно (с некоторыми довольно щедрыми ограничениями, более чем подходящими для личного использования).

Локальный запуск прокси также возможен, хотя такой вариант удобен скорее для разработки.

С чего начать

Вам понадобится персональный ключ Google API.

Даже если вы находитесь за пределами поддерживаемых регионов (например, в Европе), всё равно можно получить его при помощи VPN.

Разверните проект на одном из провайдеров по инструкциям, которые приведены на странице проекта. Проще всего воспользоваться готовыми кнопками [ Deploy ... ], но приведены и другие варианты.

Доступен выбор из нескольких провайдеров: Vercel, Netlify, Cloudflare.

За пределами поддерживаемых регионов следует предпочесть Vercel. Будет работать и Netlify (кроме edge), но в таком случае следует учесть его ограничение на время выполнения запроса - 10 секунд, чего в некоторых случаях может оказаться недостаточно.

Как пользоваться

Если вы откроете ваш только что созданный прокси в браузере, вы увидите только сообщение 404 Not Found. Это ожидаемо, поскольку API не предназначен для прямого доступа через браузер.

Чтобы использовать его, необходимо ввести адрес вашего API и ключ API Gemini в настройках программного обеспечения, которое предполагается использовать.

Не все программы позволяют задать нестандартный адрес OpenAI API, но очень многие позволяют (хотя эти настройки иногда могут быть глубоко спрятаны).

Как правило требуется указывать базу API в таком формате:
https://my-super-proxy.vercel.app/v1

Однако некоторое программное обеспечение может ожидать адрес без окончания /v1:
https://my-super-proxy.vercel.app

Соответствующее поле может быть обозначено как “OpenAI proxy”.

Возможно, вам придётся поискать в разделе “Advanced settings” или аналогичном. Или в каком-то конфиг-файле (стоит поискать подробности в документации).

Для некоторых утилит командной строки может понадобиться задать переменную окружения, например:

set OPENAI_BASE_URL=https://my-super-proxy.vercel.app/v1

..или:

set OPENAI_API_BASE=https://my-super-proxy.vercel.app/v1

Если возникнут какие-либо вопросы - с радостью отвечу в комментариях.

Приятного использования!

Источник: https://habr.com/ru/articles/798123/


Интересные статьи

Интересные статьи

Генератор изображений OpenAI DALL-E 3 будет автоматически добавлять водяные знаки к метаданным изображений, чтобы соответствовать стандартам Коалиции по происхождению и аутентичности контента (C2PA). ...
Привет, Хабр! Продолжаю серию статей про разработку telegram-ботов на библиотеке aiogram и языке программирования Python. Хочется отметить, что статья не является документацией или учебником. Я просто...
Изображение взято из https://www.niio.com/blog/what-is-ai-art-chatgpt/TL;DR1. Заводим аккаунт OpenAI;2. Качаем Autoresponder for TG, например, для Телеграма;3. Создаем правило для всех сообщений с мас...
В статье расскажу про serverless computing и какие есть Open Source-реализации self-hosted-фреймворков с поддержкой Kubernetes, об их возможностях и ограничениях. Еще поделюсь опытом нашего клиента, ...
При работе с Serverless есть задачи, для которых базовой функциональности облачных платформ не хватает: использование бессерверных функций со сторонними API, локальная отладка приложения, объединение ...