§ III — Инструменты

Инструменты
и проекты

Наши собственные разработки, а также open-source проекты и модели, которые мы используем, изучаем или на которые опираемся в исследованиях.

Наши проекты

Entity matching и record linkage

Open-source инструменты для задач сопоставления записей, дедупликации и entity resolution.

🔗

Splink

Open Source

Вероятностное связывание записей и дедупликация в масштабе. Работает на DuckDB, Spark, Athena, Postgres. Не требует обучающей выборки — Fellegi–Sunter модель с EM-алгоритмом.

Python DuckDB Spark
🧹

Dedupe

Open Source

Fuzzy matching с активным обучением: модель учится на ваших метках, задавая вопросы «это одна и та же запись?». Идеален для структурированных данных с шумом.

Python Active Learning
🧠

Ditto

Open Source

Entity matching на предобученных Transformer-моделях (BERT/RoBERTa). SOTA-результат: +29% F1 к предыдущим подходам. Аугментация, суммаризация, инъекция доменных знаний.

Python PyTorch Transformers
🏛

DeepMatcher

Open Source

Нейросетевой фреймворк для entity matching от группы AnHai (UW-Madison). Атрибутивные эмбеддинги, внимание, разнообразные архитектуры сравнения.

Python PyTorch

pyJedAI

Open Source

End-to-end фреймворк для entity resolution. Полный пайплайн: блокировка → сравнение → кластеризация. Интеграция с NLP/DL-моделями, работа без размеченных данных.

Python NLP
📊

Python Record Linkage Toolkit

Open Source

Модульный набор для record linkage: индексирование, блокировка, сравнение, классификация. Интеграция с pandas и scikit-learn. Идеален для прототипирования.

Python Pandas Scikit-learn

Модели и эмбеддинги

Предобученные модели и библиотеки для семантического поиска и векторного сравнения.

🤗

Sentence Transformers

Open Source

Стандартная библиотека для вычисления семантических эмбеддингов. Bi-Encoder для масштабного поиска, Cross-Encoder для точного попарного скоринга. 5000+ предобученных моделей на HuggingFace.

Python PyTorch HuggingFace
📐

FAISS

Open Source

Библиотека Meta для быстрого поиска ближайших соседей в пространствах высокой размерности. GPU-ускорение, миллиарды векторов, десятки алгоритмов квантизации и индексации.

C++ Python CUDA

Инфраструктура и протоколы

Протоколы, спецификации и инфраструктурные проекты, которые мы используем или планируем интегрировать.

🔌

Model Context Protocol (MCP)

Open Source

Открытый стандарт Anthropic для подключения ИИ-агентов к внешним инструментам и данным. «USB-C для ИИ» — единый протокол вместо кастомных интеграций. Планируем MCP-сервер для наших алгоритмов.

TypeScript JSON-RPC Спецификация
🗂

Awesome MCP Servers

Open Source

Курируемый каталог MCP-серверов от сообщества. Прокси, утилиты, интеграции с базами данных, внешними API, файловыми системами. Ориентир для нашего собственного MCP-сервера.