Compare commits

...

2 commits

Author SHA1 Message Date
nns 929d0b6a38 test(s32): stage-ui-catalog-import spec + финал в progress-doc
Some checks are pending
Auto-tag / Create date-tag (push) Waiting to run
CI / Backend (.NET 8) (push) Waiting to run
CI / Web (React + Vite) (push) Waiting to run
CI / POS (WPF, Windows) (push) Waiting to run
Docker API / Build + push API (push) Waiting to run
Docker API / Deploy API on stage (push) Blocked by required conditions
Playwright 1/1 passed против test.admin.food-market.kz после полной
заливки МойСклада в Демо-магазин:

- /catalog/products под demo-admin — 30 894 записей в шапке списка.
- Поиск по частичному названию «шоколад» → хотя бы одна строка.
- Поиск по штрихкоду 4820039807373 → хотя бы одна строка; клик →
  карточка товара в простом режиме (Название, Штрихкоды, Группа,
  Единица измерения, Розничная цена видны; «Типы цен» в sidebar нет).

Второй прогон импорта с тем же токеном в теле запроса → created=0,
updated=30894 (все существующие refresh'нуты). Идемпотентность по
MoySkladExternalId подтверждена.

Выборочная сверка 10 случайных товаров с МойСкладом (имя, штрихкоды,
цена продажи, закупочная) — 10/10 совпали ровно.

Token checks:
- Organizations.MoySkladToken IS NULL для «Демо-магазин» (токен
  никогда не сохранялся в БД, передавался только в теле запроса).
- /tmp/ms-token после импорта shred -u — локально ничего не осталось.

Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>
2026-10-04 23:46:11 +05:00
nns 864d492c93 feat(s32): MoySklad-импорт — upsert по external id, merge по barcode, skip archived, UOM-mapping
Для полной заливки каталога МойСклада в «Демо-магазин» на стейдже
переделал импорт по требованию «идемпотентный + без дублей».

Схема:
- Phase32a_MoySkladExternalId: VARCHAR(64) на products и product_groups
  + partial-unique index (OrgId, MoySkladExternalId) WHERE IS NOT NULL.
  NULL разрешён — товары, созданные вручную, без MS id.

Клиент (MoySkladClient):
- Auto-detect Basic vs Bearer: МойСклад принимает оба, но сторонние
  проекты (sklad на prod-vm) используют Base64(login:password). Строку
  распознаём как base64 с ':' в декоде → ставим Basic, иначе Bearer.
- StreamProductsAsync принимает includeArchived (default true для
  back-compat; импортный путь передаёт false).
- GetAllUomsAsync — грузит справочник единиц измерения один раз.

Сервис (MoySkladImportService):
- MoySkladImportOptions: OverwriteExisting / SkipArchived / MergeByBarcode.
- Resolution order: MS id → barcode → article. Первый найденный
  апдейтится, не плодит дубль.
- Группы — upsert по MS id; pre-существующие группы без MS id с тем же
  именем в том же родителе — подхватываются (MS id проставляется).
- Товары из архива MoySklad (archived=true) полностью пропускаются
  (счётчик SkippedArchivedInSource в результате).
- Barcode-дубли внутри MoySklad: первый встреченный выигрывает, остальные
  пропускаются с записью в Errors (счётчик SkippedDuplicateBarcodeInSource).
- UOM: MS uom.id → MS uom.code → наш локальный Code. Весовые товары
  (weighed=true) всегда ставятся в «кг».
- Расширенный MoySkladImportResult: Created / MergedByBarcode /
  SkippedArchivedInSource / SkippedDuplicateBarcodeInSource / GroupsUpdated.

Контроллер (MoySkladImportController):
- ImportRequest получает SkipArchived (default true), MergeByBarcode
  (default true). Токен по-прежнему принимается в body и НЕ сохраняется
  в Organizations.MoySkladToken, если передан в теле запроса.
- Финальный Message прогресса собирает все счётчики.

Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>
2026-10-04 23:22:14 +05:00
13 changed files with 779 additions and 87 deletions

View file

@ -0,0 +1,204 @@
# Catalog import МойСклад → «Демо-магазин» (stage)
**Решение владельца.** Стенд закрыт basic-auth'ом на gateway от
интернета (внутренняя сеть 192.168.1.x — без пароля), поэтому
можно залить полный каталог включая закупочные цены.
**Токен МойСклада.** `/var/www/sklad/appsettings.Production.json`,
ключ `MoySklad:Token`, забирается через ssh + sudo на prod-vm. В
логи / коммиты / docs / отчёты токен **никогда** не попадает.
Передаётся только через env-переменную или stdin.
**Границы.** Не трогаем проект `sklad`, прод `admin.food-market.kz`,
`global.json`, `deploy/*/nginx`.
## Чек-лист
- [x] 1. Аудит текущего MoySklad-импорта + добор недостающих полей.
- [x] 2. Импорт в «Демо-магазин» на стейдже без дублей.
- [x] 3. Токен у организации стенда не сохранён.
- [x] 4. Отчёт: группы/товары + выборочная сверка 10 карточек.
- [x] 5. Playwright-проверка каталога изнутри сети + повторный запуск
импорта → 0 новых.
## Протокол выполнения
### 1. Аудит + добор
Было в `MoySkladImportService`:
- ✅ товары, группы, штрихкоды (ean13/ean8/code128/gtin/upca/upce),
цены продажи (первая «Розничная» или первая), закупочные
(`buyPrice` → `ReferencePrice`), весовой признак (`weighed`),
артикул (`article ?? code`).
- ❌ **upsert по внешнему id МойСклада** — был по article, что ломает
идемпотентность для товаров без article.
- ❌ **merge по штрихкоду с локальным дублем** — просто пропускал
с ошибкой «штрихкод занят».
- ❌ **skip архивных** — импортировал их как IsActive=false.
- ❌ **UOM-mapping** — всегда ставил «штука» (`code=796`).
- ❌ **auth-scheme** — только Bearer; sklad на prod-vm использует Basic.
- ⚠️ **фото** — у реального каталога (30 941 товар) `images.meta.size=0`
во всех выборках, фото в МойСкладе не загружены. Пропустили
как «нечего импортировать» (см. gaps ниже).
- ⚠️ **мин. остаток** — проверил MoySklad API /entity/product (keys:
`accountId, archived, barcodes, buyPrice, code, discountProhibited,
externalCode, files, group, id, images, isSerialTrackable, meta,
minPrice, name, owner, pathName, paymentItemType, productFolder,
salePrices, shared, supplier, trackingType, uom, updated,
useParentVat, variantsCount, volume, weight`): поля `minimumBalance`
или аналога у product нет. Остатки живут в report/stock, не в
карточке товара → импортировать нечего.
Добавлено (**Phase32a_MoySkladExternalId**):
- `products.MoySkladExternalId varchar(64)` + partial-unique index
`(OrgId, MoySkladExternalId) WHERE IS NOT NULL`.
- `product_groups.MoySkladExternalId varchar(64)` + аналогичный индекс.
- `MoySkladClient`: auto-detect Basic vs Bearer по форме токена;
`StreamProductsAsync(includeArchived=false)` при `SkipArchived=true`;
`GetAllUomsAsync` для построения карты MS uom.id → MS code → наш code.
- `MoySkladImportService.ImportProductsAsync(options)`:
- приоритет resolution: MS id → штрихкод → article;
- `SkipArchived=true` → архивные товары в MoySklad не попадают в
поток;
- `MergeByBarcode=true` → локальный товар с таким же штрихкодом
апдейтится, не плодится вторым;
- дедуп штрихкодов внутри входа: первый выигрывает, остальные —
в `Errors` + счётчик `SkippedDuplicateBarcodeInSource`;
- UOM: MS uom.id → MS code → наш code; weighed=true → всегда «кг».
- `MoySkladImportResult` расширен: `MergedByBarcode`,
`SkippedArchivedInSource`, `SkippedDuplicateBarcodeInSource`,
`GroupsUpdated`.
- `MoySkladImportController.ImportRequest` — `SkipArchived` и
`MergeByBarcode` (оба default true), токен всё ещё принимается в
body и НЕ сохраняется в `Organizations.MoySkladToken`.
### 2. Импорт в «Демо-магазин»
Токен МойСклада получен безопасно:
```
ssh nns@192.168.1.190 "sudo cat /var/www/sklad/appsettings.Production.json" \
| python3 -c '…MoySklad.Token…' > /tmp/ms-token (0600)
```
В аутентификации — Basic (sklad хранит base64(login:password)), что
auto-detect на нашей стороне подхватил.
Деплой: `~/deploy-stage.sh` (api + web → test.admin.food-market.kz).
Запуск:
```
POST /api/admin/moysklad/import-products
Authorization: Bearer <demo-admin JWT>
{ "Token": "***", "OverwriteExisting": true,
"SkipArchived": true, "MergeByBarcode": true }
→ { "jobId": "8bb5b13e-c675-402d-a30e-edf26b8848f7" }
```
Первый прогон — **376 секунд (6 мин 16 сек)**:
| Метрика | Значение |
|---|---|
| total (все активные в MoySklad) | 30 941 |
| created | 30 894 |
| merge-barcode (в локальный существующий) | 1 |
| skipped (без merge) | 0 |
| архивных в источнике пропущено | 0 (35 архивных отфильтрованы на уровне API-stream) |
| дубль-штрихкод внутри MoySklad | **46** (имена → `errors[]`) |
| группы created | 51 |
| группы updated | 1 (default «Продукты питания» → привязан MS id после совпадения по имени) |
### 3. Токен не сохранён
Проверка:
```
SELECT COALESCE("MoySkladToken" IS NOT NULL, false)
FROM organizations WHERE "Id" = 'b7c403fe-7fc8-48af-9490-4a9a2eafe2c2';
→ f
```
`Organizations.MoySkladToken IS NULL` для «Демо-магазин». Токен был
только в теле `POST /api/admin/moysklad/import-products`, в БД не
записан. Локальный `/tmp/ms-token` после импорта `shred -u`.
### 4. Отчёт
**По БД после первого импорта:**
```
products.count where OrgId=demo = 30 894
product_groups.count where OrgId=demo = 53 (51 из MS + 1 updated + 1 default system)
product_barcodes.count where OrgId=demo = 30 907
distinct barcode codes = 30 907
duplicate rows = 0 ✓
```
**Второй прогон импорта (идемпотентность) — 362 секунды:**
| Метрика | Значение |
|---|---|
| total | 30 941 |
| created | **0** ✓ |
| updated | 30 894 (все существующие refresh'нуты) |
| merge-barcode | 0 |
| groupsCreated | 0 |
| groupsUpdated | 52 |
Второй прогон не создал ни одной новой записи — upsert по MS id
работает как положено.
**Выборочная сверка 10 товаров** (случайный sample по БД → MoySklad
API по тому же MS id, все совпадают 1:1):
| MS id | local name | MS name | штрихкоды | розничная (local → MS) | закупочная (local → MS) |
|---|---|---|---|---|---|
| `47c17be8…` | пошехонский 350гр | пошехонский 350гр | ✓ `4820039807373` | ✓ 2540 → 2540 | ✓ 2030 → 2030 |
| `509f4a29…` | САРДИНЕЛЛА С Д/М 240ГР | САРДИНЕЛЛА С Д/М 240ГР | ✓ `4620004410894` | ✓ 640 → 640 | ✓ 512 → 512 |
| `982113cc…` | бьюти-блендер фрукты груша | бьюти-блендер фрукты груша | ✓ `6978461215094` | ✓ 470 → 470 | ✓ 300 → 300 |
| `785f457f…` | Печенье овсяное протеиновое «флэпджек» ш | Печенье овсяное протеиновое «флэпджек» ш | ✓ `4607018913849` | ✓ 455 → 455 | ✓ 350 → 350 |
| `637dcfee…` | Паста для шугаринга плотная 300гр | Паста для шугаринга плотная 300гр | ✓ `4870219750029` | ✓ 1050 → 1050 | ✓ 700 → 700 |
| `ee17df53…` | шоколад Альпен Гольд черника-йогуртовая | шоколад Альпен Гольд черника-йогуртовая | ✓ `7622201426804` | ✓ 595 → 595 | ✓ 349 → 349 |
| `2a132fa3…` | Пастила детская клубника и яблоко | Пастила детская клубника и яблоко | ✓ `4607942730734` | ✓ 225 → 225 | ✓ 150 → 150 |
| `6f8b9c68…` | Монастырский чай №26 против паразитов | Монастырский чай №26 против паразитов | ✓ `4631142248812` | ✓ 1850 → 1850 | ✓ 1400 → 1400 |
| `36f5aa58…` | Лейс стакс паприка | Лейс стакс паприка | ✓ `4690388108946` | ✓ 1565 → 1565 | ✓ 1250 → 1250 |
| `eddfb85b…` | Айран домашний 0,5л | Айран домашний 0,5л | ✓ `7915178548083` | ✓ 590 → 590 | ✓ 490 → 490 |
Соответствие полное (10/10) по имени, штрихкоду, цене продажи,
закупочной цене.
### 5. Playwright UI
`tests/e2e/scenarios/stage-ui-catalog-import.spec.ts` — 1 тест,
`chromium-desktop`, против `https://test.admin.food-market.kz`:
1. Логин как `demo-admin@food-market.local` (sentinel).
2. Открыть `/catalog/products` → в шапке «30 894 записей» ≥ 30000 ✓.
3. Поиск по частичному названию «шоколад» → ≥ 1 строка ✓.
4. Поиск по штрихкоду `4820039807373` → ≥ 1 строка ✓.
5. Клик по строке → карточка товара → простой режим: «Название»,
«Штрихкоды», «Группа», «Единица измерения», «Розничная цена» видны ✓.
6. В sidebar под простым режимом нет «Типы цен» ✓.
Прогон: `1 passed (9.6s)`. Скриншоты в `tests/e2e/reports/`:
`catalog-import-list.png`, `catalog-import-search-name.png`,
`catalog-import-search-barcode.png`, `catalog-import-product-card.png`.
## Gaps / known-not-implemented
- **Фото товаров**: сам MoySklad в этом аккаунте images не хранит
(все продукты, что проверяли, — `images.meta.size = 0`). Download
+upload в наш storage не реализовали — нет источника. Если
в будущем у клиентов будут картинки, нужно будет добавить:
`/entity/product/{id}/images` → GET `downloadHref` с токеном →
`IObjectStorage.SaveAsync` → `ProductImage`.
- **Минимальный остаток (`minStock`)**: MoySklad не передаёт на
уровне `/entity/product`. Нужно использовать `report/stock/all` или
per-store `storeassortment` — отдельная история, выпал за scope.
## Итог
- Каталог «Демо-магазин» на `https://test.admin.food-market.kz`
содержит **30 894 товара** из МойСклада, **53 группы**,
**30 907 штрихкодов** (0 дублей), все с привязанным
`MoySkladExternalId`. Токен у организации не хранится.
- Повторный запуск импорта (с тем же токеном в body) ничего не
создаёт: `created=0`, только обновляет существующие записи. 46
товаров с дубль-штрихкодом внутри самого МойСклада пропущены с
записью в `errors[]`.
- Прод, `global.json`, `deploy/*/nginx` не трогались.

View file

@ -34,7 +34,11 @@ public class MoySkladImportController : ControllerBase
}
public record TestRequest(string? Token = null);
public record ImportRequest(string? Token = null, bool OverwriteExisting = false);
public record ImportRequest(
string? Token = null,
bool OverwriteExisting = false,
bool SkipArchived = true,
bool MergeByBarcode = true);
public record SettingsDto(bool HasToken, string? Masked);
public record SettingsInput(string Token);
@ -89,11 +93,25 @@ public async Task<ActionResult<object>> ImportProducts([FromBody] ImportRequest
var job = _jobs.Create("products");
job.Stage = "Подключение к MoySklad…";
var options = new MoySkladImportOptions
{
OverwriteExisting = req.OverwriteExisting,
SkipArchived = req.SkipArchived,
MergeByBarcode = req.MergeByBarcode,
};
_ = RunInBackgroundAsync(job, async (svc, progress, ctInner) =>
{
progress.Stage = "Импорт товаров…";
var result = await svc.ImportProductsAsync(token, req.OverwriteExisting, ctInner, progress);
progress.Message = $"Готово: {result.Created} записей (создано/обновлено), {result.Skipped} пропущено, {result.GroupsCreated} групп.";
var result = await svc.ImportProductsAsync(token, options, ctInner, progress);
// Sprint 32: расширенный summary — отдельно merge/skip-archived/skip-dupe.
progress.Message =
$"Готово: создано {result.Created - result.MergedByBarcode}," +
$" merge-barcode {result.MergedByBarcode}," +
$" пропущено {result.Skipped}," +
$" архивных пропущено {result.SkippedArchivedInSource}," +
$" дубль-штрихкод в MS {result.SkippedDuplicateBarcodeInSource}," +
$" групп создано {result.GroupsCreated}," +
$" групп обновлено {result.GroupsUpdated}.";
}, orgId);
return Ok(new { jobId = job.Id });
}

View file

@ -55,6 +55,12 @@ public class Product : TenantEntity
public string? ImageUrl { get; set; } // основное изображение (остальные в ProductImage)
/// <summary>Внешний id сущности в MoySklad (UUID). Используется для
/// идемпотентного upsert'а при повторных импортах — повторный прогон
/// находит ту же запись и обновляет её, а не создаёт дубликат.
/// NULL для товаров, созданных пользователем вручную.</summary>
public string? MoySkladExternalId { get; set; }
/// <summary>Архивный товар. Скрывается из обычных списков (List default
/// filter); попадает в отчёты по историческим данным, но не предлагается
/// в новых документах. Sprint 19: bulk-операция «Архивировать».</summary>

View file

@ -24,4 +24,10 @@ public class ProductGroup : Entity, IOptionalTenantEntity
/// предварительной настройки. Удалить или переименовать нельзя — иначе
/// продукты осиротеют.</summary>
public bool IsSystem { get; set; }
/// <summary>Внешний id группы в MoySklad (UUID productfolder). Нужен,
/// чтобы повторный импорт находил ту же группу (а не создавал
/// одноимённую «Молочные продукты №2»). NULL для групп, созданных
/// SuperAdmin'ом или пользователем вручную.</summary>
public string? MoySkladExternalId { get; set; }
}

View file

@ -32,7 +32,15 @@ public MoySkladClient(HttpClient http)
private HttpRequestMessage Build(HttpMethod method, string pathAndQuery, string token)
{
var req = new HttpRequestMessage(method, pathAndQuery);
req.Headers.Authorization = new AuthenticationHeaderValue("Bearer", token);
// МойСклад принимает оба варианта аутентификации:
// - Basic <base64(login:password)> — пароль пользователя кабинета
// - Bearer <access_token> — токен из «Сервис → Настройки → API»
// Авто-детект: если токен выглядит как base64 (один раз распарсился
// в login:password) — используем Basic, иначе Bearer. У сторонних
// проектов (sklad на prod-vm) токен хранится в Basic-формате, у
// новых users чаще bearer-токен из UI.
var scheme = LooksLikeBasicB64(token) ? "Basic" : "Bearer";
req.Headers.Authorization = new AuthenticationHeaderValue(scheme, token);
// MoySklad requires the exact literal "application/json;charset=utf-8" (no space
// after ';'). The typed MediaTypeWithQualityHeaderValue API normalizes to
// "application/json; charset=utf-8" which MoySklad rejects with code 1062.
@ -69,12 +77,21 @@ public async Task<MoySkladApiResult<MsOrganization>> WhoAmIAsync(string token, C
public async IAsyncEnumerable<MsProduct> StreamProductsAsync(
string token,
[System.Runtime.CompilerServices.EnumeratorCancellation] CancellationToken ct)
[System.Runtime.CompilerServices.EnumeratorCancellation] CancellationToken ct,
bool includeArchived = true)
{
await foreach (var p in StreamPagedAsync<MsProduct>(token, "entity/product", archivedOnly: false, ct)) yield return p;
if (!includeArchived) yield break;
await foreach (var p in StreamPagedAsync<MsProduct>(token, "entity/product", archivedOnly: true, ct)) yield return p;
}
public async Task<List<MsUom>> GetAllUomsAsync(string token, CancellationToken ct)
{
var all = new List<MsUom>();
await foreach (var u in StreamPagedAsync<MsUom>(token, "entity/uom", archivedOnly: false, ct)) all.Add(u);
return all;
}
public async IAsyncEnumerable<MsCounterparty> StreamCounterpartiesAsync(
string token,
[System.Runtime.CompilerServices.EnumeratorCancellation] CancellationToken ct)
@ -83,6 +100,33 @@ public async Task<MoySkladApiResult<MsOrganization>> WhoAmIAsync(string token, C
await foreach (var c in StreamPagedAsync<MsCounterparty>(token, "entity/counterparty", archivedOnly: true, ct)) yield return c;
}
/// <summary>Base64(login:password) выглядит как base64url-ish строка
/// без пробелов, при декодировании содержит ':' между логином и
/// паролем. У bearer'ов этот паттерн тоже встречается, но в них нет
/// base64 padding и декод в login:password обычно даёт мусор.</summary>
private static bool LooksLikeBasicB64(string token)
{
if (string.IsNullOrEmpty(token)) return false;
// Длина 36 чаще всего — base64(login:password) ~ 24..40 символов.
// Проверяем валидный base64 + наличие ':' после декода.
try
{
var padded = token;
// Padding, если потеряли.
var remainder = padded.Length % 4;
if (remainder == 2) padded += "==";
else if (remainder == 3) padded += "=";
else if (remainder == 1) return false;
var raw = Convert.FromBase64String(padded);
var text = System.Text.Encoding.UTF8.GetString(raw);
return text.Contains(':') && !text.Any(c => c is < (char)0x20 and not '\t');
}
catch
{
return false;
}
}
public async Task<List<MsProductFolder>> GetAllFoldersAsync(string token, CancellationToken ct)
{
var all = new List<MsProductFolder>();

View file

@ -11,7 +11,37 @@ public record MoySkladImportResult(
int Created,
int Skipped,
int GroupsCreated,
IReadOnlyList<string> Errors);
IReadOnlyList<string> Errors)
{
/// <summary>Sprint 32: товары, которые уже существовали локально с
/// тем же штрихкодом — merge-ились в них, а не создавали дубль.
/// Входит в <see cref="Created"/> как часть «записей (создано/обновлено)».</summary>
public int MergedByBarcode { get; init; }
/// <summary>Sprint 32: товары МойСклада, которые пропущены как
/// archived=true. С флагом <c>skipArchived=false</c> остаётся 0.</summary>
public int SkippedArchivedInSource { get; init; }
/// <summary>Sprint 32: штрихкоды, встреченные в самом МойСкладе
/// у нескольких товаров — импортируем первый, остальные пропускаем
/// (их имена и штрихкоды — в <see cref="Errors"/>).</summary>
public int SkippedDuplicateBarcodeInSource { get; init; }
/// <summary>Sprint 32: групп обновлено (MS id совпал с существующей).</summary>
public int GroupsUpdated { get; init; }
}
public record MoySkladImportOptions
{
public bool OverwriteExisting { get; init; } = true;
/// <summary>Товары из архива MoySklad не импортировать совсем.
/// Соответствует требованию «архивные не льём».</summary>
public bool SkipArchived { get; init; } = true;
/// <summary>Если локально уже есть товар с таким же штрихкодом (а в
/// MoySklad он с другим external id) — обновлять его как merge, а
/// не создавать второй.</summary>
public bool MergeByBarcode { get; init; } = true;
}
public class MoySkladImportService
{
@ -45,12 +75,6 @@ public Task<MoySkladApiResult<MsOrganization>> TestConnectionAsync(string token,
var orgId = organizationIdOverride ?? _tenant.OrganizationId
?? throw new InvalidOperationException("No tenant organization in context.");
// MoySklad НЕ имеет поля "Поставщик/Покупатель" у контрагентов вообще —
// counterparty entity содержит только group (группа доступа), tags
// (произвольные), state (пользовательская цепочка статусов), companyType
// (legal/individual/entrepreneur). Никакого role/kind. Поэтому у нас тоже
// этого поля нет — пусть пользователь сам решит.
static foodmarket.Domain.Catalog.CounterpartyType ResolveType(string? companyType)
=> companyType switch
{
@ -58,10 +82,6 @@ static foodmarket.Domain.Catalog.CounterpartyType ResolveType(string? companyTyp
_ => foodmarket.Domain.Catalog.CounterpartyType.LegalEntity,
};
// Загружаем существующих в память — обновлять будем по имени (case-insensitive).
// Раньше при overwriteExisting=true бага: пропускалась проверка "skip" и ВСЕ
// поступающие записи добавлялись как новые, порождая дубли. Теперь если имя уже
// есть — обновляем ту же запись, иначе создаём.
var existingByName = await _db.Counterparties
.ToDictionaryAsync(c => c.Name, c => c, StringComparer.OrdinalIgnoreCase, ct);
@ -76,7 +96,6 @@ await foreach (var c in _client.StreamCounterpartiesAsync(token, ct))
{
total++;
if (progress is not null) progress.Total = total;
// Архивных не пропускаем — импортируем как IsActive=false (см. ApplyCounterparty).
try
{
@ -113,7 +132,6 @@ await foreach (var c in _client.StreamCounterpartiesAsync(token, ct))
}
if (batch > 0) await _db.SaveChangesAsync(ct);
// `created` в отчёте = вставки + апдейты (чтобы не ломать UI, который знает только Created).
return new MoySkladImportResult(total, created + updated, skipped, 0, errors);
}
@ -133,33 +151,59 @@ await foreach (var c in _client.StreamCounterpartiesAsync(token, ct))
entity.Notes = Trim(c.Description, 1000);
}
public async Task<MoySkladImportResult> ImportProductsAsync(
/// <summary>Backward-compat обёртка для старого API /admin/moysklad/import-products.
/// Делегирует к расширенной версии с дефолтными опциями.</summary>
public Task<MoySkladImportResult> ImportProductsAsync(
string token,
bool overwriteExisting,
CancellationToken ct,
ImportJobProgress? progress = null,
Guid? organizationIdOverride = null)
=> ImportProductsAsync(
token,
new MoySkladImportOptions { OverwriteExisting = overwriteExisting },
ct, progress, organizationIdOverride);
public async Task<MoySkladImportResult> ImportProductsAsync(
string token,
MoySkladImportOptions options,
CancellationToken ct,
ImportJobProgress? progress = null,
Guid? organizationIdOverride = null)
{
var orgId = organizationIdOverride ?? _tenant.OrganizationId
?? throw new InvalidOperationException("No tenant organization in context.");
// Дефолт VAT — из страны организации (Country.VatRate), decimal(5,2).
// ------------------------------------------------------------------
// Справочники — грузим один раз.
// ------------------------------------------------------------------
var defaultVat = await _db.Countries
.Where(c => c.Code == (_db.Organizations
.Where(o => o.Id == orgId).Select(o => o.CountryCode).First()))
.Select(c => (decimal?)c.VatRate).FirstOrDefaultAsync(ct) ?? 16m;
var baseUnit = await _db.UnitsOfMeasure.FirstOrDefaultAsync(u => u.Code == "796", ct)
?? await _db.UnitsOfMeasure.FirstAsync(ct);
var localUomsByCode = await _db.UnitsOfMeasure
.ToDictionaryAsync(u => u.Code, u => u.Id, StringComparer.OrdinalIgnoreCase, ct);
if (!localUomsByCode.TryGetValue("796", out var pieceUomId))
pieceUomId = (await _db.UnitsOfMeasure.FirstAsync(ct)).Id;
if (!localUomsByCode.TryGetValue("166", out var kgUomId))
kgUomId = pieceUomId; // fallback
var retailType = await _db.PriceTypes.FirstOrDefaultAsync(p => p.IsRetail, ct)
?? await _db.PriceTypes.FirstAsync(ct);
var kzt = await _db.Currencies.FirstAsync(c => c.Code == "KZT", ct);
var countriesByName = await _db.Countries
.IgnoreQueryFilters()
.ToDictionaryAsync(c => c.Name, c => c.Id, ct);
// Дефолтная группа на случай, когда у товара в MoySklad нет productFolder.
var defaultGroup = await _db.ProductGroups.FirstOrDefaultAsync(g => g.Name == "Продукты питания", ct);
// MS UOM id → MS UOM code (чтобы потом смапить в наш UOM по code).
var msUomCodeById = (await _client.GetAllUomsAsync(token, ct))
.Where(u => !string.IsNullOrEmpty(u.Id) && !string.IsNullOrEmpty(u.Code))
.ToDictionary(u => u.Id!, u => u.Code!);
// Дефолтная группа для товаров без folder'а в MoySklad.
var defaultGroup = await _db.ProductGroups.FirstOrDefaultAsync(
g => g.OrganizationId == orgId && g.Name == "Продукты питания", ct);
if (defaultGroup is null)
{
defaultGroup = new ProductGroup
@ -173,113 +217,254 @@ await foreach (var c in _client.StreamCounterpartiesAsync(token, ct))
}
var defaultGroupId = defaultGroup.Id;
// Import folders first — build flat then link parents. Архивные тоже берём,
// помечаем IsActive=false — у MoySklad у productfolder есть archived.
// ------------------------------------------------------------------
// Группы — импорт/upsert по MoySkladExternalId.
// ------------------------------------------------------------------
var folders = await _client.GetAllFoldersAsync(token, ct);
var localGroupByMsId = new Dictionary<string, Guid>();
var groupsCreated = 0;
var groupsUpdated = 0;
var existingGroupsByMsId = await _db.ProductGroups
.Where(g => g.OrganizationId == orgId && g.MoySkladExternalId != null)
.ToDictionaryAsync(g => g.MoySkladExternalId!, g => g, ct);
// Для бэкона-ситуации (миграция с не-MS id'шных групп) — также
// индексируем по (ParentId, Name): если такая запись есть, подвязываем
// к ней MS id, не создавая вторую.
var existingGroupsByParentAndName = await _db.ProductGroups
.Where(g => g.OrganizationId == orgId)
.ToDictionaryAsync(
g => (g.ParentId, g.Name.ToLower()),
g => g, ct);
foreach (var f in folders.OrderBy(f => f.PathName?.Length ?? 0))
{
if (f.Id is null) continue;
var existing = await _db.ProductGroups.FirstOrDefaultAsync(
g => g.Name == f.Name && g.Path == (f.PathName ?? f.Name), ct);
if (existing is not null)
if (options.SkipArchived && f.Archived) continue;
if (existingGroupsByMsId.TryGetValue(f.Id, out var existing))
{
existing.Name = f.Name;
existing.Path = string.IsNullOrEmpty(f.PathName) ? f.Name : $"{f.PathName}/{f.Name}";
localGroupByMsId[f.Id] = existing.Id;
groupsUpdated++;
continue;
}
var g = new ProductGroup
// Pre-существующая группа без MS id, но с тем же именем в том же
// родителе — присваиваем MS id, не плодим дубль.
var parentMsId = f.ParentFolder?.Meta?.Href is { } ph && TryExtractId(ph) is { } pid ? pid : null;
var parentLocalId = parentMsId is not null && localGroupByMsId.TryGetValue(parentMsId, out var p) ? p : (Guid?)null;
if (existingGroupsByParentAndName.TryGetValue((parentLocalId, f.Name.ToLower()), out var sameName))
{
sameName.MoySkladExternalId = f.Id;
sameName.Path = string.IsNullOrEmpty(f.PathName) ? f.Name : $"{f.PathName}/{f.Name}";
existingGroupsByMsId[f.Id] = sameName;
localGroupByMsId[f.Id] = sameName.Id;
groupsUpdated++;
continue;
}
var newGroup = new ProductGroup
{
OrganizationId = orgId,
Name = f.Name,
ParentId = parentLocalId,
Path = string.IsNullOrEmpty(f.PathName) ? f.Name : $"{f.PathName}/{f.Name}",
MoySkladExternalId = f.Id,
};
_db.ProductGroups.Add(g);
localGroupByMsId[f.Id] = g.Id;
_db.ProductGroups.Add(newGroup);
existingGroupsByMsId[f.Id] = newGroup;
existingGroupsByParentAndName[(parentLocalId, f.Name.ToLower())] = newGroup;
localGroupByMsId[f.Id] = newGroup.Id;
groupsCreated++;
}
if (groupsCreated > 0) await _db.SaveChangesAsync(ct);
if (groupsCreated > 0 || groupsUpdated > 0) await _db.SaveChangesAsync(ct);
if (progress is not null) progress.GroupsCreated = groupsCreated;
// Import products
// ------------------------------------------------------------------
// Товары — upsert по приоритету: MS id → barcode → article.
// ------------------------------------------------------------------
var errors = new List<string>();
var created = 0;
var updated = 0;
var mergedByBarcode = 0;
var skipped = 0;
var skippedArchived = 0;
var skippedDupeBarcodeInMs = 0;
var total = 0;
// При overwriteExisting=true загружаем товары целиком, чтобы обновлять существующие
// вместо создания дубликатов. Ключ = артикул (нормализованный).
var existingByArticle = await _db.Products
.Where(p => p.Article != null)
.ToDictionaryAsync(p => p.Article!, p => p, StringComparer.OrdinalIgnoreCase, ct);
var existingBarcodeSet = new HashSet<string>(
await _db.ProductBarcodes.Select(b => b.Code).ToListAsync(ct));
await foreach (var p in _client.StreamProductsAsync(token, ct))
var existingByMsId = await _db.Products
.Where(p => p.OrganizationId == orgId && p.MoySkladExternalId != null)
.ToDictionaryAsync(p => p.MoySkladExternalId!, p => p, ct);
var existingByArticle = await _db.Products
.Where(p => p.OrganizationId == orgId && p.Article != null)
.ToDictionaryAsync(p => p.Article!, p => p, StringComparer.OrdinalIgnoreCase, ct);
// Barcode → Product id (ограничиваем tenant'ом). Нужен для merge-логики.
var existingProductIdByBarcode = await _db.ProductBarcodes
.Where(b => b.OrganizationId == orgId)
.ToDictionaryAsync(b => b.Code, b => b.ProductId, ct);
var existingBarcodeSet = new HashSet<string>(existingProductIdByBarcode.Keys);
// Дедуп внутри входа: один и тот же barcode встречается у нескольких
// товаров MoySklad → импортируем первый, остальные пропускаем в отчёт.
var seenBarcodesInInput = new Dictionary<string, string>(); // barcode → первое имя товара
await foreach (var p in _client.StreamProductsAsync(token, ct, includeArchived: !options.SkipArchived))
{
total++;
if (progress is not null) progress.Total = total;
// Архивных не пропускаем — импортируем как IsActive=false.
var article = string.IsNullOrWhiteSpace(p.Article) ? p.Code : p.Article;
var alreadyByArticle = !string.IsNullOrWhiteSpace(article) && existingByArticle.ContainsKey(article);
if (alreadyByArticle && !overwriteExisting)
if (options.SkipArchived && p.Archived)
{
skipped++;
if (progress is not null) progress.Skipped = skipped;
skippedArchived++;
continue;
}
try
{
// Vat товара: из MoySklad.vat если задано, иначе дефолт страны.
// VatEnabled: приоритет p.VatEnabled, fallback — «без НДС» если p.Vat=0.
var vat = p.Vat.HasValue ? (decimal)p.Vat.Value : defaultVat;
var vatEnabled = p.VatEnabled ?? (p.Vat is null || p.Vat.Value != 0);
Guid? groupId = p.ProductFolder?.Meta?.Href is { } href && TryExtractId(href) is { } msGroupId
&& localGroupByMsId.TryGetValue(msGroupId, out var gId) ? gId : null;
Guid? countryId = p.Country?.Name is { } cn && countriesByName.TryGetValue(cn, out var cId) ? cId : null;
var barcodes = ExtractBarcodes(p);
// 1) Если какой-то из barcodes этого товара уже встречался во
// входе под другим именем — пропускаем товар целиком.
var dupeInInput = barcodes
.Select(b => b.Code)
.FirstOrDefault(c => seenBarcodesInInput.ContainsKey(c) && seenBarcodesInInput[c] != p.Name);
if (dupeInInput is not null)
{
skippedDupeBarcodeInMs++;
errors.Add($"MS-дубль: товар «{p.Name}» имеет штрихкод {dupeInInput}, уже привязанный к «{seenBarcodesInInput[dupeInInput]}» — пропущен.");
if (progress is not null) progress.Errors = errors;
continue;
}
foreach (var b in barcodes) seenBarcodesInInput.TryAdd(b.Code, p.Name);
// 2) Поиск существующей записи по приоритету.
Product? existing = null;
var mergeTag = "";
if (p.Id is not null && existingByMsId.TryGetValue(p.Id, out var byMsId))
{
existing = byMsId;
}
else if (options.MergeByBarcode)
{
foreach (var b in barcodes)
{
if (existingProductIdByBarcode.TryGetValue(b.Code, out var pid))
{
existing = await _db.Products.FirstOrDefaultAsync(x => x.Id == pid, ct);
if (existing is not null) { mergeTag = "merge-barcode"; break; }
}
}
}
var article = string.IsNullOrWhiteSpace(p.Article) ? p.Code : p.Article;
if (existing is null && !string.IsNullOrWhiteSpace(article) &&
existingByArticle.TryGetValue(article, out var byArt))
{
existing = byArt;
mergeTag = "merge-article";
}
// 3) Common fields.
var vat = p.Vat.HasValue ? (decimal)p.Vat.Value : defaultVat;
// MoySklad useParentVat=true означает, что товар наследует НДС от
// группы — у нас такая иерархия не поддерживается, подставляем
// дефолт страны (как «без переопределения»).
var vatEnabled = p.VatEnabled ?? (p.Vat is null || p.Vat.Value != 0);
var groupId = p.ProductFolder?.Meta?.Href is { } href && TryExtractId(href) is { } msGroupId
&& localGroupByMsId.TryGetValue(msGroupId, out var gId) ? gId : defaultGroupId;
Guid? countryId = p.Country?.Name is { } cn && countriesByName.TryGetValue(cn, out var cId) ? cId : null;
var uomId = ResolveUom(p, msUomCodeById, localUomsByCode, pieceUomId, kgUomId);
var retailPrice = p.SalePrices?.FirstOrDefault(sp => sp.PriceType?.Name?.Contains("Розничная", StringComparison.OrdinalIgnoreCase) == true)
?? p.SalePrices?.FirstOrDefault();
Product product;
if (alreadyByArticle && overwriteExisting)
if (existing is not null)
{
product = existingByArticle[article!];
// Обновляем только скалярные поля — коллекции (prices, barcodes) оставляем:
// там могут быть данные, которые редактировал пользователь после импорта.
product.Name = Trim(p.Name, 500);
product.Article = Trim(article, 500);
product.Description = p.Description;
product.Vat = vat;
product.VatEnabled = vatEnabled;
product.ProductGroupId = groupId ?? product.ProductGroupId;
product.CountryOfOriginId = countryId ?? product.CountryOfOriginId;
product.Packaging = p.Weighed ? Packaging.Weight : Packaging.Piece;
product.IsMarked = !string.IsNullOrEmpty(p.TrackingType) && p.TrackingType != "NOT_TRACKED";
product.ReferencePrice = p.BuyPrice is null ? product.ReferencePrice : p.BuyPrice.Value / 100m;
updated++;
if (progress is not null) progress.Updated = updated;
if (!options.OverwriteExisting && mergeTag == "")
{
skipped++;
if (progress is not null) progress.Skipped = skipped;
continue;
}
existing.Name = Trim(p.Name, 500) ?? existing.Name;
existing.Article = Trim(article, 500) ?? existing.Article;
existing.Description = p.Description;
existing.Vat = vat;
existing.VatEnabled = vatEnabled;
existing.ProductGroupId = groupId;
existing.UnitOfMeasureId = uomId;
existing.CountryOfOriginId = countryId ?? existing.CountryOfOriginId;
existing.Packaging = p.Weighed ? Packaging.Weight : Packaging.Piece;
existing.IsMarked = !string.IsNullOrEmpty(p.TrackingType) && p.TrackingType != "NOT_TRACKED";
existing.ReferencePrice = p.BuyPrice is null ? existing.ReferencePrice : p.BuyPrice.Value / 100m;
if (existing.PurchaseCurrencyId is null) existing.PurchaseCurrencyId = kzt.Id;
// Привязываем MS id в любом случае — это ключ будущих upsert'ов.
if (string.IsNullOrEmpty(existing.MoySkladExternalId))
existing.MoySkladExternalId = p.Id;
// Добавляем новые штрихкоды, оставляя уже существующие как есть.
foreach (var b in barcodes)
{
if (existingBarcodeSet.Contains(b.Code)) continue;
b.OrganizationId = orgId;
existing.Barcodes.Add(b);
existingBarcodeSet.Add(b.Code);
existingProductIdByBarcode[b.Code] = existing.Id;
}
// Прайс retail: если у существующего товара нет цены этого типа —
// добавляем из MS. Если есть — оставляем (возможно, пользователь
// поправил).
if (retailPrice is not null)
{
var alreadyHas = await _db.ProductPrices.AnyAsync(
pp => pp.ProductId == existing.Id && pp.PriceTypeId == retailType.Id, ct);
if (!alreadyHas)
{
existing.Prices.Add(new ProductPrice
{
OrganizationId = orgId,
PriceTypeId = retailType.Id,
Amount = retailPrice.Value / 100m,
CurrencyId = kzt.Id,
});
}
}
if (mergeTag == "merge-barcode")
{
mergedByBarcode++;
}
else
{
product = new Product
updated++;
if (progress is not null) progress.Updated = updated;
}
if (p.Id is not null) existingByMsId[p.Id] = existing;
if (!string.IsNullOrWhiteSpace(article)) existingByArticle[article] = existing;
}
else
{
var product = new Product
{
OrganizationId = orgId,
Name = Trim(p.Name, 500),
Name = Trim(p.Name, 500) ?? "(без имени)",
Article = Trim(article, 500),
Description = p.Description,
UnitOfMeasureId = baseUnit.Id,
UnitOfMeasureId = uomId,
Vat = vat,
VatEnabled = vatEnabled,
ProductGroupId = groupId ?? defaultGroupId,
ProductGroupId = groupId,
CountryOfOriginId = countryId,
Packaging = p.Weighed ? Packaging.Weight : Packaging.Piece,
IsMarked = !string.IsNullOrEmpty(p.TrackingType) && p.TrackingType != "NOT_TRACKED",
ReferencePrice = p.BuyPrice is null ? null : p.BuyPrice.Value / 100m,
PurchaseCurrencyId = kzt.Id,
MoySkladExternalId = p.Id,
};
if (retailPrice is not null)
@ -293,7 +478,7 @@ await foreach (var p in _client.StreamProductsAsync(token, ct))
});
}
foreach (var b in ExtractBarcodes(p))
foreach (var b in barcodes)
{
if (existingBarcodeSet.Contains(b.Code))
{
@ -301,19 +486,21 @@ await foreach (var p in _client.StreamProductsAsync(token, ct))
if (progress is not null) progress.Errors = errors;
continue;
}
b.OrganizationId = orgId;
product.Barcodes.Add(b);
existingBarcodeSet.Add(b.Code);
}
_db.Products.Add(product);
if (p.Id is not null) existingByMsId[p.Id] = product;
if (!string.IsNullOrWhiteSpace(article)) existingByArticle[article] = product;
foreach (var b in product.Barcodes) existingProductIdByBarcode[b.Code] = product.Id;
created++;
if (progress is not null) progress.Created = created;
}
// Flush чаще (каждые 100) чтобы при сетевом обрыве на следующей странице
// мы сохранили как можно больше и смогли безопасно продолжить с overwrite.
if ((created + updated) % 100 == 0) await _db.SaveChangesAsync(ct);
// Flush чаще — чтобы при обрыве сохранялось максимум.
if ((created + updated + mergedByBarcode) % 200 == 0) await _db.SaveChangesAsync(ct);
}
catch (Exception ex)
{
@ -325,18 +512,52 @@ await foreach (var p in _client.StreamProductsAsync(token, ct))
await _db.SaveChangesAsync(ct);
// Финальная проверка дубликатов штрихкодов (исторические записи или
// расхождения c уникальным индексом). Только warning в errors[].
// Финальная проверка дубликатов штрихкодов (на всякий, если
// уникальный индекс был нарушен исторически).
var duplicates = await _db.ProductBarcodes
.Where(b => b.OrganizationId == orgId)
.GroupBy(b => b.Code)
.Where(g => g.Count() > 1)
.Select(g => g.Key)
.ToListAsync(ct);
foreach (var dup in duplicates)
errors.Add($"Внимание: штрихкод {dup} привязан к нескольким товарам — почисти вручную.");
errors.Add($"Внимание: штрихкод {dup} привязан к нескольким товарам в БД.");
if (progress is not null && duplicates.Count > 0) progress.Errors = errors;
return new MoySkladImportResult(total, created + updated, skipped, groupsCreated, errors);
return new MoySkladImportResult(
total,
created + updated + mergedByBarcode,
skipped,
groupsCreated,
errors)
{
MergedByBarcode = mergedByBarcode,
SkippedArchivedInSource = skippedArchived,
SkippedDuplicateBarcodeInSource = skippedDupeBarcodeInMs,
GroupsUpdated = groupsUpdated,
};
}
private static Guid ResolveUom(
MsProduct p,
IReadOnlyDictionary<string, string> msUomCodeById,
IReadOnlyDictionary<string, Guid> localUomsByCode,
Guid pieceUomId,
Guid kgUomId)
{
// 1) Если weighed=true — всегда kg (у весовых в MS uom может быть что
// угодно, но у нас осмысленный default — кг). Нет кг? → штука.
if (p.Weighed) return kgUomId != Guid.Empty ? kgUomId : pieceUomId;
// 2) Иначе по MS uom id → MS code → local code.
var msId = p.Uom?.Meta?.Href is { } href ? TryExtractId(href) : null;
if (msId is not null && msUomCodeById.TryGetValue(msId, out var code)
&& localUomsByCode.TryGetValue(code, out var localId))
{
return localId;
}
// 3) Fallback — штука.
return pieceUomId;
}
private static List<ProductBarcode> ExtractBarcodes(MsProduct p)
@ -344,11 +565,15 @@ private static List<ProductBarcode> ExtractBarcodes(MsProduct p)
if (p.Barcodes is null) return [];
var list = new List<ProductBarcode>();
var primarySet = false;
var seen = new HashSet<string>(StringComparer.Ordinal);
foreach (var entry in p.Barcodes)
{
foreach (var (kind, code) in entry)
{
if (string.IsNullOrWhiteSpace(code)) continue;
// Дедуп внутри одного товара тоже — иногда MS возвращает один и
// тот же код дважды (ean13+code128 на одно значение).
if (!seen.Add(code)) continue;
var type = kind switch
{
"ean13" => BarcodeType.Ean13,
@ -359,7 +584,12 @@ private static List<ProductBarcode> ExtractBarcodes(MsProduct p)
"upce" => BarcodeType.Upce,
_ => BarcodeType.Other,
};
list.Add(new ProductBarcode { Code = code.Length > 500 ? code[..500] : code, Type = type, IsPrimary = !primarySet });
list.Add(new ProductBarcode
{
Code = code.Length > 500 ? code[..500] : code,
Type = type,
IsPrimary = !primarySet,
});
primarySet = true;
}
}

View file

@ -115,6 +115,12 @@ private static void ConfigureProductGroup(EntityTypeBuilder<ProductGroup> b)
.OnDelete(DeleteBehavior.Restrict);
b.HasIndex(x => new { x.OrganizationId, x.ParentId });
b.HasIndex(x => new { x.OrganizationId, x.Path });
// Sprint 32: upsert по внешнему id МойСклада — повторный импорт
// находит ту же группу, а не создаёт одноимённую вторую.
b.Property(x => x.MoySkladExternalId).HasMaxLength(64);
b.HasIndex(x => new { x.OrganizationId, x.MoySkladExternalId })
.IsUnique()
.HasFilter("\"MoySkladExternalId\" IS NOT NULL");
}
private static void ConfigurePriceType(EntityTypeBuilder<PriceType> b)
@ -158,6 +164,13 @@ private static void ConfigureProduct(EntityTypeBuilder<Product> b)
// Sprint 19: partial index по IsArchived — listings default фильтруют
// archived=false, селективность хорошая (архивных меньшинство).
b.HasIndex(x => new { x.OrganizationId, x.IsArchived });
// Sprint 32: внешний id МойСклада для идемпотентного upsert'а.
// Partial-уникальный индекс: NULL разрешён (товар создан вручную),
// но дважды тот же MS id в одной орге — нельзя.
b.Property(x => x.MoySkladExternalId).HasMaxLength(64);
b.HasIndex(x => new { x.OrganizationId, x.MoySkladExternalId })
.IsUnique()
.HasFilter("\"MoySkladExternalId\" IS NOT NULL");
}
private static void ConfigureProductPrice(EntityTypeBuilder<ProductPrice> b)

View file

@ -0,0 +1,50 @@
using Microsoft.EntityFrameworkCore.Infrastructure;
using Microsoft.EntityFrameworkCore.Migrations;
using foodmarket.Infrastructure.Persistence;
#nullable disable
namespace foodmarket.Infrastructure.Persistence.Migrations
{
/// <summary>Sprint 32 — MoySkladExternalId на Product и ProductGroup.
///
/// Хранит UUID сущности в МойСклад. Нужен, чтобы повторный импорт был
/// идемпотентным: находим существующую запись по MS id и обновляем, а
/// не создаём одноимённую вторую. Partial-уникальный индекс — NULL
/// разрешён (ручные записи), а задан — уникален в рамках org.
///
/// Применяется идемпотентно через IF NOT EXISTS.</summary>
[DbContext(typeof(AppDbContext))]
[Migration("20261004210000_Phase32a_MoySkladExternalId")]
public partial class Phase32a_MoySkladExternalId : Migration
{
protected override void Up(MigrationBuilder b)
{
b.Sql(@"
ALTER TABLE public.products
ADD COLUMN IF NOT EXISTS ""MoySkladExternalId"" varchar(64) NULL;
ALTER TABLE public.product_groups
ADD COLUMN IF NOT EXISTS ""MoySkladExternalId"" varchar(64) NULL;
CREATE UNIQUE INDEX IF NOT EXISTS ""IX_products_OrganizationId_MoySkladExternalId""
ON public.products (""OrganizationId"", ""MoySkladExternalId"")
WHERE ""MoySkladExternalId"" IS NOT NULL;
CREATE UNIQUE INDEX IF NOT EXISTS ""IX_product_groups_OrganizationId_MoySkladExternalId""
ON public.product_groups (""OrganizationId"", ""MoySkladExternalId"")
WHERE ""MoySkladExternalId"" IS NOT NULL;
");
}
protected override void Down(MigrationBuilder b)
{
b.Sql(@"
DROP INDEX IF EXISTS public.""IX_products_OrganizationId_MoySkladExternalId"";
DROP INDEX IF EXISTS public.""IX_product_groups_OrganizationId_MoySkladExternalId"";
ALTER TABLE public.products DROP COLUMN IF EXISTS ""MoySkladExternalId"";
ALTER TABLE public.product_groups DROP COLUMN IF EXISTS ""MoySkladExternalId"";
");
}
}
}

Binary file not shown.

After

Width:  |  Height:  |  Size: 174 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 111 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 158 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 157 KiB

View file

@ -0,0 +1,121 @@
/**
* Sprint 32 — UI-проверка каталога после полной заливки МойСклада.
*
* Что проверяем:
* 1. На /catalog/products под demo-admin видно ~30k товаров (total в
* шапке списка).
* 2. Поиск по названию (взяли реально существующий бренд из импорта)
* — хотя бы одна строка в выдаче.
* 3. Поиск по штрихкоду (конкретный EAN13 из seed'овой выборки) —
* ровно одна строка в выдаче.
* 4. Клик по этой строке → открывается карточка товара → простой
* режим: name + article + группа + ед. изм. + розничная цена
* видны; «Типы цен» в sidebar НЕ видно (advanced-only).
*
* Повторный запуск импорта (0 новых) проверяется отдельно — скриптом
* import-twice.sh на стейдже, его результат фиксируется в
* docs/catalog-import-progress.md.
*/
import { test, expect, type Page } from '@playwright/test'
import { request as apiRequest } from '@playwright/test'
import { loginToken, watchPage, expectNoErrors } from '../lib/ui.js'
const BASE = process.env.E2E_ADMIN_URL ?? 'https://test.admin.food-market.kz'
const SENTINEL = '__QUICK_LOGIN_PWLESS__'
// Известные значения из импорта МойСклада — проверяли вручную выборку
// 10 товаров, которые есть точно; при пересеиде стенда может потребоваться
// обновить (см. docs/catalog-import-progress.md).
const KNOWN_BARCODE = '4820039807373' // пошехонский 350гр
const KNOWN_NAME_PART = 'шоколад' // ~500+ позиций — устойчивый фильтр
async function openCatalog(page: Page, token: string) {
await page.goto(`${BASE}/login`, { waitUntil: 'domcontentloaded' })
await page.evaluate((tok) => localStorage.setItem('fm.access_token', tok), token)
await page.goto(`${BASE}/catalog/products`, { waitUntil: 'domcontentloaded' })
// Ждём, пока таблица отрисовалась (есть хотя бы одна строка или
// явный empty-state). 20с — на холодный Suspense-chunk + API.
await page.waitForLoadState('networkidle', { timeout: 20_000 })
}
test.describe('catalog-import — Demo-магазин после импорта МойСклад', () => {
test('открывается список, виден total 30k+, поиск по имени и штрихкоду работает', async ({ browser }) => {
test.setTimeout(120_000)
const ctx = await apiRequest.newContext({ baseURL: BASE, ignoreHTTPSErrors: true, timeout: 60_000 })
const token = await loginToken(ctx, 'demo-admin@food-market.local', SENTINEL)
await ctx.dispose()
const browserCtx = await browser.newContext({
viewport: { width: 1280, height: 800 },
ignoreHTTPSErrors: true,
locale: 'ru-RU',
})
const page = await browserCtx.newPage()
const errs = watchPage(page, {
// В простом режиме presets/notifications/widgets/какие-то advanced-API
// отдают 403 по роль-гардам — ожидаемо, не наш баг.
expected4xxContains: [
'/api/notifications',
'/api/user/presets',
'/api/dashboard/widgets',
],
})
try {
await openCatalog(page, token)
// Total в шапке списка. ListPageShell рендерит description вида
// "30 894 товаров" (ru number formatting с nbsp). Проверяем, что
// где-то в области страницы встречается число ≥ 30000.
const bodyText = await page.locator('main').innerText()
const match = bodyText.match(/(\d[\s  \d]*)\s*запис/i)
expect(match, 'в шапке списка должно быть "N записей"').not.toBeNull()
const total = Number((match![1] || '').replace(/[\s  ]/g, ''))
expect(total, `${total} записей — ожидали ≥ 30000`).toBeGreaterThanOrEqual(30_000)
await page.screenshot({ path: 'reports/catalog-import-list.png', fullPage: false })
// Поиск по частичному названию.
const search = page.getByPlaceholder(/поиск|search/i).first()
await search.fill(KNOWN_NAME_PART)
// Таблица дебаунсит, ждём обновления сети.
await page.waitForLoadState('networkidle', { timeout: 10_000 })
const nameRows = await page.locator('table tbody tr').count()
expect(nameRows, `поиск "${KNOWN_NAME_PART}" — ожидали хотя бы одну строку`).toBeGreaterThan(0)
await page.screenshot({ path: 'reports/catalog-import-search-name.png', fullPage: false })
// Поиск по штрихкоду — одна конкретная строка.
await search.fill(KNOWN_BARCODE)
await page.waitForLoadState('networkidle', { timeout: 10_000 })
const barRows = page.locator('table tbody tr')
await expect(barRows, `штрихкод ${KNOWN_BARCODE} — ожидали хотя бы одну строку`).not.toHaveCount(0)
await page.screenshot({ path: 'reports/catalog-import-search-barcode.png', fullPage: false })
// Открываем первую строку.
await barRows.first().click()
await page.waitForURL(/\/catalog\/products\/[0-9a-f-]{36}/, { timeout: 10_000 })
// Карточка — eager-импорт, ждём секцию «Основное» (появляется всегда).
await expect(page.getByText(/^Основное$/).first()).toBeVisible({ timeout: 10_000 })
// Карточка в простом режиме: label'ы «Название», «Штрихкоды», «Группа»,
// «Единица измерения», блок цены. Проверяем по тексту внутри DOM, а не
// через main.innerText — т.к. WhatsNewBanner в этом же <main> ломает
// поиск общим innerText'ом (срабатывает первым).
await expect(page.getByText(/Название/i).first(), 'label «Название»').toBeVisible()
await expect(page.getByText(/Штрихкод/i).first(), 'раздел «Штрихкоды»').toBeVisible()
await expect(page.getByText(/Группа/i).first(), 'label «Группа»').toBeVisible()
await expect(page.getByText(/Единиц/i).first(), 'label «Единица измерения»').toBeVisible()
await expect(page.getByText(/Розничная цена|Цена продажи/i).first(), 'блок цены').toBeVisible()
await page.screenshot({ path: 'reports/catalog-import-product-card.png', fullPage: true })
// В sidebar НЕ должно быть «Типы цен» (advanced-only).
const priceTypesLink = page.locator('aside').locator('visible=true').getByRole('link', { name: /^Типы цен$/i })
await expect(priceTypesLink, 'в простом режиме «Типы цен» в sidebar не должно быть').toHaveCount(0)
expectNoErrors(errs, 'catalog walk')
} finally {
await browserCtx.close()
}
})
})