IBM MQ for file transfer [закрыто]

мы стоим перед выбором использовать IBM MQ над SFTP для передачи файлов. Я слышал о преимуществах такого подхода, но я никогда не видел, чтобы кто-то действительно использовал его для больших файлов.

Итак, главный вопрос: насколько хорошо IMB MQ может обрабатывать передачу больших файлов (до 100 МБ)? Она стабильна? Это от мейнфрейма до UNIX-сервера, если это имеет значение.

Спасибо большое.

8
file-transfer ftp ibm-mq message-queue

5 ответов

Я использовал MQ с файлами размером до 8 ГБ без инцидентов. Вы должны выделить достаточно места для MQ управлять ими, но это работает.

8

MQ сам предлагает сообщение на основе связи между программами. Вы не можете использовать его напрямую для передачи файлов. Люди, говорящие о "отправке файлов через MQ", часто подразумевают, что они будут сами писать программы для чтения из файла, отправки MQ, получения от MQ и записи в другой файл. Сначала это звучит соблазнительно тривиально, но быстро становится очень сложным, если вы хотите, чтобы он был надежным. Не рекомендуемый.

Что ты должны делать, если вы хотите привлечь MQ в ваших передачах файлов используется один из продуктов передачи файлов, которые сидят на MQ. Есть ряд зрелых предложений, о которых я почти ничего не знаю, вместе с новым продуктом от самой IBM ("Websphere MQ File Transfer Edition"), который активно разрабатывается и недавно анонсировал обновленную версию (7.0.1).

чтобы ответить на ваш конкретный вопрос, я лично использовал WMQFTE для передачи файла 1000GB с машины AIX на Windows, поэтому я не думаю, что ваш "большие" файлы 100MB будут проблемой : -). Я не так много занимаюсь мейнфреймом, но это очень базовая платформа для FTE.

6

поставщики осуществляют передачу файлов через систему обмена сообщениями, такую как WebSphere MQ, более 12 лет. Я не использовал продукт IBM. Тем не менее, я знаю, что до недавнего времени IBM перепродавала продукт Metastorm (под брендом PM4Data) и только недавно вышел на рынок с продуктом первого поколения.

Я видел Диспетчер Интеграции Системы "Metastorm" постоянно обрабатывать файлы терабайтных размеров; разбивать сообщения по WebSphere MQ и выполнять буферы подтверждения, чтобы не переполнять очереди сообщений или не делать много администрирования MQ.

другие стоящие соображения использования систем обмена сообщениями для передачи файлов против SFTP включают:

  1. обработка движения до и после передачи данных - в качестве сетевого транспорта SFTP перемещает данные (как и продукты передачи файлов через WebSphere MQ). Чтобы выполнить обработку до или после перемещения, вам нужно будет написать свой собственный мониторинг, запуск, ошибку обработки и т. д. Зрелые поставщики в области передачи файлов через пространство обмена сообщениями предоставляют инфраструктуру из коробки для вас. В зависимости от вашего приложения, они также могут помочь
  2. Аудит - SFTP часто обеспечивает ведение журнала на системном уровне. Часто поставщики, предоставляющие интеграцию файлов через MQ, имеют большие возможности аудита, включая обработку перемещения до и после передачи данных. Некоторые поставщики также предлагают безопасные веб-системы для предоставления определенных интеграций зарегистрированный пользователь.
  3. Обработка Исключений - SFTP выдаст синхронные сообщения об ошибках, из которых вы затем закодируете свою логику ошибок. Поставщики, предоставляющие интеграцию файлов через MQ, часто предоставляют возможности исключений, начиная от " вот сообщение в очереди, обозначающее проблему... удачи " для встроенной интеграции с веб-консолями или даже системой BPM.
  4. обработка передачи файлов Как службы - часто раз, передача файлов часть более крупного бизнес-процесса. Некоторые поставщики используют это для цепной передачи файлов и даже сотрудничают с человеко-ориентированными процессами, чтобы обеспечить сквозную видимость в контексте передачи файлов точка-точка. Кроме того, использование систем обмена сообщениями для передачи файлов помогает организации перейти к более реальному подходу, основанному на сообщениях.

Я надеюсь, что дополнительные детали придают некоторые детали в вашей оценке. Удачи!

5

в одном из предыдущих ответов есть следующее утверждение:

люди, говорящие о "отправке файлов через MQ", часто означают, что они будут сами писать программы для чтения из файла, отправки MQ, получения от MQ и записи в другой файл. Сначала это звучит соблазнительно тривиально, но быстро становится очень сложным, если вы хотите, чтобы он был надежным. Не рекомендуемый.

теоретически было бы неплохо "отправлять файлы через MQ", потому что вы бы получите подтверждение о доставке (CoD) сообщение, когда получатель получил (прочитал) файл из очереди. Другим преимуществом будет то, что файл будет автоматически удален из очереди, когда получатель получит (прочитает) его из очереди.

возможно, вы знаете, предлагается ли mqfte вышеуказанное (или аналогичное)?

0
0