Wednesday, March 12, 2014 - Cisco · 2014. 3. 13. · • sap 项目机会分析 ... 上海大众 crm，cad，cam，capp，fms，cims sap，hp 上海通用 erp，crm，cad，cam，capp，fms，cims，及时供料系统

Cisco Confidential 1 © 2013 Cisco and/or its affiliates. All rights reserved.

Wednesday, March 12, 2014

© 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 2

• SAP项目机会分析与策略

• SAP基础架构设计

• SAP领域竞争分析

• Cloud/HANA带来的新机会



1. Fuanna Manufacturing (Furniture) South China HANA

2. DongFeng Motors Manufacturing (Auto) Central China ERP

3. SAP Labs Information Technology (SW) East China HANA

4. Haier Group Manufacturing (White Goods) North China ERP


The hole, not the drill

“


Top Down


4 级系统 : 企业级管理系统 ( ERP )

主机

5 级系统：企业间管理系统及决策支持系统

3 级系统: 车间级管理系统

部门的计算机生产控制

LAN / WAN

1 级系统 : 设备控制

2 级系统: 过程控制

过程控制

LAN / WAN

P L C

可编程控制器

Micro Processor

微处理器

LAN / WAN





78%

81%

76%

63%

37% 48%

54%

100%

93%

100%

86%

100%

97%

69%

87%

87%

57%

86%

CP

Re

tail

A&

D

Auto

E&

C

HT

Ch

em

Mill

Min

ing

O&

G

Pharm

a

Bank

FS

P

Ins

Media

Serv

.P

Telc

o

Util

Consumer Discrete Process

Financial

Services Services

SAP customer

Global 500 comp


企业名称 IT应用主要解决方案提供商

一汽集团 ERP,OA,CAD/CAM,PDM,汽车金融服务管理信息系统，采购资源网一汽启明，Oracle

东风汽车财务系统，成本控制系统，采购管理系统，ERP SAP，QAD，Oracle，IBM

上海汽车工业集团 ERP，财务系统，BI系统，条码管理系统 SAP，用友，上海博科，QAD

北汽福田 ERP,CRM，呼叫中心，销售统计系统，ERP，DMS（经销商管理系统）东软，SAP，MAPICS，山大华特

北京现代汽车 ERP，质量控制系统 QC，CRM，ALC AUTOEVER

一汽大众 CRM，CAD，CAM，CAPP，FMS，CIMS，ERP，融灾备份系统 SAP，HP

上海大众 CRM，CAD，CAM，CAPP，FMS，CIMS SAP，HP

上海通用 ERP，CRM，CAD，CAM，CAPP，FMS，CIMS，及时供料系统 SAP

长安集团 CRM，ERP，汽车营销管理系统，ITS智能运输系统，HR系统 Oracle

吉利汽车 ERP 、PLM、SCM、SRM、3C、CRM、DMS SAP

奇瑞汽车 ERP 、3C、PLM、SCM、SRM、CRM、决策支持 SAP

比亚迪 ERP、MES、WMS、PLM、SCM、CRM SAP

广州汽车工业集团有限公司


http://www.forbes.com/global2000/list/ • SAP on Sun systems

business - $615 M

• Oracle on IBM system X business - $600 M

• Oracle on HP systems business - $ Billions

• Microsoft Exchange, SQL, SharePoint - $ Billions


• SAP优质客户群

94,000 customers

• SAP庞大的Install-bases

140,000+ installations

88,000+ Core ERP + Suite

38,000+ SAP NetWeaver (w/o BW)

14,000+ BW installations

500+ BWA live installations

• SAP完全的硬件无关性

Partnership with Cisco

Neutral in dogfights for the installed base

CAGR

7%

13%

29%

7%

8%

4%

Source: IDC, CMI, strategy reviews with consulting firms, team analysis

Core

ERP + Suite

BI /

Analytics

On Demand

Mobility

Middleware

Core

ERP + Suite

BI /

Analytics

Middleware

In-Memory

Computing

~ $110 B

2015 2010

~ $220 B

Strategic Growth Areas

5 B US$ investment in Server & Storage every year !


• New Software License－26％

需要全新的基础架构支撑

SAP Business Suite

ERP、CRM、SCM、SRM、PLM、BW/BI……

SAP Landscape

• 庞大的Install-bases的Maintenance－42％

需要升级基础架构or迁移到新的基础架构

SAP ERP Software Upgrade

R/3 to now

SAP ERP Platform Migration

同构迁移

异构迁移

• HANA 5 B US$ investment in Server & Storage every year !

SAP Revenue

SAP 78％左右的收入来自于Install-bases

22％左右的收入来自于新客户


• SAP ERP是很多企业的核心应用

• SAP全球每年可以驱动约5 B$的基础架构业务

• SAP给基础架构服务商提出了新的挑战和机遇



Architecture

SIzing

Design

Selection


“

Architecture is a visual art, and the buildings speak for themselves……


数据库层

应用层

WEB层

表示层

层级多层 2-层 3-层

Web

浏览器


NetWeaver

Operating System

Linux

Unix

iOS

zOS

Windows

Database Server

DBMS

Oracle (RAC)

Informix

DB2

MaxDB

MS SQL

SAP-GUI Windows

Browser Windows/

Linux/UNIX

Instance

MS

D B V S

Java-GUI Windows/

Linux/UNIX

E



• SAP Landscape组成

DEV －开发

SBX －沙盒

QAS －测试

TRN －培训

PRD －生产

• PRD：QAS：DEV比率

Large － 4：2：1

Huge － 5：3：2


1 2 3 4


Garbage in, garbage out !

“


Key Words： Collaborate

Key Words： Process

Key Words： Standard


• 主要针对Performance

• 基于大量的工程实践

• 四个基本的KPI

CPU

Memory

Disk / I/O

Network

• 通过中间值转换

• 标准Benchmark验证


• 满足客户需求 or 满足SLA ＝性能良好（Good Performance）

• 性能的两个考量指标

Response Time

System Throughput

• 4个基本参数衡量

CPU利用率

峰值内存使用

磁盘I/O和空间

网络负载

CPU Memory Disk I/O Network


• SAP性能的基线值

• 通过Benchmark得出

• 与硬件无关的性能评价标准单元

• 可用于不同的架构、不同的平台之间的性能对比


http://www.sap.com/campaigns/benchmark/index.epx


• Sizing是一个伴随SAP ERP项目全生命周期的活动

• 在一个SAP ERP项目的多个节点，都需要进行Sizing

Initial Sizing->Advanced Sizing->Expert Sizing-> Sizing Validation

• 当SAP ERP发生任何变更，也需要进行详细的Sizing

Resizing、Delta Sizing、Upgrade Sizing




• SAPS值是由SAP ECC SD模块来决定的

OLTP

ABAP

D－WP

Uniform Workload

Nearly no database load

• 但是，客户真实环境是复杂的

JAVA

Complex Batch

Random load distribution

More DB Traffic with massive disk access

• Benchmark vs. Reality

Formula 1 vs. 日常交通

0.96 s

512GB

68430

99％


Key Word: 66% Discount


Key Word: Dedicated Memory


• 其他必须考虑的因素： 3～5年

年增长率

20％：80％

10％ overhead

Workload特点

Application Layer

行业差别

不同的应用类型

SAP版本

Unicode

64 or 32

Virtualization

……


To be or not to be: that is a question.

“


主要关注两个核心问题：

•Availability

No Single Point of Failure

DR / BC

•Scalability

Layers

DB

App

Web

Physical & Virtual

1 2 3 4


Availability：第一优先级


Availability路径：


• Storage HA

SAN

NAS

基于主机基于虚拟层基于存储


CI

repl.

enqueue

DB

DB

RDBMS

Appl.

Server

Appl.

Server

Appl.

Server

动态扩展

CIMessage

Server

Enqueue

Server

负载均衡

Web

Disp.

透明的

负载均衡

Web

Disp.

单点故障

Availability：

•SAP系统体系结构

完全硬件 & OS无关

相互独立的System Layer

Scale out

Distribution & Co-Location

•重点关注两点

DB HA / AA Cluster

CI Cluster

•坚持原则

高内聚、低耦合

资源独占


• App HA Cluster

DB

CI


Availability：

• DR

• BC


For Planned Downtime：

•nZDM / SUM － Near-Zero Downtime Maintenance (Software Update Manager)


For Unplanned Downtime：

•DR / BC

•DRP/BCP

• DCI

• Stretched vSphere Cluster

• Oracle Extended RAC

• Storage Virtualization and Replication

• SUSE SLE HAE


Availability：

•信息生命周期管理

数据备份

数据迁移

数据归档


Fewer Options, More Meaningful Choices

“


• SAP ERP 基础架构选型：根据Sizing和设计阶段得出的性能指标以及基础架构拓扑，选择适合的Server、Storage、Network以及相应的基础架构软件（如：虚拟化平台、系统管理、数据备份、数据归档等）

• 这个阶段，主要考虑的就是适合的TCO，在满足SAP应用显性需求的前提下，同时满足系统Availability、Performance、Scalability方面的隐形需求

CPU

MEM

PSU

!

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

USCS C210 M1/M2

PWR

SYS

PWR

SYS

PWR

SYS

7

12

9

14

4

1

10

15

5

2

11

16

6

3

SLOT

1

SLOT

5

SLOT

3

SLOT

7

SLOT

2

SLOT

6

SLOT

4

SLOT

8

!

UCS 5108

OK FAIL OK FAIL OK FAIL OK FAIL

! ResetConsole

! !

UCS B200 M1

! ResetConsole

! !

UCS B200 M1

! ResetConsole

! !

UCS B200 M1

! ResetConsole

! !

UCS B200 M1

! ResetConsole

! !

UCS B200 M1

! ResetConsole

! !

UCS B200 M1

! ResetConsole

! !

UCS B200 M1

! ResetConsole

! !

UCS B200 M1CISCO UCS 6248UP 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32

STAT

ID


• SAP 基础架构设计4步曲

• SAP基础架构设计关注4个问题

• 了解SAP Architecture

• 掌握SAP Sizing



• 市场份额

HP： 50％

IBM： 30％

Sun/Fujitsu：10％

• SAP专家

IBM: +100 experts for MF, AS400, AIX, x86

HP: +80 experts for HP-UX and x86

Oracle: +30 experts for Solaris, and x86

Fujitsu: +25 experts for x86

Hitachi: +15 experts for x86

Dell: +3 experts for x86

Cisco x86

0.25%

SAP 基础架构



• 基础架构整体解决方案提供商

主机、网络、存储、Database、Java、Hypervisor、Cluster、基础架构管理……

• 在SAP领域有多年的咨询经验

IBM： IGS/GBS，GTS

HP： ES/EDS，TS

• 给SAP带来License

IBM是全球最能给SAP带来新的License的厂商

• 庞大的Install-base

客户惯性，Renew占先机

• 产品和技术优势

Unix小机、X86 SMP


• 获取客户认可

UCS产品和技术优势

vBlock/Flexpod产品整合优势

网络、数据中心、视频/协作、安全、移动计算等优势

• 整合服务能力

RISC Migration / Platform Migration服务

SAP Sizing & Implementation服务

• 打造相同愿景

Cloud

Mobility

Collaboration

SAP 基础架构



• SAP 基础架构市场思科是后来者

• 思科要通过最终客户的认可来获得SAP项目

• 思科要充分利用SAP HANA的项目机会



• SAP Migration

SAP软件升级

新的SAP功能上线，如： CRM，SCM，SRM、SSM等

Unicode Conversion

一些基础架构EOL，如：True 64

基础架构使用年限

原有平台性能不能满足

SAP DR

• SAP new project

SAP HANA

SAP ERP立项

SAP ERP Big Project

ERP平台转移，如：国产ERP->SAP

核心问题：是不是Compelling Event？


• SAP项目资源和客户关系

SAP

SAP Consultant

Customer Relationship

Inside Support

Executive Credibility

• 我们的SAP领域知识、服务能力和解决方案

A: Architecture

I: Sizing

D: Design

S: Selection

核心问题：我们有没有独有的价值？


• SAPS值的估算对整个SAP ERP项目至关重要

• Sizing Best Practice：请客户、思科与SAP Consultant一起，根据客户业务和负载特点，估算

思科协助客户，修正SAPS值

记住： Sizing是一个过程，不是一次行为

思科不是SAP业务专家，而是SAP基础架构设计专家

每个环节，都预留足够的“富余量”

• 考虑不同行业的特点

制造业

服务业

财务和公共服务

• 还有其他SAP 其他产品

CRM、SRM、SCM、PLM、SSM……

核心问题：Input信息是否准确、充分？


SLOT

1

SLOT

5

SLOT

3

SLOT

7

SLOT

2

SLOT

6

SLOT

4

SLOT

8

!

UCS 5108

OK FAIL OK FAIL OK FAIL OK FAIL

! ResetConsole

! !

UCS B200 M1

! ResetConsole

! !

UCS B200 M1

! ResetConsole

! !

UCS B200 M1

! ResetConsole

! !

UCS B200 M1

! ResetConsole

! !

UCS B200 M1

! ResetConsole

! !

UCS B200 M1

! ResetConsole

! !

UCS B200 M1

! ResetConsole

! !

UCS B200 M1

客户的SAPS值大致为6W

至少需要3～4个刀笼至少需要1～2个存储

至少需要2～3个机架服务器 CPU

MEM

PSU

!

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

USCS C210 M1/M2

PWR

SYS

PWR

SYS

PWR

SYS

7

12

9

14

4

1

10

15

5

2

11

16

6

3

核心问题：如何快速判断项目规模？

简单算法： SAPS（W）＊ 3 ＋ 2＝ Number of Servers

大致需要20台服务器

6 ＊ 3 ＋ 2 ＝ 20

假定SAP ERP的用户数为4000


• 根据业务计算出来的SAPS值，验证并换算成为基础架构SAPS值

a、1 User －> 10 ～20 SAPS

b、Minimum Memory 5GB / 3000 SAPS

约最少 2MB per SAPS

c、2 SAPS －> 1 个8K的Disk I/O

通过IOPS大致可以确定存储系统档次

d、明确SAP各层次之间的Workload比例，计算不同层次的SAPS

ERP：APP：DB ＝ 7：3 or 4：1； APP：Portal ＝ 9：1

BW/BI：APP：DB ＝ 1：1

e、15％的年增长量，至少3年

f、 66％的CPU系数

g、15％ Unicode系数

h、PRD：QAS：DEV

Large Ent： 4：2：1； Huge Ent： 5：3：2

i、 CI & DB HA Cluster

核心问题：如何转换？

业务SAPS

基础架构SAPS



小机，UNIX服务器数量众多的

机架及刀片式服务器

单独的应用系统


大机


• 汽车行业服务器厂商以IBM/HP为主，并有Sun（Oracle）以

及国内品牌参与

• 目前IT应用系统主要运行于：

1. 小型机

2. X86架构刀片与机架式服务器

3. 部分车企开始探索核心业务系统从RISC/UNIX向X86平台迁移，

如SAP应用。

4. 虚拟化平台建设，以VMWARE平台为主


现状描述 Production Environment Hardware architecture

DB CPU平均使用率已达60%，最高达100%

APP

HP UNIX 11.11

4CORE 12GB

DB

HP UNIX 11.11

8CORE 48GB

APP

HP UNIX 11.11

4CORE 12GB

APP

HP UNIX 11.11

4CORE 12GB

DB

HP UNIX 11.11

8CORE 48GB

APP

HP UNIX 11.11

4CORE 12GB

HP HA

SAP extensions

EVA5000 EVA3000


1. 现有SAP系统是4.7,核心部分运行在HP rp8420上，但SAP很快不再支持4.7,因此要向SAP ECC 6.0迁移。

2. 双机配置的UNIX方案,需要非常高的硬件 & 软件费用,以及运维费用,导致企业IT成本居高不下

3. 关键应用,即使初期最高配置,仍旧无法满足业务飞速发展的需求，只能一台机器内竖向扩展，无法横向扩展，当用户量及模块增加时，易遭遇服务器天花板现象。

4. 在不断的升级扩展中,原有的高投入设备硬件不断淘汰,浪费了企业的宝贵资源

5. 双机方案中备机绝大多数时间闲置

传统的模式制约了应用发展

© 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 70 70

1、对升级的要求不能有单点故障，提供多节点负载均衡功能；保证系统7*24小时不间断运行,可用性要达到>99.9%；系统备份，热备1天1次，冷备1周1次，能够对Archvielog进行时时备份；高可用性，当节点出现故障时能够无缝的进行切换，提供不间断服务；提供高可扩展性，要求能满足8年的硬件性能需求；服务器硬件意外宕机恢复时间应<4小时。


1、SAPS要求值计算

SAP升级后，按照现有业务规模，大致服务器所需要消耗的SAPS值为57100，考虑到Quick Sizer的误差，需要保留30%的冗余： 57100*1.3 = 74230 SAPS 根据经验，服务器平均CPU负荷应低于60%，才能保障最终用户可以拥有一个满意的使用环境。因此，对于升级后的服务器，应有SAPS值： 74230/60%=123716 SAPS

OLTP /OLAP的分配SAPS

AP 20% SAPS值：123716*0.2=24743

CI 40% SAPS值：123716*0.4=49486

DB 40% SAPS值：123716*0.4=49484

公司SAP为OLTP，但有大量分析查询（目前性能瓶颈也反应在查询分析功能），3层结构，需要SAPS值=123716来保障系统稳定运行。根据OLTP、OLAP性能分配经验，以介于OLTP/OLAP之间形式将SAPS值分配到具体服务器。本次客户端的20%~30%不计算在内，服务器按100%计算，则20%由2台AP负担，40%由CI负担，最后40%由DB负担。


2、性能要求业务操作响应时间：一般功能＜ 5秒,涉及大数据量功能＜ 30秒；数据查询和报表生成系统响应时间（涉及1000条记录以内）＜20 秒,涉及大数据量功能＜300秒；后台任务执行时间<0.5小时,涉及大数据量<1小时；最大用户数：3000用户；并发用户数：＞500用户；系统总体性能>120000SAPS,其中DB>40000SAPS；

考虚到服务器之间做了高可用性，因此要考虑额外的性能冗余


生产系统 DB/CI 服务器

应用服务器2

生产系统 DB/CI 服务器

应用服务器N

应用服务器1

并行集群

1. 业务连续性: 由系统分布式架构保证，最大限度减少计划内外停机时间。

2. 性能扩展：生产、备份、检查为多台服务器分担，保障整体性能。横向扩展，当用户量及模块增加时，无需推翻重新部署。


Server CPU Hz CPU core Memory SAPS

(ECC 6.0) SAP benchmark No.

UCS B440M1 2.26G 32 128G 52000 2011

UCS B200M2 3.33G 12 96G 26480 2010018

Cisco通过对SAP SD的基准测试（Benchmark）来显示其在SAP ERP应用的处理性能，其测量结果在SAP网站上公布

（http://www.sap.com/benchmark），用SAPS（或SD Benchmark User）来表示性能的高低。

以下为2010年5月6日公布的B200M2服务器的测试结果，B200M2配置2个6核3.33GHz CPU时，ECC 6.0的性能为26480 SAPS（认证

号：2010018）。

B440M1配置4个8核2.26GHzCPU时，ECC6.0的性能为52000SAPS。

OLTP /OLAP的分配SAPS

AP 20% SAPS值：123716*0.2=24743

CI 40% SAPS值：123716*0.4=49486

DB 40% SAPS值：123716*0.4=49484


Server type (CPU) SAPS number / SD Users

Cisco UCS B200 M1 (2x Intel X5570) * 17580 / 3200

Cisco UCS B200 M2 (2x Intel X5680) * 25800 / 4730

Fujitsu PrimePower1500 (32x Sparc V) 26020 / 5200

IBM p5 570 (16x Power5) 25300 / 5056

NEC NX7700 (32x Itanium2) 23970 / 4750

Dell PE R900 (4x Intel X7460) 21430 / 4010

HP DL380 (2x Intel X5470) 12600 / 2516

Unisys E7000 (16x Intel Xeon MP) 7080 / 1400

HP DL580 (4x Intel Xeon MP) 4700 / 937

Numbers from http://www.sap.com/benchmark , Different SAP versions, *estimated based on ERP6.0 UC

http://www.sap.com/benchmark


IP/FCOE Connection

FC Connection

UCS 6100 UCS 6100

SAP DB

ACE 独立负载均衡层

原EVA5000 VNX5300 40x 600G SAS Disk

生产系统： 2x B440； 2x B200M2 测试区： 2xB200 M2 开发区： 2xB200 M2

SAN

SAP CI

SAP APP SAP APP

R&D R&D Q&A Q&A

Hot Spare Backup

关键数据跨阵列镜像保护

磁带库： 2xLTO4 Driver 32x LTO4 Tape

独立防火墙层

数据中心核心交换机

10GE

全局热备区 1xB440 备份服务器 1xB200M2


1.操作系统 Window 2008/Linux 2. 数据库HA切换软件 Microsoft MSCS/Veritas VCS 3. 数据库跨阵列镜像保护软件 Veritas Storage Foundation (提供多路径功能） 4.备份软件 EMC NetWorker


• SAP ERP项目有两个主要来源

• 需要从SAPS业务值转为SAPS基础架构值

• SAP ERP项目要坚持4个主要原则




1

2

3

4

5

Leadership in the Core…Routing/Switching/ Services

(including Security and Mobility)

Collaboration

Data Center / Virtualization / Cloud

Architectures for Business Transformation

Video


• What is SAP HANA？

是SAP的一个基于内存计算的全新平台

可以驱动实现在海量数据之上的实时业务操作

可以在标准的设备上部署，也可以通过“云”来提交服务


Everything on HANA


• SAP HANA Infrastructure

简单

标准

可扩展

云架构

低成本

5 B US$ investment in Server & Storage every year ？

Up to 16 Nodes / Cluster


• From SAP：硬件无关性－>软件厂商定义硬件

硬件比重更加低

硬件配置固化

不需要硬件厂商协同设计

硬件竞争更加同质化

• From Infrastructure Provide： HW －> Cloud

IaaS基础架构云服务

Mobility

Collaboration

……

5 B US$ investment in Server & Storage every year ？

• SAP HANA Infrastructure Deal Win Avg: 268 $K / Deal

Lost Avg: 426 $K / Deal

Pipeline: 200M / Year

From HP 2013FY


HANA使所有厂商同质化并站在一个水平线上！


50%

18%

13%

40%

63%

47%

10%

19%

39%

0%

10%

20%

30%

40%

50%

60%

70%

1 2 3

On-premise

Cloud / On-premise (hybrid or highly-interwoven deployment)

Cloud-based (pure-play)

Software-as-a-Service

Platform-as-a-Service

Infrastructure-as-a-Service

focus cloud

areas

Virtualization

Hosted on premise

enabling

on premise

for the cloud P

P

Active participation Partner P

SAP关注的内容

Cisco关注的内容


SAP integration content

Partner integration content

Application enablement

infrastructure

On-Premise

SAP Cloud

ERP CRM ….

On-Premise Agent

SAP Cloud Integration

Data

Services OD Process

Integration OD

Employee

Central

Sourcing

OD

Sales

OD

Travel

OD

SAP Cloud Applications

Talent

Mgmt … …

Siebel … PeopleSoft Legacy

SAP On-Premise 3rd Party On-Premise solutions

Non-SAP

Clouds

SAP关注的内容

Cisco关注的内容


Customer

Applications Customer

Applications

SAP Real-Time Data Platform

SAP

BusinessSuite

(eg CRM)

Mobile

SAP

BusinessSuite

(eg ERP)

BI Clients

SAP BW New SAP

Applications

Customer

Applications

Tables Tables

Tables Tranx

Tables

Tables Other

Tables

Master Data Tables

In-Memory Views



• SAP与思科愿景几乎相同

• SAP与思科没有竞争关系

• SAP与思科可以在Cloud以及HANA两个领域深度合作







我们的目光所及，只能在不远的前方，但是可以看到，

那里有大量需要去做的工作。 --- A.M.图灵


Q1：咱们企业上ERP了吗？是那个厂商的？ If SAP，then Q2

Q2：ERP是哪一年上线的？ If above 3～5年，then Q3

Q3：支撑ERP的平台的大致情况？ If Unix，then 问问客户，愿不愿意下次交流交流？

Thank you.

Documents

Wednesday, March 12, 2014 - Cisco · 2014. 3. 13. · • sap 项目机会分析 ... 上海大众 crm，cad，cam，capp，fms，cims sap，hp 上海通用 erp，crm，cad，cam，capp，fms，cims，及时供料系统