Multicriteria selection of a supplier with the Interval SMART / Swing Weighting method Luiz Flávio Autran Monteiro Gomes, Ibmec/RJ, Av. Presidente Wilson,

Multicriteria selection of a supplier with the Interval SMART / Swing Weighting method

Luiz Flávio Autran Monteiro Gomes, Ibmec/RJ, Av. Presidente Wilson, 118, Sala 1110, Centro, 20.030-020, Rio de Janeiro, RJ, Brazil, e-mail: [email protected]

Luis Alberto Duncan Rangel, Escola de Engenharia Industrial Metalúrgica de Volta Redonda – UFF

Av. dos Trabalhadores 420, Vila Santa Cecília, CEP 27255-125, Volta Redonda, RJ, Brazil, e-mail: [email protected]

Miguel da Rocha Leal Junior, Wella / Tecnologia da Informação, Avenida das Américas, 700, Bloco 5, Sala 112, Barra da Tijuca, 22640-100, Rio de Janeiro, RJ, Brazil, e-mail: [email protected]

Buenos Aires, Argentina - June, 2010

Short abstract of the paper:

Selection of suppliers has been a fertile application area for Multiple Criteria

Decision Aiding. This paper presents the combined use of MAUT and the

Interval SMART / Swinging Weighting method. Na application concerning the

selection of a printing service supplier is presented. The WINPTRE software is

used as a support tool for the calculation of dominance. It is concluded that the

methods were successfully applied, being capable of resolving issues of

uncertainty common to any decision making process.

Our problem

Empresa W-Cosmetic Origem Alemã Mais de 140 países Filiais no Rio de Janeiro; São Paulo; Bahia Baixo Nível de Terceirização de Serviços Sem Padrões Globais Comprada pela P-Comércio em 2003

IntroduçãoContexto

Empresa P-Comércio Origem Americana Mais de 140 países Alto Nível de Terceirização de Serviços Busca por Padrões Regionais e Globais Busca por Sinergia de Serviços Foco em Redução de Custos Início da Integração em 2005

IntroduçãoObjetivo

Mostrar as vantagens da Utilização de um método de apoio multicritério à decisão.

Propor uma forma de tomada de decisão para escolha de fornecedor de projetos de TI. Argumentação com base técnica, de forma clara e transparente.

Propor o Método Interval Smart/Swing como ferramenta de apoio à decisão.

IntroduçãoJustificativa

Cenário de Alta Competitividade Tomada de Decisão

Tempo Limitado Precisa Impactos Importantes

Consequências Informações Incompletas Maior Risco de Erro Custo

Revisão da LiteraturaTerceirização de Serviços de TI

Motivos segundo Chung et Al (2002) Redução de Custo Aumento da Produtividade Maior Competitividade

Cuidados segundo Leite (1994) Evolução Tecnológica Padrões Diferentes de Trabalho Escolha do Parceiro

Revisão da LiteraturaMétodos de Apoio Multicritério à Decisão

Características de um problema de decisão multicritério segundo Gomes et Al (2004): Mais de um critério e que sejam conflitantes. Informações incompletas Conexão entre critérios e alternativas Envolvimento de mais de um decisor Dificuldade na diferenciação de critérios e restrições Escalas diferentes para diferentes critérios

Revisão da Literatura Métodos de Apoio Multicritério à Decisão

Mitos segundo Belton & Stewart (2002) O método dará a solução ideal por si só O método fará uma análise objetiva tornando a

escolha por uma alternativa extremamente fácil. O decisor não terá dificuldade de escolher a melhor

alternativa após o resultado do cálculo.


Benefícios segundo Belton & Stewart (2002): Aprender e entender mais sobre a organização. Complementar o julgamento intuitivo e a experiência

do decisor. Estruturar o problema com uma linguagem única Possibilitar um melhor entendimento, e uma decisão

com melhor argumentação, clara e transparente.


Tipos de Problema segundo Gomes et al (2004): Problema tipo α(ou Pα): onde se deseja selecionar a

melhor ou as melhores alternativas. Problema tipo β(ou Pβ): onde se deseja classificar as

alternativas entre boas e ruins. Problema tipo δ(ou Pδ): onde se deseja gerar apenas

uma ordenação das alternativas. Problema tipo γ(ou Pγ): onde se deseja gerar apenas

uma descrição das alternativas.

Revisão da LiteraturaEscolas Francesa e Americana

Escola Americana Keeney e Raiffa (1976) Não admite a Incomparabilidade e admite a

Transitividade da Preferência e da Indiferença Principais Metodologias:

Teoria da Utilidade Multiatributo (MAUT) Processo Analítico Hierárquico (AHP)

Revisão da LiteraturaEscolas Francesa e Americana

Escola Francesa Bernard Roy (1968) Admite a Preferência Fraca, a Incomparabilidade, e a

não Transitividade. Principais Famílias de Métodos

ELECTRE (I, II, III, IV, IS, TRI) PROMÉTHÉE (I, II, III, IV, V, VI)

Revisão da LiteraturaTeoria da Utilidade Multiatributo

Tomada de DecisãoIdentificação

das Pessoas Envolvidas Estruturação

do ProblemaIdentificação

dasAlternativas Definição

dosCritériosAvaliação das

Alternativas Segundo os Critérios Determinação da

Importância Relativa Entre os Critérios

Decisão

Análisede

Sensibilidade

Avaliação Global


Participantes da Decisão

Decisor

Analista

Facilitador


Estruturação do Problema Quando se tem um problema bem estruturado, já se

tem metade do problema resolvido (Belton & Stewart, 2002).

A estruturação de um problema passa por identificar questões chaves, objetivos, as pessoas envolvidas, ações, alternativas, critérios, atributos e pesos que possibilitarão avaliações e discussões (Rosenhead 1989).


Identificação das Alternativas Redução do número de alternativas definindo um

parâmetro limitador com o objetivo de tornar o processo de comparação mais simples.

A avaliação de uma alternativa pode levar a reavaliação de outra (GOMES et al, 2004).

Processo de procura e aprendizado acerca das alternativas que devem ser consideradas e a relação delas com os objetivos da questão (Pruzan and Bogetoft, 1991).


Definição dos Critérios - Propriedades Abrangência Operacionalidade Decomponibilidade Não Redundância Tamanho Mínimo


Avaliação das Alternativas em Relação aos Critérios

Onde V(i,j) corresponde a pontuação dada a uma alternativa “Ai”, considerando o critério “Cj”.

ALTERNATIVAS (A)

A1 A2 ... Ai ... An

CRITÉRIOS

(C)

C1

C2

Cj V(i,j)


Valor Agregado Função Aditiva

Independência dos Atributos n ∑ Wj Vj (a)j=1

“W” é o peso e “V” é a pontuação de cada alternativa em relação a cada um dos critérios “j” resultando no valor agregado da alternativa “a”

Segundo Clemen e Reilly (2001), caso não haja independência entre os critérios, é recomendável que se agrupe critérios dependentes, ou que haja uma redefinição.


Dominância

Conjunto Ótimo de Pareto: B, C, D.

Custo X Benefício

A

BC

D

E

0

200

400

600

800

1000

1200

1400

0 500 1000 1500 2000 2500 3000

Custo

Ben

efí

cio


Análise de Sensibilidade Subjetividade na definição dos atributos, pesos e

valores das alternativas em relação aos atributos. Questionamento do resultado buscando maior

consistência. Busca e reavaliação de parâmetros que tem

influência crítica no resultado.


Definição dos Pesos de Cada Atributo SMART (Simple Attribute Rating Technique)

Ordena os atributos Pontua o menos importante com 10 Pontua os demais em relação a este Normaliza para 1

SWING WEIGHTING Leva os atributos ao seu pior nível (benchmark) Ordena de acordo com a importância Benchmark = 0 e o de maior importância = 100 Pontua os através de comparação Normaliza para 1


Definição dos Valores das Alternativas em Relação aos Critérios Valoração Direta

Atributos que não tem valor Pior alternativa = 0; Melhor Alternativa = 100 Avalia as demais comparando.

Função de Valor – Bissecção Atributos com valor Pior alternativa = 0; Melhor Alternativa = 100 Avalia as demais através da definição do ponto

médio (50 … 75 e 25 … etc)

Revisão da LiteraturaMétodo Interval SMART / Swing Weight

Julgamento por Intervalo Qualquer atributo pode ser escolhido como referência Pesos Normalizados em 1 Determinação da “Feasible Region” Determinação da Dominância


iref

ref

i min

ref

W

W

max

ref

n

1jj jj )(aVW

Swmin(a)V

n

1jj jj )(aVW

Swmax(a)V

0))(bV - )(aV(WSw

minn

1jj jj jj

)0,0,1(

)0,1,0()1,0,0(

2W

W

2

1

b

a

1W

W

3

1

c

a

2W

W

6

1

c

b

WA [atributo de referência = 1]; WB [0,5;2]; WC [1;3].


Escolha do Atributo ReferênciaSegundo Mutajoki, Salo e Hamalainen (2005) é: Se for possível identificar o atributo com a menor

imprecisão, então esse deve ser escolhido como o atributo de referência.

Se a imprecisão não puder ser diferenciada entre os atributos, então se deve escolher o atributo mais importante.


Definindo os Intervalos Erro Estimado Constante: o mesmo para todos os

atributos. Erro Estimado Variável: de acordo com a incerteza de

cada atributo. Intervalos de Confiança: mínimo e máximo definido

de forma explícita Combinação dos Anteriores


Regras de Decisão para Alternativas não Dominadas Valores de Corte: definir valores mínimos para os

principais atributos Variação dos Intervalos: análise “what-if” , variando

os intervalos até obter uma única alternativa dominante.

Centralização dos Valores Agregados Mínimos e Máximos: cálculo do valor central e ordenação por este valor.

Valor Agregado Mínimo ou Máximo: Pode-se fazer a ordenação das alternativas

escolhendo-se o valor máximo ou mínimo como referência.

Revisão da LiteraturaSoftware WINPRE

Permite utilizar intervalos para pesos e para a avaliação das alternativas em relação aos critérios.

Permite simulações que facilitam a análise de sensibilidade variando o atributo de referência, bem como os intervalos.

Resultados em gráficos de fácil entendimento Disponível na página de internet:

www.decisionarium.hut.fi

Escolha do Método

MAUT Cultura da empresa Comparabilidade e transitividade estão de acordo com o

pensamento dos decisores É um método lógico e transparente, permitindo a pontuação de

critérios qualitativos e quantitativos, facilitando sua demonstração e a justificativa da recomendação

Fornece um resultado onde as alternativas são ordenadas da melhor para a pior, através da determinação de um valor global de cada uma das alternativas

Existe ampla documentação do método e suas aplicações, que facilitam o estudo e entendimento de cada um dos participantes.

Escolha do Método

Interval SMART / Swing A terceirização de serviços de tecnologia da informação tem

diferentes aspectos envolvidos, que são analisados de forma subjetiva, e portanto, sujeita a imprecisão.

O tempo para se tomar uma decisão está cada vez menor, não sendo normalmente suficiente para se adquirir todas as informações necessárias para um julgamento preciso.

É mais fácil partir de um julgamento impreciso para um julgamento preciso, pois a própria análise do resultado alcançado no primeiro momento contribui para o amadurecimento e o entendimento do problema, e consequentemente, para os ajustes necessários.

Considerando os riscos envolvidos, as pessoas se sentem mais confortáveis em estabelecer limites mínimos e máximos, do que pontuar diretamente.

Estudo de CasoDescrição do Problema

Terceirização do Serviço de Impressão Problema

Trabalho não produtivo Falta de controle de volume impresso e custo por centro de

custo. Parque instalado obsoleto

Objetivos Reduzir custos de impressão por ganho de escala do

contratado Atender às novas necessidades de recursos de impressão Permitir a contabilização das impressões por centro de custo Garantir a continuidade operacional Reduzir a carga operacional dos funcionários de TI

Estudo de CasoMetodologia

Fase I - Pré-Análise: Definir Participantes do Processo de Tomada de Decisão Definir critérios mínimos Eliminar alternativas que não satisfaçam aos critérios mínimos.

Fase II - Análise de Dominância: Definir critérios de avaliação. Definir intervalos para os critérios, e alternativas em relação aos

critérios. Definir a(s) alternativa(s) dominantes utilizando o software

WINPRE.

Fase III - Análise de Sensibilidade: Verificar possíveis desvios Validar a decisão

Estudo de Caso Metodologia - Pré-Análise

Pré-Análise das Alternativas

Definir Participantes do Processo Decisório

Definir Critérios Mínimos

Levantar Alternativas e Obter Propostas

Estudo de Caso Metodologia - Pré-Análise

Participantes Decisores (2)

Definem o problema Definem e especificam os Critérios Avaliam a Análise da Dominância Definem e avaliam os critérios da Análise de Sensibilidade

Analista(1) Levanta as alternativas Faz a pré-análise Apresenta os resultados da Análise da Dominância Participa da definição dos critérios da Análise de

Sensibilidade

Estudo de Caso Metodologia – Pré-Análise – Critérios Mínimos

Qualidade de Atendimento Média aritmética das respostas de 3 Clientes indicados pelo fornecedor. Nota menor

que 6 elimina. Questionário: 1 - Como você avalia o tempo de atendimento e o tempo de solução, segundo o

acordo de nível de serviço definido? 2 - Como você avalia os equipamentos segundo a confiabilidade? 3 - Como você avalia a capacidade técnica da empresa na solução dos

problemas? 4 – Como você avalia o serviço prestado pelo seu fornecedor de uma maneira

geral?

Prazo de Implantação Máximo de 2 meses

Muito Ruim Ruim Regular Bom Muito Bom

1 2 3 4 5 6 7 8 9 10

Estudo de Caso Metodologia - Análise de Dominância

Definir Intervalo de Peso dos Critérios

Definir Critérios de Avaliação

Pontuar Alternativas em Relação aos Critérios

Definir Atributo deReferência

Fazer Análise deDominância - WINPRE

Our case studyFirst step – Value tree

Value Tree

Service Level

Management

Quality of

Service Capillarity of

Service

Implementation

Time

Estrategic

Alignment

Cost

Technical

Resources

Service Strategy

Agreement

Estudo de CasoMetodologia - Critérios Nível de Serviço (SLA): tempo de solução, considerando um atendimento 24x7 (7

dias por semana, 24 horas por dia). Quanto menor o tempo, maior é a pontuação nesse quesito. Tempos acima de 24 horas para Duque de Caxias ou Guarulhos deverão ser pontuados com zero

Capilaridade de Atendimento: avalia-se quais localidades são atendidas pela própria empresa, e quais são atendidas por empresas sub-contratadas. Empresas que não atendem a localidade de São Paulo diretamente deverão ser pontuadas como zero.

Recursos Técnicos: avalia-se os recursos de impressão, cópia, fax e scanner disponíveis.

Custo: avalia-se o custo anual de cada solução. Para o menor custo será dado a pontuação 10. É importante que na primeira fase, o alinhamento das propostas com a especificação seja bem feito para que sejam evitadas grandes diferenças por falta de um claro entendimento.

Alinhamento Estratégico: avalia-se a capacidade da empresa em participar de um alinhamento global, estabelecendo um padrão para a América Latina. São avaliados a possibilidade de atender empresas do mesmo grupo nos seguintes países além do Brasil: México, Argentina, Chile, Venezuela e Colômbia.

Gestão: avalia-se o quanto de trabalho operacional será retirado da empresa contratante. Avalia-se ainda a capacidade de emitir relatórios de acompanhamento gerencial que possibilite análises de gastos por centro de custo objetivando uma redução no volume impresso.

Estudo de CasoMetodologia - Critérios

Alternativas x Critérios

Qualidade do Atendimento - Impreciso Valor Mínimo Valor Máximo

Avaliação da Pré-Análise Erro estimado de 0,5

Nível de Serviço – Preciso Valor Mínimo Valor Máximo

SLA <= 6h 1,0 1,0

6h < SLA <= 8h 0,8 0,8

8h < SLA <= 24h 0,5 0,5

SLA > 24h 0,0 0,0

Capilaridade - Impreciso Valor Mínimo Valor Máximo

SP 0,4 0,6

RJ e SP 0,5 0,7

Brasil 1,0 1,0

Recursos – Preciso Valor Mínimo Valor Máximo

Todos 1,0 1,0

Nem Todos 0,6 0,6

Estudo de CasoMetodologia - Critérios

Alternativas x Critérios

Alinhamento - Impreciso Valor Mínimo Valor Máximo

Só Brasil 0,5 0,5

AL - México, Argentina e/ou Chile 0,7 0,8

AL – Outro 0,8 0,9

AL 1,0 1,0

Gestão - Impreciso Valor Mínimo Valor Máximo

Regular ou Inferior 0,1 0,4

Bom 0,5 0,7

Muito Bom 0,7 0,1

Custo Anual - Preciso Valor Mínimo Valor Máximo

Menor Custo 1,0 1,0

Maior Custo 0,0 0,0

Demais Custos Função de Valor com Bisseccão

Estudo de Caso Metodologia - Análise de Sensibilidade

Fazer Análise de Sensibilidade

Fazer Ajuste dos Intervalos

Importante: será apresentada somente na dissertação.

Estudo de Caso Apresentação dos Resultados – Pré-Análise

Alternativas 4 e 7 eliminadas

Prazo de Implantação

(Meses) Cliente 1 Cliente 2 Cliente 3Média Total

Alternativa 1 1,5 6 8 9 7,7

Alternativa 2 2 4 8 7 6,3









Estudo de CasoApresentação dos Resultados - Dominância

Árvore de Valor no WINPRE

Synthesis of the alternatives

Alternatives

Criteria

Annual Cost

Capillarity.Strategic

Alignment

Service Level

Agreement

Quality of Service

Technical resources

Management

Alt. 1 400.000 6h 7.7 All V. Good

Alt. 2 450.000 RJ and SP 4h 6.3 All Good

Alt. 3 420.000 RJ and SP except for 8h 6.0 All V. Good

Alt. 5 390.000 6h 6.3

Without Colour Scanner Copy

Regular

Alt. 6 425.000 24h 6.0 All Good

Alt. 8 415.000 RJ and SPexcept for

and 48h 8.3

Without confidential

printingV. Good

Alt. 9 430.000 RJ and SPexcept for

and 6h 7.0 All V. Good

Alt. 10 470.000 8h 6.7 All Regular

Alternatives vs. criteria

Alternat

ives

Criteria

Annual Cost CapillarityStrategic

AlignmentService Level

AgreementQuality of

ServiceTechnical resources Manage-ment

min

max

min

max

min

max

min

max

min

max

MiN

max

min

max

Alt. 1 0.9 0.9 1.0 1.0 0.5 0.5 1.0 1.0 0.7 0.8 1.0 1.0 0.7 1.0

Alt. 2 0.3 0.3 0.5 0.7 1.0 1.0 1.0 1.0 0.6 0.7 1.0 1.0 0.5 0.7

Alt. 3 0.6 0.6 0.5 0.7 0.7 0.8 0.8 0.8 0.6 0.7 1.0 1.0 0.7 1.0

Alt. 5 1.0 1.0 1.0 1.0 0.5 0.5 1.0 1.0 0.5 0.7 0.6 0.6 0.1 0.4

Alt. 6 0.5 0.5 1.0 1.0 0.5 0.5 0.5 0.5 0.6 0.6 1.0 1.0 0.5 0.7

Alt. 8 0.8 0.8 0.5 0.7 0.7 0.8 0.0 0.0 0.8 0.9 0.6 0.6 0.7 1.0

Alt. 9 0.5 0.5 0.5 0.7 0.7 0.8 1.0 1.0 0.7 0.8 1.0 1.0 0.7 1.0

Alt. 10 0.0 0.0 1.0 1.0 1.0 1.0 0.8 0.8 0.6 0.7 1.0 1.0 0.1 0.4


Intervalo dos Pesos

Classificação Mín Máx

Custo Referência 1,00 1,00

Capilaridade Atendimento 6º 0,2 0,6

Alinhamento Estratégico 2º 0,6 1,0

Nível de Serviço 1º 0,8 1,2

Qualidade Atendimento 4º 0,4 0,6

Recursos Técnicos 5º 0,4 0,6

Gestão 3º 0,4 0,8


Informação dos Pesos no WINPRE

Estudo de Caso Apresentação dos Resultados

Análise da Dominância

DOMINANTES

1 2 3 5 6 8 9 10

DOMINADAS

1 -

2 X -

3 X -

5 X -

6 X X X X - X

8 X X - X

9 -

10 X X X X X -

Estudo de CasoApresentação dos Resultados

Avaliação A alternativa 1 é melhor no atributo “Custo” (400.000 x 430.000) A alternativa 9 é melhor no atributo “Alinhamento Estratégico”

(América Latina menos Colômbia e Venezuela x Brasil). Pergunta a ser respondida: vale a pena pagar mais 30.000 reais

por ano para se ter um alinhamento estratégico incluindo os principais países (Brasil, México, Argentina e Chile)?

Recomendação Antes da Análise de Sensibilidade Alternativa escolhida: Alternativa 9 Apesar de ter um custo superior, reduz o custo atual em

70.000 reais, o que corresponde a aproximadamente 14%. A diferença de valor pode ser compensada mais tarde, a

partir de uma renegociação incluindo os demais países da América Latina.

Estudo de CasoAnálise de Sensibilidade

Novo Atributo de Referência Comparação com os valores agregados:

Mínimo Máximo Central

Análise de SensibilidadeNovo Atributo de Referência

Não houve mudanças Alternativas não dominadas = 1 e 9

Análise de SensibilidadeComparando Valores Mínimo, Máximo, Central

Alternativa 1 e 9 aparecem sempre primeira e segunda na pontuação.

Será mantida a alternativa 9 como a escolhida.

Tabela

Altern

atives

Minimum Maximum Central

Aggregate Value Classification Aggregate Value Classification Aggregate Value Classification

Alt. 1 3.14 1 14.88 1 9.01 1

Alt. 2 2.58 5 13.53 3 8.06 4

Alt. 3 2.66 4 13.48 4 8.07 3

Alt. 5 2.76 2 11.12 8 6.94 7

Alt. 6 2.22 6 12.26 6 7.24 6

Alt. 8 2.10 8 11.67 7 6.89 8

Alt. 9 2.76 2 14.22 2 8.49 2

Alt. 10 2.13 7 13.18 5 7.65 5

Major conclusions The use of a multicriteria decision aiding method was shown to be of great importance, as it

generates well-founded, transparent recommendations in an organised way, capable of keeping the discussions on technical criteria, not permitting the process to get lost in irrelevant discussions with little objectivity in relation to the decision process in question.

The use of MAUT and the INTERVAL SMART/SWING method contributed towards covering any imprecision in the judgements, leaving the decision makers in a more comfortable position. It also allows the intervals to be revised throughout the study to represent a reality which had not been perceived before. However, the fact that the decision makers feel more comfortable, may generate a failure in the search for more complete information, in other words, if the decision maker can judge via an interval, this judgement does not require such precision in the information. It is possible to get around this problem in the sensitivity analysis phase, narrowing the intervals through the search for more complete information.

The choice of the reference attribute was also shown to be fundamental, confirming that the choice of the most precise attribute is most recommended (Mutajoki, Hamalainen and Salo, 2005). The choice of the attribute “Cost” generated an analysis of dominance where only two dominant alternatives remained.

The current market requires decisions to be made in a quick and precise way, and consequently, with incomplete information. This scenario contributed to generating uncertainty in the analysis of the criteria and alternatives. The use of these methods permits interactivity during the whole of the decision making process, keeping the discussions focused on the problem in question, and presenting the solution in a transparent way which is easy for the participants to understand. In this way it strongly minimises the possibility of financial loss through the choice of an inappropriate alternative. As a result of the process being documented at all stages, it can be used for consultation in other similar processes.

Some key references MUSTAJOKI, J.; HAMALAINEN, R.P.; SALO, A. (2005) Decision support by interval

SMART/SWING – Incorporating imprecision in the SMART and SWING methods. Decision Sciences, v. 36, n. 2, p. 317-339.

POYHONEN, M.; HAMALAINEN, R.P. (2001) On the convergence of multiattribute weighting methods. European Journal Operational Research, v. 129, p. 569-585.

SALO, A.; HAMALAINEN, R.P. (2001) Preference Ratios in Multiattribute Evaluation (PRIME) – Elicitation and Decision Procedures under Incomplete Information. IEEE Transactions on Systems, Man, and Cybernetics Journal, v. 31, p. 533-545.

VON WINTERFELDT, D.; EDWARDS, W. (1986) Decision Analysis and Behavioural Research. New York: Cambridge University Press.

WINPRE (2009) Decision analysis with imprecise ratio statements - preference programming, PAIRS. Disponível em <http://www.sal.hut.fi/Downloadables/winpre.html>. Access in: July 7th.

AcknowledgementsResearch leading to this article was partially supported by the National Council for Scientific and Technological Development (CNPq) of Brazil through Process

No. 310603/2009-9

Thank you!

Documents

Multicriteria selection of a supplier with the Interval SMART / Swing Weighting method Luiz Flávio Autran Monteiro Gomes, Ibmec/RJ, Av. Presidente Wilson,